-----------大数据-----------
文章平均质量分 63
田野里的秋刀鱼仔
这个作者很懒,什么都没留下…
展开
-
oozie 4.3.0 编译安装
本文章转载至http://blog.csdn.net/u010839779/article/details/79124124,感谢博主Oozie的编译:系统需求:Unix box (tested on Mac OS X and Linux)Java JDK 1.7+Maven 3.0.1+Hadoop 0.20.2+Pig 0.7+转载 2018-01-22 18:17:54 · 340 阅读 · 0 评论 -
启动hive时报错Access denied for user 'root'@'hadoop01' (using password: YES)
将hive的元数据存放数据库由derby改为Mysql后启动时,报错信息如下Caused by: java.sql.SQLException: Access denied for user 'root'@'hadoop01' (using password: YES)该错误信息为权限问题或者密码问题首先查看是否为密码问题,如果不是,一般即为权限问题。查询用户所拥有的访问权限信息的命令如下:mysq...原创 2018-01-23 23:31:59 · 10560 阅读 · 2 评论 -
通过反射推断Schema
使用反射来推断包含特定对象类型的RDD的模式(schema)。适用于写spark程序的同时,已经知道了模式,使用反射可以使得代码简洁。结合样本的名字,通过反射读取,作为列的名字。这个RDD可以隐式转化为一个SchemaRDD,然后注册为一个表。表可以在后续的sql语句中使用。代码实现:package com.wl.sparkimport org.apache.spark.rdd.RDDimp...原创 2018-04-07 16:33:21 · 705 阅读 · 0 评论 -
通过StructType直接指定Schema
Spark SQL能够将含Row对象的RDD转换成DataFrame,并推断数据类型。通过将一个键值对(key/value)列表作为kwargs传给Row类来构造Rows。key定义了表的列名,类型通过看第一列数据来推断。(所以这里RDD的第一列数据不能有缺失)未来版本中将会通过看更多数据来推断数据类型,像现在对JSON文件的处理一样。package com.wl.sparkimport ja...原创 2018-04-07 17:16:20 · 11520 阅读 · 1 评论 -
oozie官方案例
首先安装配置完oozieoozied.sh start在后台运行步骤:1、在oozie的根目录下找到oozie-examples.tar.gzoozie-examples.tar.gz2、解压:[hadoop@hadoop002 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-examples.tar.gz解压后结果:3、将此examples传到hdfs的根目录下[h...原创 2018-03-26 22:11:09 · 859 阅读 · 0 评论