- 博客(2)
- 收藏
- 关注
RSS订阅原创 Sark Sql读取hive数据
1、将hadoop的配置文件:hdfs-site.xml,core-site.html文件拷贝到spark的配置文件conf下 2、将hive的配置文件：hive-site.xml拷贝到spark的配置文件conf下 3、将连接hive元数据的mysql的jar包拷贝到spark的lib目录下 4、运行spark-shell命令，进入命令行,指定集群的地址，运行内存，
2016-11-14 17:56:41
2205
原创 spark streaming读取HDFS
今天跑第一spark streaming程序读取HDFS文件，碰到很多坑： 1.HDFS配置的是高可用，在spark程序内设置HDFS文件路径的时候指向的是某个Namenode的地址，会报异常org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException 意思就是访问的standby的NM节点，应该访问A
2016-11-11 09:52:40
4844
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人