Spark
LinkEdu
这个作者很懒,什么都没留下…
展开
-
spark streaming读取HDFS
今天跑第一spark streaming程序读取HDFS文件,碰到很多坑: 1.HDFS配置的是高可用,在spark程序内设置HDFS文件路径的时候指向的是某个Namenode的地址,会报异常org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException 意思就是访问的standby的NM节点,应该访问A原创 2016-11-11 09:52:40 · 4844 阅读 · 1 评论 -
Sark Sql读取hive数据
1、将hadoop的配置文件:hdfs-site.xml,core-site.html文件拷贝到spark的配置文件conf下 2、将hive的配置文件:hive-site.xml拷贝到spark的配置文件conf下 3、将连接hive元数据的mysql的jar包拷贝到spark的lib目录下 4、运行spark-shell命令,进入命令行,指定集群的地址,运行内存,原创 2016-11-14 17:56:41 · 2205 阅读 · 0 评论