![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
yoohhwz
这个作者很懒,什么都没留下…
展开
-
spark如何读取hive里面的数据
首先,将hive-site.xml copy到spark/conf目录下spark shell和spark sql:指定mysql驱动包位置,--jars只会在executor端读取到,driver-class-path可以在driver端读取到spark-shell/spark-sql --master local[2] --jars ~/lib/mysql-connector-java-...原创 2019-10-23 00:13:09 · 1036 阅读 · 0 评论 -
spark编译
编译需要依赖:1.scala 下载安装2.maven 下载安装,修改maven的仓库地址3.git yum安装如果使用maven编译的话最后不会生成tar.gz包,所以我们使用以下方式:编译命令:(--name参数是写上你的hadoop的版本,-Dhadoop.version写上你的hadoop版本,此方式默认的scala版本是2.11.8)./dev/make-distribu...原创 2019-10-11 20:33:09 · 161 阅读 · 0 评论