Spark
上海菁数信息——实时数字智能
大数据 数据挖掘 机器学习
展开
-
hive启动报错,找不到spark的jar包们
类型下面的报错cannot access /usr/local/spark/lib/spark-assembly-*.jar: No such file or directory编辑你的hive启动脚本vim /usr/local/hive/bin/hive更改116行的内容,我的版本是1.2.2的hiveif [[ -n "$SPARK_HOME" ]]then原创 2017-04-28 14:28:42 · 3541 阅读 · 0 评论 -
解决scalac Error: bad option -make:transitive
关闭idea打开项目所在位置并cd .idea修改scala_compiler.xml文件删除掉参数行包含-make:transitive保存后退出编辑并重启idea打开项目原创 2017-08-02 10:56:32 · 8384 阅读 · 1 评论 -
spark history server集群配置与使用(解决执行spark任务之后没有显示的问题)
在你的spark路径的conf文件中,cp拷贝spark-defaults.conf.template为spark-defaults.conf并在文件后面加上spark.eventLog.enabled truespark.eventLog.dir hdfs://master:9000/historyspark.eventLog.co原创 2017-12-21 10:33:07 · 4187 阅读 · 1 评论 -
spark master 占用8080,手动指定特定端口
vim spark的conf路径/sbin/start-master.sh原来有如下一行:if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then SPARK_MASTER_WEBUI_PORT=8080fi将8080改为你所希望启动的端口号如8089或者其他start-master.sh 启动master进程(或者sbin/sta原创 2018-01-03 11:02:03 · 4081 阅读 · 0 评论 -
Spark 应用使用spark laucher提交应用 替代spark-submit脚本提交应用
使用Package org.apache.spark.launcher来提交spark应用接口摘要接口 描述 SparkAppHandle 运行Spark应用的句柄 SparkAppHandle.Listener 获得句柄状态更新的监听器 类摘要类 描述 AbstractLauncher<T extends ...原创 2018-09-13 16:09:19 · 2220 阅读 · 0 评论