![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 79
Binder?
这个作者很懒,什么都没留下…
展开
-
使用IDE(eclipse,idea)开发spark程序
1.使用spark-shell编写程序: 启动spark-shell bin/spark-shell --master local[4] --jars testcode.jar [4]表示在4个cpu核上运行,--jars指明需要的jar包路径 加载text文件 scala> val textFile = sc.textFile("file:///data/原创 2016-11-12 08:50:01 · 1432 阅读 · 0 评论 -
Spark部署与程序运行示例
Spark部署 1. Local模式部署: 1) 安装java,配置环境变量 2) 主节点配置 cd $SPARK_HOME/conf cp spark-env.template spark-env.sh vim spark-env.sh export SPARK_MASTER_IP=your_master_ip;原创 2016-11-12 08:47:07 · 1020 阅读 · 1 评论