![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
donglin0325
想成为技术牛人,一直找不到方向
展开
-
linux(centos7)下安装 scala2.11.6
1、下载文件scala2.11.6.tgz http://www.scala-lang.org/download/2.11.6.html 2、登陆linux [root@master usr]# 创建文件夹存放scala [root@master usr]# mkdir scala 上传文件到usr下面并解压 [root@原创 2015-03-12 13:37:26 · 19602 阅读 · 0 评论 -
linux(centos7)基于hadoop2.5.2安装spark1.2.1
1、安装hadoop参考 http://blog.csdn.net/bahaidong/article/details/41865943 2、安装scala参考 http://blog.csdn.net/bahaidong/article/details/44220633 3、安装spark 下载spark最新版spark-1.2.1-bin-hadoop2.4.tgz http:原创 2015-03-12 13:46:05 · 6081 阅读 · 0 评论 -
idea运行spark的wordcount与eclipse运行spark的wordcount示例,及本地运行sparkpi
一、idea运行wordcount 1、下载idea的社区版本(免费的) http://www.jetbrains.com/idea/download/ 2、安装scala插件 File-->Settings...----->Plugins 点击红色按钮,在搜索scala点击右面的初始化按钮安装scala插件 3、创建scala项目 File--->New Project原创 2015-03-13 14:46:48 · 4461 阅读 · 0 评论 -
配置&使用Spark History Server
Spark history Server产生背景 以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息;但该WEBUI随着Application的完成(成功/失败)而关闭,也就是说,Spark Application运行完(成功/失败)后,将无法查看Application的历史记录; Spark histor原创 2015-03-14 11:01:45 · 589 阅读 · 0 评论 -
spark-submit
./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://207.184.161.138:7077 \ --executor-memory 20G \ --total-executor-cores 100 \ /path/to/examples.jar \ 输入原创 2015-04-17 09:49:08 · 528 阅读 · 0 评论