Spark 安装及使用

• spark安装
  • tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C 指定目录
• 官方例子运算pi：
  • bin/spark-submit --class org.apache.spark.examples.SparkPi --excutor-memory 1G --total-executor-cores 1 ./examples/jars/spark-examples_2.11-2.1.1.jar 100
• 交互的Shell
  • bin/spark-shell
• spark on yarn模式
  • 修改hadoop配置文件 vi yarn-site.xml，加入下面配置：

  • <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true-->        
    <property>                
        <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value>        </property>        
    <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true-->        
    <property> 
        <name>yarn.nodemanager.vmem-check-enabled</name>           
        <value>false</value>        
    </property>

  • 修改spark配置文件 vi spark-env.sh 加入下面配置：YARN_CONF_DIR=/opt/module/hadoop-2.7.2/etc/hadoop hadoop的文件目录
  • 运行pi程序验证 ：

    bin/spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode client \
    ./examples/jars/spark-examples_2.11-2.1.1.jar \
    100
    
    

     

  • 监控地址：http://主机名:4040/
• wordCount程序编写
  • 创建一个input文件夹，里边写一个txt文件，写上内容
  • 运行spark shell
  • 运行sc.textFile("input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
  • 注：
    • sc是上下文对象
    • textFile 读取本地文件，一行一行读
    • flatMap 压平操作，按照空格切分
    • map((_,1)) 对每一个元素操作，将单词聚合成元组
    • reduceByKey(_+_):按照key将值进行聚合，相加
    • collect：将数据收集到Driver进行展示