qq_44494957的博客

这里引用博主链接: https://blog.csdn.net/weixin_42039699/article/details/101045509.里面的命令如果不是root用户登录，就需要用到sudo命令运行

1 RDD编程基础1 RDD创建1. 从文件系统中加载数据创建RDDSpark采用textFile()方法来从文件系统中加载数据创建RDD该方法把文件的URI作为参数，这个URI可以是：本地文件系统的地址// An highlighted blockscala> val lines = sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt")lines: org.apache.spark.rdd.RDD[String] = f

安装Spark1 基础环境Spark支持4种不同类型的部署方式，包括：Local模式：单机模式Standalone模式：使用Spark自带的简单集群管理器YARN模式：使用YARN作为集群管理器Mesos模式：使用Mesos作为集群管理器Spark可以独立安装使用，也可以和Hadoop一起安装使用。安装了Hadoop后，就可以让Spark使用HDFS存取数据。，不安装Hadoop，Spark只能访问本地文件系统数据。需要说明的是，当安装好Spark以后，里面就自带了scala环境，不需要额外安

1 安装编译打包工具1).安装sbtsbt是一款Spark用来对scala编写程序进行打包的工具，Spark 中没有自带 sbt，需要下载安装下载sbt安装包以后，执行如下命令拷贝至 /usr/local/sbt 中：接着在 /usr/local/sbt 中创建 sbt 脚本（vim ./sbt），添加如下内容：// An highlighted block#!/bin/bashSBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadi

1.安装 Hadoop将 Hadoop 安装至 /usr/local/ 中sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中cd /usr/local/sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoopsudo chown -R hadoop ./hadoop # 修改文件权限Hadoop 解压后即可使用。输入如下命令来检查 Hadoop