文章目录
-
-
-
- 0 集群信息及基本初始化
- 1 Hadoop 2.7.3环境搭建
-
- 1.1 下载JDK1.7、Hadoop2.7.3、Spark2.1.0包
- 1.2 解压JDK安装包
- 1.3 配置java环境(hadoop Master和Slave上都要做这一步操作)
- 1.4 检查Java环境是否配置成功
- 1.5 搭建hadoop 2.7.3环境(Hadoop Master中进行)
- 1.6 将Hadoop Master配置的hadoop文件夹全部复制到Slave中
- 1.7 配置Master和Slvae机器中的hadoop环境变量。
- 1.8 使/etc/profile配置生效
- 1.9 在Master上执行hadoop的格式化
- 1.10 启动Hadoop
- 1.11 验证hadoop的启动情况
- 2 Spark环境搭建
- 3 Spark和Hadoop集群的启动与停止
- 4 Spark和Hadoop集群测试
-
-
0 集群信息及基本初始化
0.1 集群初始化
这一步主要是给机器生成SSH Key以及机器别名等配置,具体初始化操作请参考此文章的2.1节集群初始化设置。
0.2 集群信息
Hadoop/Spark Master为node8,其IP地址为:192.168.1.113。
Hadoop/Spark Slave为node2~node7和node8,即该集群有1主7从。
1 Hadoop 2.7.3环境搭建
1.1 下载JDK1.7、Hadoop2.7.3、Spark2.1.0包
mkdir homework
cd homework
wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3-src.tar.gz
wget http://distfiles.macports.org/scala2.10/scala-2.10.4.tgz
wget https://archive.apache.org/dist/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2.7.tgz
注:JDK1.7需要从官方网站下载,并且可能需要账号登录,可以使用临时邮箱,临时邮箱网址:https://linshiyouxiang.net/,JDK 1.6~1.8下载网址。
1.2 解压JDK安装包
cd ~/homework
tar -xvf jdk-7u80-linux-x64.tar.gz
1.3 配置java环境(hadoop Master和Slave上都要做这一步操作)
vim ~/.bashrc #在该文件默认添加如下3行内容:
export JAVA_HOME=/home/k8s/homework/jdk1.7.0_80
export CLASSPATH=.:${JAVA_HOME}/lib:${JAVA_HOME}/jre/lib
export PATH=${JAVA_HOME}/bin:${JAVA_HOME}/jre/bin:$PATH
#注意:这并不是全局的JAVA配置,如果需要全局JAVA配置,请将上面3行内容添加到/etc/profile文件末尾
source ~/.bashrc #让配置生效
1.4 检查Java环境是否配置成功
java -version #配置成功则会输出:java version "1.7.0_80"
1.5 搭建hadoop 2.7.3环境(Hadoop Master中进行)
#1.5.1 解压
cd ~/homework && tar -xvf hadoop-2.7.3.tar.gz
#1.5.2创建相关目录
cd hadoop-2.7.3 && mkdir tmp && mkdir logs && mkdir hdfs && mkdir hdfs/data && mkdir hdfs/name
#1.5.3修改hadoop配置
cd ~/homework/hadoop-2.7.3/etc/hadoop
vim hadoop-env.sh #找到该文件中的export JAVA_HOME一行,将其修改为export JAVA_HOME=/home/k8s/homework/jdk1.7.0_80
vim yarn-env.sh #找到该文件中的export JAVA_HOME一行,将其修改为export JAVA_HOME=/home/k8s/homework/jdk1.7.0_80
vim slaves #删除localhost,将node2~node7和node9添加到该文件中
vim core-site.xml #找到该文件中的<configuration></configuration>标签对,添加以下内容:
<property>
<name>fs.default.name</name>
<value>hdfs://node8:9090</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/k8s/homework/hadoop-2.7.3/tmp</value>
</property>
#vim core-site.xml 结束
vim hdfs-site.xml #找到<configuration></configuration>标签对,添加以下内容:
<property>
<name>dfs.datanode.data.dir</name>
<value><