Hadoop集群搭建
一、安装jdk
百度网盘(集群所需文件):
链接:https://pan.baidu.com/s/1j5WcNyJEgwSilQe4fjlN9w
提取码:MHYS
1、检查jdk
rpm -qa|grep jdk
2、移出现有jdk
yum -y remove java-1.*
3、创建目录 /opt/soft /opt/data
mkdir /opt/soft
mkdir /opt/data
4、上传jdk.tar.gz
目录下右键上传,选择文件
5、解压 当前目录/opt
pwd // /opt
tar -zxvf soft/jdk-8u112-linux-x64.tar.gz
6、查看解压结果 (当前在/opt下)
ls
7、重命名并查看结果
mv jdk1.8.0_112/ jdk
ls
8、创建配置文件
vim /etc/profile.d/hadoop-eco.sh
9、编辑内容
JAVA_HOME=/opt/jdk
PATH=$JAVA_HOME/bin:$PATH
10、使配置文件生效
source /etc/profile.d/hadoop-eco.sh
11、查看java版本
java -version
二、设置ssh免密登录
1、生成密钥
ssh-keygen -t rsa
2、拷贝密钥
ssh-copy-id -i root@localhost(根据实际情况修改)
输入root密码
3、验证是否成功
ssh 'root@localhost' 连上即为成功
三、安装hadoop
1、解压hadoop
cd /opt
tar -zxvf soft/hadoop-2.7.3.tar.gz
2、查看是否解压成功
ls
3、重命名hadoop
mv hadoop-2.7.3/ hadoop
4、配置环境变量
vim /etc/profile.d/hadoop-eco.sh
5、增加内容
HADOOP_HOME=/opt/hadoop
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
6、使环境变量生效source
source /etc/profile.d/hadoop-eco.sh
7、查看环境变量
echo $PATH
8、创建hadoop节点目录
mkdir -p /opt/hadoop-record/name
mkdir /opt/hadoop-record/secondary
mkdir /opt/hadoop-record/data
mkdir /opt/hadoop-record/tmp
9、修改配置文件(/opt/hadoop/etc/hadoop)
(1)hadoop-env.sh 的配置:修改 JAVA_HOME 的地址为 exprot JAVA_HOME=/opt/jdk
(2)yarn-env.sh 的配置:修改 JAVA_HOME 的地址为 JAVA_HOME=/opt/jdk
(3)core-site.xml 的配置:
<configuration>
<!--NameNode 结点的 URI-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<!-- 指定 Hadoop 运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>file:///opt/hadoop-record/tmp</value>
</property>
</configuration>
(4)hdfs-site.xml
<configuration>
<property>
<!-- 数据副本数量 -->
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<!-- namenode 数据存放地址 -->
<name>dfs.namenode.name.dir</name>
<value>file:///opt/hadoop-record/name</value>
</property>
<property>
<!-- datanode 数据存放地址 -->
<name>dfs.datanode.data.dir</name>
<value>file:///opt/hadoop-record/data</value>
</property>
</configuration>
(5)mapred-site.xml
<configuration>
<property>
<!--mapreduce 运行的平台,默认 Local-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
(6)yarn-site.xml
<configuration>
<property>
<!--resourcemanager 所在的机器 -->
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<!-- 所需要的服务 -->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
6、查看Hadoop版本
hadoop version
7、启动Hadoop
hdfs namenode -format //对name节点进行格式化
启动dfs:
start-dfs.sh
8、查看进程jps
jps
4个进程
NameNode
DataNode
SecondaryNameNode
jps
9、启动yarn
start-yarn.sh
10、查看进程jps
6个进程
ResourceManager
SecondaryNameNode
DataNode
NameNode
NodeManager
jps
11、打开浏览器
localhost:50070