Hadoop学习笔记-1.Hadoop的安装

前期准备

1、修改Hostname

1）临时修改hostname

hostname hadoop100

2）永久修改hostname

vim /etc/sysconfig/network

2、关闭iptables

1）在Centos6.X下：

service stop iptables
service disable iptables

2）在Centos7.x

在CentOS7中，防火墙的管理是由firewalld.service来控制的，iptables是版本7以下的管理方式。很多人比较习惯原来的操作命令，可以通过这种方法实现：
首先，禁用和注销firewalld防火墙服务：

systemctl stop firewalld
systemctl mask firewalld

其次，安装iptables-services包

yum install iptables-services

然后，设置为在服务器启动时自动开启服务

systemctl enable iptables

当然，我们这次安装hadoop需要禁用开机启动

3、设置SSH免密登录

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

4、安装JDK1.8

卸载系统自带的OpenJDK以及相关的java文件

java -verison

rpm -qa | grep java

rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.242.b08-1.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.251-2.6.21.1.el7.x86_64

下载安装jdk1.8
参考https://blog.csdn.net/u010590120/article/details/94736800

Handoop伪分布式安装

1、下载Hadoop3.2.1

下载地址：https://www.apache.org/dist/hadoop/common/

2、解压Hadoop文件

tar -zvxf  hadoop-3.2.1.tar.gz

3、进行相应的配置

1）配置core-site.xml

cd hadoop-3.2.1/etc/hadoop/
vim core-site.xml 

<configuration>
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop100:9000</value>
   </property>
   <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop_repo</value>
   </property>
</configuration>

2）配置hdfs-site.xml

vim hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3）配置mapred-site.xml

vim mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4）配置yarn-site.xml

vim yarn-site.xml 

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>

5）配置hadoop-env.sh

vim hadoop-env.sh 

export JAVA_HOME=/usr/local/jdk1.8
export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop

6）HDFS文件系统格式化

 ./bin/hdfs namenode -format

提示格式化成功
如果格式化失败，去提示的目录，将目录删除，再重新进行格式化！！

7）启动Hadoop

hadoop的启动命令如下

./sbin/start-all.sh

这时候直接启动，仍然会有问题：

所以还需要修改
./sbin/start-dfs.sh
./sbin/stop-dfs.sh

./sbin/start-yarn.sh
./sbin/stop-yarn.sh

在start-dfs.sh、stop-dfs.sh开始第一行加上

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在start-yarn.sh、stop-yarn.sh开始第一行加上

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

Hadoop集群分布式配置

https://blog.csdn.net/toddr/article/details/109181107