虚拟机中部署 Hadoop (Centos7)

• 1、上传到虚拟机(建立多个虚拟机)
• 2、解压到指定目录建立软链接

tar -zxvf hadoop-3.3.4.tar.gz -C /export/server
ln -s /export/server/hadoop-3.3.4 hadoop

• 3、修改第一个配置文件：workers

#hadoop/etc/hadoop/workers
#添加服务器节点(主机名称)：
node1 
node2
node3

• 4、修改第二个配置文件：hadoop-env.sh

#hadoop/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

• 5、修改第三个配置文件：core-site.xml

<!--hadoop/etc/hadoop/core-site.xml-->
<!--添加内容：网络通信路径（namenode = node1）和io操作缓冲区大小bit-->
<configuration>
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node1:8020</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
</configuration>

• 6、修改配置第四个文件：hdfs-site.xml

<!--hadoop/etc/hadoop/hdfs-site.xml-->
<!--hdfs文件系统权限-->
<!--NameNode元数据存放路径（随意） mkdir -p /data/nn -->
<!--允许谁和我链接-->
<!--默认块大小-->
<!--并发线程数-->
<!--从节点数据存储路径-->
<configuration>
    <property>
        <name>dfs.datanode.data.dir.perm</name> 
        <value>700</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/nn</value>
    </property>
    <property>
        <name>dfs.namenode.hosts</name>
        <value>node1,node2,node3</value>
    </property>
    <property>
        <name>dfs.blocksize</name>
        <value>268435456</value>
    </property>
    <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/dn</value>
    </property>
</configuration>

• 7、分发给集群的其他节点

#在主节点服务器执行
cd /export/server
scp -r hadoop-3.3.4 node2:`pwd`/
scp -r hadoop-3.3.4 node3:`pwd`/

#分别执行软连接
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

• 8、配置 bin 和 sbin 中的环境变量

export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

• 9、授权给普通用户

chown -R user:user /data
chown -R user:user /export

• 10、格式化 和 启动

#格式化主节点
hadoop namenode -format

#一键 启动/关闭 集群
start-dfs.sh
stop-dfs.sh
#通过 jps 查看运行的Java进程
jps

#浏览器打开 node1:9870 hdfs管理页面