hadoop伪分布搭建

hadoop搭建

一、 配置jdk环境

tar  -zxvf  jdk-8u201-linux-x64.tar.gz -C /usr/local

配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_201
export PATH=$PATH:$JAVA_HOME/bin

生效环境变量
source /etc/profile

测试jdk
java -version

二、上传hadoop

tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /usr/local

配置hadoop 环境变量
export JAVA_HOME=/usr/local/jdk1.8.0_201
export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.7.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

三、 修改主机名和ip映射关系

vim /etc/hostname
master


配置ip域名映射
vim /etc/hosts
192.168.25.66 master

四、关闭防火墙

firewall-cmd --state
systemctl stop firewalld.service
systemctl disable firewalld.service

五、配置hadoop-env.sh

第25行
export JAVA_HOME=/usr/local/jdk1.8.0_201

六、 配置namenode（core-site.xml）

<configuration>
<!-- 指定hadoop 所在使用文件系统hdfs namenode老大的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 执行hadoop 运行时产生文件存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.6.0-cdh5.7.0/tmp</value>
</property>
</configuration>

七、配置副本 hdfs-site.xml

hdfs副本数量
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

八、格式化namenode

hadoop namenode -format

九、启动namenode

start-dfs.sh

十、怎么配置免密登录

生成密钥

ssh-keygen -t rsa

配置密钥

ssh-copy-id master