hadoop搭建
一、 配置jdk环境
tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr/local
配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_201
export PATH=$PATH:$JAVA_HOME/bin
生效环境变量
source /etc/profile
测试jdk
java -version
二、上传hadoop
tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /usr/local
配置hadoop 环境变量
export JAVA_HOME=/usr/local/jdk1.8.0_201
export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.7.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
三、 修改主机名和ip映射关系
vim /etc/hostname
master
配置ip域名映射
vim /etc/hosts
192.168.25.66 master
四、关闭防火墙
firewall-cmd --state
systemctl stop firewalld.service
systemctl disable firewalld.service
五、配置hadoop-env.sh
第25行
export JAVA_HOME=/usr/local/jdk1.8.0_201
六、 配置namenode(core-site.xml)
<configuration>
<!-- 指定hadoop 所在使用文件系统hdfs namenode老大的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 执行hadoop 运行时产生文件存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.6.0-cdh5.7.0/tmp</value>
</property>
</configuration>
七、配置副本 hdfs-site.xml
hdfs副本数量
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
八、格式化namenode
hadoop namenode -format
九、启动namenode
start-dfs.sh
十、怎么配置免密登录
生成密钥
ssh-keygen -t rsa
配置密钥
ssh-copy-id master