学习笔记
!!hadoop环境配置 必须有 java环境支持!!
java环境配置:link
hadoop环境配置
1.下载hadoop
2.解压+配置hadoop环境
//解压
tar -xf hadoop-3.2.1.tar.gz
//配置代码 vi hadoop.sh
HADOOP_HOME=/opt/soft/hadoop
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_HOME PATH
3.执行hadoop脚本
source hadoop.sh //使hadoop.sh文件生效
hadoop version //查看hadoop版本
启动hdfs
hdfs:hdfs提供了浏览器访问的页面,通过windows系统的浏览器 访问虚拟机上的hdfs
1.进入hadoop/etc/hadoop
vi core-site.xml
2.编辑core-site.xml文件
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
3.namenode格式化
[hdfs|hadoop] namenode -format
4.启动namenode,datanode
./hadoop-daemon.sh start namenode
./hadoop-daemon.sh start datanode
5.改成不是只有本机可操作
cd /etc/ //进入 /etc/ 路径下
vi hosts //编辑hosts文件->文件内容修改为 自己虚拟机的ip地址+自己想要的虚拟机主机名
6.重启虚拟机
reboot
7.修改core-site.xml的主机名
8.关闭防火墙
//关闭防火墙
systemctl stop firewalld
9. 开启namenode,datanode
(因为刚刚的重启,使namenode,datanode关闭了)
./hadoop-deamon.sh start namenode
./hadoop-deamon.sh start datanode
10.访问 主机ip地址:9870
注意 冒号 为半角符号
apache官网提供的方法查询(以3.2.1版本为例)
1.下翻找到hadoop
2.下翻找到release archive
3.找到3.2.1的版本
4.single node setup——这里面就是配置方法