搭建环节可以直接下包,然后在VM里面选择打开虚拟机就可以了
就不用看Centos7安装了!!,下面的也都不用看了,它已经是伪分布式了
这个是ubuntu的
密码都是:123456
版本1:没有按JDK和Hadoop:
链接:https://pan.baidu.com/s/11zxNFy5j-atBw6eoYqd0Bg
提取码:8888
版本2:安装了JDK和Hadoop:
链接:https://pan.baidu.com/s/11xusoHDjW_huqb1ueH964w
提取码:9999
按装版本2的才可以直接使用下面的步骤,否则无效。只能跟着后面的才可以再来验证
启动完,能打开这两个网站就OK!!
什么是Hadoop集群的搭建
Hadoop集群是由多个计算机节点组成的分布式计算环境,每个节点都运行着Hadoop软件,并协同工作来完成数据存储和计算任务。
一、安装
安装Centos7,进行ping测试,
1. 先安装centos7如果安装有下面情况点击这
如果安装完后又遇到ping不了先看这里,还是不行就重新创建虚拟机,然后在网络设置哪里不要点配置
安装JDK和Hadoop
安装JDK和Hadoop
链接:https://pan.baidu.com/s/1eLJCWZtspOQEiWcaRKX4Qw
提取码:7777
安装WinSCP 官网搜索就行
配置JDK和Hadoop 环境变量
注意所有的带HOME的配置,看看自己的安装地址
JDK安装
这样显示就好了
Hadoop安装
看见这样的信息就好了
配置其他文件
伪分布式安装
配置hadoop-env.sh
进入目录在${HADOOP_HOME}/etc/hadoop:
$ cd ~/hadoop/etc/hadoop
打开hadoop-env.sh:
$ vi hadoop-env.sh
将export JAVA_HOME=${JAVA_HOME} 改为
export JAVA_HOME=~/jdk1.8.0_171
配置core-site.xml (在core-site.xml中配置 hadoop.tmp.dir的vlaue 时,要写绝对路径,若用相对路径可能会导致HDFS格式化错误)
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost</value>
</property>
</configuration>
配置hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
① 配置mapred-site.xml(mapred-site.xml不存在,但有mapred-site.xml.tmplate,我们只需要用命令将mapred-site.xml.template复制并改名即可。
cp ~/hadoop/etc/hadoop/mapred-site.xml.template ~/hadoop/etc/hadoop/mapred-site.xml
然后修改mapred-site.xml。
)
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
配置yarn-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property> <name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
运行检查
能用虚拟机打开下面的浏览器验证就OK了