登录mysql 执行
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
flush privileges;
安装hadoop
tar -zxvf hadoop-2.7.5.tar.gz -C /export/servers
配置环境变量,使hadoop命令全局可执行
vim /etc/profile
//在最后添加
#hadoop_home
export HADOOP_HOME=/export/servers/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
刷新
source /etc/profile
配置hadoop配置文件,这六个都要配置
6、修改hadoop配置文件
hadoop-env.sh
core-site.xml
hdfs-site.xml
slaves
mapred-siteml.template
yarn-site.xml.x
进入配置文件所在目录
/export/servers/hadoop-2.7.5/etc/hadoop
第一个:
vim打开 hadoop-env.sh
将jdk路径修改上去
export JAVA_HOME=/export/servers/jdk1.8.0_141
第二个:
vim打开 vim core-site.xml
在最后面configuration括号里添加
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hd1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/export/servers/hadoop-2.7.5/hadoopdata</value>
</property>
</configuration>
注意:需要在hadoop的安装目录下创建一个hadoopdata文件文件夹用来存放数据,还有主机号要修改
第三个:
vim 打开 hdfs-site.xml
和第二步一样,在 configuration 内添加
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hd1:50090</value>
</property>
这个文件是配置备份文件数量,2代表备份数量,hd1代表备份在hd1主机下
第四个:
这个文件存放集群有哪些主机
vim 打开 slaves
删除第一行,添加
hd1
hd2
hd3
第五个:
需要先将 mapred-siteml.template 这个文件修改成 mapred-siteml 将后缀名去掉
cp mapred-site.xml.template mapred-site.xml
直接在括号里添加
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
第六个:
vim 打开 yarn-site.xml 也是在 configuration 内添加
只有主机名要修改hd1
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hd1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
分发文件
配置完成,将配置文件传给其他两个主机
scp -r /export/servers/hadoop-2.7.5/ root@hd2:/export/servers/
scp -r /export/servers/hadoop-2.7.5/ root@hd3:/export/servers/
环境变量也要分发
scp -r /etc/profile root@hd2:/etc
scp -r /etc/profile root@hd3:/etc
在hd2 和 hd3 内也要刷新配置文件使生效
source /etc/profile
初始化工作
执行
hadoop namenode -format
启动
start-all.sh
验证是否安装成功
如果正常 hd1 6个进程,其他3个进程
jps
CID-7372120b-a3ed-4206-93e7-c4e02018c0fd