一、创建虚拟机配置基本环境
创建三台虚拟机
1、下载jdk包
2、解压配置环境变量
3、具体安装步骤参考
https://blog.csdn.net/weixin_42804692/article/details/103221609
二、无密登录
三台虚拟机互通,决定好谁做主机谁做从机
主机生成密钥对,id_rsa.pub
公钥
[root@yang ~]ssh-keygen –t rsa –P ''
[root@yang ~]cd /etc/.ssh/
[root@yang ~]ll
-rw-------. 1 root root 1679 Dec 6 08:57 id_rsa
-rw-r--r--. 1 root root 391 Dec 6 08:57 id_rsa.pub
其他两台从机没有.ssh目录,建议生成密钥对后删除id_rsa.pub
然后把主机的公钥复制到两台从机的.ssh
目录下
[root@yang ~]scp id_rsa.pub root@192.168.56.172:/root/.ssh/
切换到从机,把主机的公钥复制到另一个文件authorized_keys
中,并给文件赋权600
[root@yang2 ~]cat id_rsa.pub >> authorized_keys
[root@yang2 ~]chmod 600 authorized_keys
连接的时候输入地址长又繁琐,把地址和主机名映射
地址和主机名绑定,vi /etc/hosts
在文件末尾追加 ip地址 主机名
[root@yang2 ~]vi /etc/hosts
192.168.56.171 yang
192.168.56.172 yang2
192.168.56.173 yang3
三、配置hadoop安装配置
主机中
1、安装包解压,移动文件夹,改名
[root@yang opt]# tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz
[root@yang opt]# mv hadoop-2.6.0-cdh5.14.2 soft/hadoop260
[root@yang opt]# ls
hadoop-2.6.0-cdh5.14.2.tar.gz jdk-8u11-linux-x64.tar.gz soft
2、修改配置文件
需要修改的配置文件,在/soft/hadoop260/etc/hadoop
目录下
hadoop-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
slaves
1.配置hadoop-env.sh
[root@yang opt]# cd soft/hadoop260/etc/hadoop
[root@yang hadoop]# vi hadoop-env.sh
文件中改:
export JAVA_HOME=/opt/soft/jdk18011 #具体的Java安装路径
2.配置core-site.xml
[root@yang hadoop]# vi core-site.xml
文件中加:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://yang:9000</value>
</property>
<!--临时文件存放-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/soft/hadoop260/tmp</value>
</property>
<!--开放访问权限-->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<!--可访问的用户组-->
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>
3.配置hdfs-site.xml
[root@yang hadoop]# vi hdfs-site.xml
<configuration>
<!-- 数据块的副本个数-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--hdfs的访问权限-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
4 mapred-site.xml
有一个模板,拷贝这个模板进行配置
[root@yang hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@yang hadoop]# vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framwork.name</name>
<value>yarn</value>
</property>
</configuration>
5.配置yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>yang</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
6.配置slaves
cong2
cong3
(localhost为伪分布,主机,从机是一个机器)
6.配置Hadoop环境变量
[root@yang ~]#vi /etc/profile
export HADOOP_HOME=[你的hadoop具体安装路径]
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
[root@yang ~]#source /etc/profile
如果搭多台机器则把再主机上配置好的hadoop整个文件夹拷贝到其他两台机器上
[root@yang soft]#scp -r hadoop260 root@192.168.56.172:/opt/soft/
启动Hadoop
先格式化,再启动
[root@yang hadoop]#hdfs namenode -format
[root@yang hadoop]#start-all.sh
[root@yang hadoop]#jps
2448 DataNode
2355 NameNode
2645 SecondaryNameNode
2805 ResourceManager
3237 Jps
2902 NodeManager
浏览器输入ip:50070出现Hadoop的管理界面
hadoop 操作文件/目录的基本命令
hdfs dfs -mkdir -p [目录名]
hdfs dfs -rm -r [目录名/文件名]
hdfs dfs -put [/目录名/文件名] [/路径]
hdfs dfs -get [/路径] [/目录]