Hadoop学习

1．三台机器的防火墙必须是关闭的

2．确保三台机器的网络配置通常(NAT模式、静态IP、主机名的配置)

3．确保/etc/hosts文件配置了IP和hosts的映射关系

4．确保配置了三台机器的免密登录认证

5．确保所有的机器时间同步

6.JDK和Hadoop的环境变量配置

1.关闭防火墙

• 01 02 03

[root@tianqinglong01 ~]# systemctl stop firewalld

[root@tianqinglong01 ~]# systemctl disable firewalld 禁止开机自启动

[root@tianqinglong01 ~]# systemctl stop NetworkManager

[root@tianqinglong01 ~]# systemctl disable NetworkManager

#最好也把selinux关闭掉，这是li nux系统的一个安全机制，进入文件中将SELINUX设置为disabled

[root@tianqinglong01 ~]# vim /etc/selinux/config

…

SELINUX=disabled

…

2.静态IP和主机名配置

• 01 02 03

–1. 配置静态IP （确保NAT模式）

[root@tianqinglong01 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33

…

BOOTPROTO=static # 将dhcp改为static

…

ONBOOT=yes #将no改为yes

IPADDR=192.168.10.101 #添加IPADDR属性和ip地址 (101 102 103)

PREFIX=24 #添加NETMASK-255.255.255.8或者PREFIX-24

GATEWAY=192.168.10.2 #添加网关GATETAY

DNS1=114.114.114.114 #添加DNS1和备份DNS

DNS2=8.8.8.8

–2.重启网络服务

[root@tianqinglong01 ~]# systemctl restart network

或者

[root@tianqinglong01 ~]# service network restart

–3.修改主机名（如果修改过，请略过这一步）

[root@tianqinglong01 ~]# hostnamectl set-hostname tianqinglong01

或者

[root@tianqinglong01 ~]# vi/etc/hostname

tianqinglong01

3.配置/etc/hosts文件

[root@tianqinglong01 ~]# vi /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localhostdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localhostdomain6

192.168.10.101 tianqinglong01 # 添加本机的静态IP和本机的主机名之间的映射关系

192.168.10.102 tianqinglong02

192.168.10.103 tianqinglong03

:wq #保存并退出

#给02 03配置

scp /etc/hosts tianqinglong02:/etc/

yes

输入密码

scp /etc/hosts tianqinglong03:/etc/

yes

输入密码

4.免密登录认证

-1. 使用rsa加密技术，生成公钥和私钥，一路回车即可 01 02 03都要生成

[root@tianqinglong01 ~]# cd ~

[root@tianqinglong01 ~]# ssh-keygen -t rsa

-2.进入~/.ssh目录下，使用ssh-copy-id命令 (01 02 03 都一样)

[root@tianqinglong01 ~]# cd ~/.ssh

[root@tianqinglong01 .ssh]# ssh-copy-id root@tianqinglong02

输入02密码

[root@tianqinglong01 .ssh]# ssh-copy-id root@tianqinglong03

输入03密码

-3.进行验证

[root@tianqinglong01 .ssh]# ssh tianqinglong #发现直接登陆过来了，不需要密码

注意:三台机器提前安装好的情况下，需要同步公钥文件。如果使用克隆技术。那么使用同一套密钥对就方便多了。

5.时间同步

1 选择集群中的某一台机甚作为时间服务器。tianqinglong01

2 保证这台服务第安装了ntp.x86_64。

3 保证ntpd服务运行…- —

[root@tianqinglong01 .ssh]# yum install ntp -y

[root@tianqinglong01 .ssh]# vim /etc/ntp.conf

Hosts on local network are less restricted.

restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap # 添加集群中的网络段位

restrict 192.168.10.e mask 255.255.255.0 nomodify notrap

Use public servers from the pool.ntp.org project.

#Please consider joining the pool (http://nw.pool.ntp.org/join.html

server 0.centos,pool.ntp.org iburst注释掉

server 1.centos.pool.ntp.org iburst注释掉

server 2.centos.pool.ntp.org iburst注释掉

server 3.centos. pool.ntp.org iburst注释掉

server 127.127.1.0 -master作为服务器

:wq

[root@tianqinglong01 .ssh]# systemctl start ntpd

[root@tianqinglong01 .ssh]# systemctl status ntpd

02 安装 yum install ntpdate -y

ntpdate -u tianqinglong01

03 安装 yum install ntpdate -y

ntpdate -u tianqinglong01

其他机器要使用root定义定时器

[root@tianqinglong02 .ssh]#crontab -e

• • • • • /usr/sbin/ntpdate -u tianqinglong01 > /dev/null 2>&1

:wq

[root@tianqinglong03 .ssh]#crontab -e

• • • • • /usr/sbin/ntpdate -u tianqinglong01 > /dev/null 2>&1

:wq

02 03的jdk环境配置

[root@tianqinglong01 local]# scp -r jdk /tianqinglong02:$PWD

[root@tianqinglong01 local]# scp -r jdk /tianqinglong03:$PWD

6.Hadoop安装与环境变量配置

1.上传和解压两个软件包

[root@tianqinglong01 ~J# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/

[root@tianqinglong01 ~J# tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/

2.进入local里,给两个软件更名

[root@tianqinglong01 ~J# cd /usr/local/

[root@tianqinglong01 localJ# mv 1.8.0_221/jdk

[root@tianqinglong01 localJ# mv hadoop-2.7.6/ hadoop

3.配置环境变量

[root@tianqinglong01 hadoopJ# vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[root@tianqinglong01 hadoopJ# source /etc/profile

[root@tianqinglong01 hadoopJ# cd

[root@tianqinglong01 ~J# hadoop version

02 03 也要安装hadoop

[root@tianqinglong01 localJ# scp -r hadoop /tianqinglong02:$PWD

[root@tianqinglong01 localJ# scp -r hadoop /tianqinglong03:$PWD

[root@tianqinglong01 localJ# scp /etc/profile tianqinglong02:/etc/

[root@tianqinglong01 localJ# scp /etc/profile tianqinglong03:/etc/

02

[root@tianqinglong02 .sshJ# source /etc/profile

[root@tianqinglong02 ~J# hadoop version

03

[root@tianqinglong03 .sshJ# source /etc/profile

[root@tianqinglong03 ~J# hadoop version

NameNode 和 DateNode

---

NameNode ：是用来维护集群的目录树结构，并对外提供服务的节点

DateNode ： 数据存储的节点

Hadoop的配置文件

---

我们需要通过配置若干配置文件，来实现Hadoop集群的配置信息。需要配置的文件有:

hadoop-env.sh

yarn-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

core-site.xml

[root@tianqinglong01 ~]# cd $HADOOP_HOME/etc/hadoop/

[root@tianqinglong01 hadoop]# vi core-site.xml

fs.defaultFS

hdfs://tianqinglong01:8020

hodoop.tmp.dir

/usr/local/hodoop/tmp

hdfs-site.xml

[root@tianqinglong01 hadoop]# vi hdfs-site.xml

dfs.namenode.name.dir

file://${hadoop.tmp.dir}/dfs/name

</ property>

dfs.datanode.data.dir

file://${hadoop.tmp.dir}/dfs/data

dfs.replicationc

3

dfs.blocksize

134217728

dfs.namenode.secondary.http-address

tianqinglong02:50090

dfs.nomenode.http-address

tianqinglong01:50070

mapred-site.xml

[root@tianqinglong01 hadoop]# cp mapred-site.xml.template mapred-site.xml

[root@tianqinglong01 hadoop]# vi mapred-site .xml

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

tianqinglong01:10020

mopreduce-jobhistory.webapp.address

tianqinglong01:19888

yarn-site.xml

[root@tianqinglong01 hadoop]# vi yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.hostname

tianqinglong01

yarn.nodemanager.aux-services.mapreduce_shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

yarn.resourcemanager.address

tianqinglong01:8032

yarn.resourcemanager.scheduler.address

tianqinglong01:8030

yarn.resourcemanager.resource-tracker.address

tianqinglong01:8031

yarn.resourcemanager.admin.address

tianqinglong01:8033

yarn.resourcemanager.webapp.address

tianqinglong01:8088

hadoop-env.sh

[root@tianqinglong01 hadoop]# vim hadoop-env.sh

…

The java implementation to use

export JAVA_HOME=/usr/local/jdk

…

yarn-env.sh

[root@tianqinglong01 hadoop]# yarn-env.sh

…

some Java Paramters

JAVA_HOME=/usr/local/jdk

…

slaves

此文件用于指定datanode守护进程所在的机器节点主机名

[root@tianqinglong01 hadoop]# vim slaves

tianqinglong01

tianqinglong02

tianqinglong03

分发到另外两台

[root@tianqinglong01 hadoop]# cd …

[root@tianqinglong01 etc]# ll

[root@tianqinglong01 etc]# scp -r hadoop/ tianqinglong02:$PWD

[root@tianqinglong01 etc]# scp -r hadoop/ tianqinglong03:$PWD

格式化集群与启动

---

格式化集群

1.在tianqinglong01机器上运行命令

[root@tianqinglong01 ~]# hdfs namenode -format

[root@tianqinglong01 ~]# cd /usr/local/hadoop/tmp/dfs/name/current

启动

1.启动脚本

– start-dfs.sh :用于启动hdfs集群的脚本

– start-yarn.sh :用于启动yarn守护进程

– start-all.sh :用于启动hdfs和yarn

2.关闭脚本

– stop-dfs.sh :用于关闭hdfs集群的脚本

– stop-yarn.sh :用于关闭yarn守护进程

– stop-all.sh :用于关闭hdfs和yarn

[root@tianqinglong01 ~]# ssh-copy-id tianqinglong01

[root@tianqinglong01 ~]# start-dfs.sh

[root@tianqinglong01 ~]# jps #查看

HDFS的shell命令

---

HDFS其实就是一个分布式的文件系统，我们可以使用一些命令来操作这个分布式文件系统上的文件。

-访问HDFS的命令:

hadoop dfs —已过时

hdfs dfs

-小技巧

1.在命令行中输入hdfs。回车后，就会提示hdfs.后可以使用哪些命令，其中有一个是dfs.

2.在命令行中输入hdfs dfs，回车后，就会提示dfs后可以添加的一些常用shell命令。

-注意事项

分布式文件系统的路径在命令行中,要从/开始写,即绝对路径。

创建目录

hdfs dfs -mkdir (-p) /目录

hdfs dfs -mkdir (-p) /data

上传指令

echo “hello hdfs” >> a1

hdfs dfs -put a1 /data

创建空文件

hdfs dfs -mkdir /empty

hdfs dfs touchz /empty/empty1

向分布式文件系统中的文件里追加内容

echo “hello world” >> e1

hdfs dfs -appendToFile e1 /empty/empty1

下载指令

hdfs dfs -get /empty/empty1 ./

##扩展 拷贝指令

hdfs dfs -copyToLocal /empty ./

合并下载

• 把多个文件里面数据合并成一个

echo “hello 1” >> file1

echo “hello 2” >> file2

echo “hello 3” >> file3

hdfs dfs -put file* /

hdfs dfs -getmerge /file* ./file

cat file

hello 1

hello 2

hello 3

移动文件

hdfs dfs -mv /file* /data

重命名

hdfs dfs -mv /test /test1

复制

hdfs dfs -cp /data/file1 /

删除命令

hdfs dfs -rm /file1

hdfs dfs -rm -r /a #递归删除

hdfs dfs -rmdir /test1 #只能删除空文件夹

查看磁盘利用率和文件大小

hdfs dfs -df /

hdfs dfs -df -h / #可以直观的看

hdfs dfs -du -h /data #查看data文件夹里面的每个文件大小