一、centos常用命令及说明
su root
rm -rf 文件夹 (删除)
vim/vi 文件 (打开文件)
【一】修改文件
如果是使用普通用户登录的,需要先切换到管理员用户,打开终端,输入:su,接着按提示输入密码即可;然后使用命令进入需要修改文件的所在目录,常用的几个命令如下:
① cd + 目录名
② cd + 空格(退回上级目录)
③ cd + 空格 + /(退回最高级目录)
接着使用命令:vi + 文件名命令,打开文件,然后输入命令:/ + 要修改的关键词,查找到要修改的内容,然后使用命令进入【文本输入模式】,常用的命令如下:
① a 在光标之后开始输入文本
② A 在行尾开始输入文本
③ i 在光标之前开始输入文本
④ I 在行首第一个非空白字符前输入文本
⑤ o 在光标所在行后插入一空行
⑥ O 在光标所在行前插入一空行
【二】保存退出
修改好文件后,如果在【文本输入模式】下,首先按“ESC” 键进入【命令模式】,然后输入“:”,进入【末行模式】,在末行模式下,可使用如下退出命令:
① q 是直接退出;
② wq 保存后退出;
③ q! 强制退出;
④ wq! 强制保存退出;
jdk位置:/usr/java/jdk1.8.0_202-amd64
hadoop位置:/home/joe/hadoop-2.2.0
二、环境准备
一律设置用户名和密码为joe
(1)修改机器名
常看机器名:hostname
su - root 获取root用户权限
vim /etc/sysconfig/network
HOSTNAME=cMaster(自己定)cSlave0 cSlave1
reboot(重启后才会生效)
(2)添加域名映射
ifconfig获取IP地址,如cMaster地址为192.168.15.128,cSlave0为192.168.15.131,cSlave1为192.168.15.130
su - root 获取root用户权限
vi /etc/hosts
加入192.168.15.128 cMaster
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
#127.0.0.1 localhost
#127.0.0.1 cMaster
192.168.15.128 cMaster
192.168.15.132 cSlave1
192.168.15.131 cSlave0
cSlave0
#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
127.0.0.1 localhost
192.168.15.131 cSlave0
192.168.15.132 cSlave1
192.168.15.128 cMaster
(3)关闭防火墙(需在root下)
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
(4)安装 jdk(还是在root下安装)
rpm -ivh /home/joe/jdk-8u202-linux-x64.rpm
暂时先不添加环境变量
三、部署(传统解压包部署)
(1)解压/home/joe/hadoop-2.2.0.tar.gz
文件放入/home/joe,在/home/joe下解压(注意:一定要在joe账户下安装,否则被保护)
tar -zxvf /home/joe/hadoop-2.2.0.tar.gz
(2)编辑文件“/home/joe/hadoop-2.2.0/etc/hadoop/hadoop-env.sh”
export JAVA_HOME=/usr/java/jdk1.8.0_202-amd64
这里的“/usr/java/jdk1.8.0_202-amd64”就是 jdk 安装位置
(3)编辑文件 “/home/joe/hadoop-2.2.0/etc/hadoop/core-site.xml” 并将如下内容嵌入到此文件里 configuration 标签间(红色字体替换成自己的用户名)
注意:/home/joe/cloudData是我们设置的临时文件地址
<property><name>hadoop.tmp.dir</name><value>/home/joe/cloudData</value></property>
<property><name>fs.defaultFS</name><value>hdfs://cMaster:8020</value></property>
(4)编辑文件 “/home/joe/hadoop-2.2.0/etc/hadoop/yarn-site.xml”, 并将如下内容嵌入到此文件里 configuration 标签间
<property><name>yarn.resourcemanager.hostname</name><value>cMaster</value></property>
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
(5)将文件“/home/joe/hadoop-2.2.0/etc/hadoop/mapred-site.xml.template ”重命名为“/home/joe/hadoop-2.2.0/etc/hadoop/mapred-site.xml”,接着编辑此文件并将如下内容嵌入到此文件的 configuration 标签间
<property><name>mapreduce.framework.name</name><value>yarn</value></property>
(6)将hadoop添加到环境变量
一定先获取root权限
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_202-amd64
export HADOOP_HOME=/home/joe/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/binsource /etc/profile (使修改后立即生效)注意export后是tab
(7)启动 hadoop(启动前在主节点 cMaster 上格式化主节点命名空间)需关闭所有服务,然后格式化
hadoop-2.2.0/bin/hdfs namenode -format(多次format会出问题)
如果多次启动了,删除所有虚拟机/home/joe/cloudData文件夹
(8) 在主节点 cMaster 上启动存储主服务 namenode 和资源管理主服务 resourceManager
hadoop-2.2.0/sbin/hadoop-daemon.sh start namenode
hadoop-2.2.0/sbin/yarn-daemon.sh start resourcemanager
在从节点上启动存储从服务 datanode 和资源管理从服务 nodemanager
hadoop-2.2.0/sbin/hadoop-daemon.sh start datanode
hadoop-2.2.0/sbin/yarn-daemon.sh start nodemanager
(9)验证
命令 jps:会显示进程
cMaster里:NameNode和ResourceManager
cslave0里:DataNode和NodeManager
浏览器地址栏输入以下地址:
cMaster:8088:可在 web 界面看到 hdfs 相关信息。
cMaster:50070:可在 web 界面看到 yarn 相关信息。
附:另外一种启动hadoop的方式
./start-all.sh
或者先启动HDFS sbin/start-dfs.sh
再启动YARN sbin/start-yarn.sh
有个小问题(之后要重复输密码)
(10)如果windows想通过cMaster:50070等看信息。需要再windows的hosts里添加映射文件
C:\Windows\System32\drivers\etc\hosts