Hadoop入门

Hadoop入门（基于mac）
·Hadoop安装与配置
由于使用mac电脑进行Hadoop操作，我讲使用Vmware Fusion虚拟机进行操作。首先需要在电脑上下载好Vmware Fusion虚拟机和linux系统镜像文件
将电脑中的Linux系统镜像文件拖入指定位置，然后连续点击下一步进行安装操作。由于本课程要求使用图形界面进行Hadoop操作，因此在安装过程中选定gui选项。稍作等待后即可完成安装，之后进行常规的语言等设置后即可进行Linux系统的图形界面使用。
下面进入正式操作环节：
第一节hadoop基础环境的配置
1.0前置操作：使我所创建的普通用户获得管理员权限
操作方法如下
1）切换到管理员用户

su root

2）打开/etc/sudoers

chmod u+w /etc/sudoers
vim /etc/sudoers

复制第98行：root ALL=(ALL) ALL
在第99行复制并更改用户名：cyj ALL=(ALL) ALL

3）被认可的用户使用特权命令时，需要在特权命令前加上sudo
1.1基础网络环境
1.1.1先配置网络联通
在图形界面中，打开网络连接的有线设置->齿轮->ipv4->地址选择手动，填写网络信息就可以了。但是网络信息必须符合网络规则（编辑中有虚拟网络编辑器）

最后，重启网络
service network restart
1.1.2关闭防火墙
查看防火墙状态

systemctl status firewalld.service

关闭防火墙

systemctl stop firewalld.service

查看服务开启启动项列表

systemctl list-unit-files

设置防火墙开机不自动启动

systemctl disable firewalld.service

1.2免密登录
首先生成公私钥

ssh-keygen -t rsa

打开用户目录下的.ssh目录

cd
cd .ssh

将公钥文件拷贝成authorized_keys

cp id_rsa.pub authorized_keys

验证

ssh 本节点主机名

若无需输入密码可直接登录则设置成功，然后exit退出即可。
1.3 jdk安装
复制jdk文件（.tar.gz格式）到用户目录下
在此目录下新建java目录，将安装包移动到该目录下解压

Tar zxvf 压缩包名

解压后为了方便后期操作，将解压后目录名重命名为jdk（使用mv改名）
打开并编辑用户目录下的.\bashrc文件

Vim ~/.bashrc

在正文的后面添加以下内容
Export JAVA_HOME=/home/ryan/java/jdk
Export PATH=$PATH:$JAVA_HOME/bin
保存退出
让该文件立即生效

Source ~/.bashrc
卸载已有jdk（可选）
查询已安装包名中包含jdk的

rpm -qa |grep jdk

卸载方法
Rpm -e 包名 --nodeps（忽略依赖关系）
使用java -version命令验证
如果显示版本号与安装版本号相同，则证明安装成功了

第二节hadoop的安装
首先将hadoop安装包复制到用户目录下，
新建hadoop目录。
将安装包移动到该目录下解压（与上面jdk解压方法相同）。
将解压完成后的目录（hadoop-2.6.2）改名为hadoop（与上面jdk改名方法相同）
将hadoop根目录下的bin目录和sbin目录路径加入到PATH中
更改~/.bashrc文件如下
export JAVA_HOME=/home/ryan/java/jdk
export HADOOP_HOME=/home/ryan/hadoop/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin

改完后，执行source命令令其立即生效
使用hadoop version验证是否成功

第三节hadoop的配置
3.1在$HADOOP_HOME/etc/hadoop/目录下

需要配置以下文件
Hadoop-env.sh
export JAVA_HOME=/home/ryan/java/jdk

Yarn-env.sh
export JAVA_HOME=/home/ryan/java/jdk

Core-site.xml
在configuration标签中添加以下变量和值

fs.defaultFS
hdfs://node-1:9000


hadoop.tmp.dir
/home/ryan/hadoop/hadoop/tmp

Hdfs-site.xml
(如果不设置该参数，则默认值为3)
dfs.replication
2

(如果不设置该参数，则默认值为$hadoop.tmp.dir/dfs/name)<name>dfs.namenode.name.dir</name><value>/home/ryan/hadoop/hadoop/tmp/dfs/name</value></property><property>(如果不设置该参数，则默认值为$hadoop.tmp.dir/dfs/data)
dfs.datanode.data.dir
/home/ryan/hadoop/hadoop/tmp/dfs/data

Mapred-site.xml

mapreduce.framework.name
yarn


Yarn-site.xml

yarn.resourcemanager.address
rmhostname:8032


Slaves

vim slaves

在此文件中写明所有从节点的节点名，一行一个（如果为伪分布式部署，则默认localhost即可，无需更改，如果是真分布式再进行修改）
把里面的localhost删掉，写上。

3.2格式化并启动hadoop

hadoop namenode -format

start-all.sh

启动成功！