伪分布式集群搭建

伪分布式集群搭建

安装hadoop集群

1.配置主机
centos7关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
关闭selinux
setenforce 0
vim /etc/selinux/config
SELINUX=disabled

centos7配置主机名
临时修改主机名
hostname master
永久修改主机名
vim /etc/hostname
master

修改网卡

TYPE=“Ethernet”
BOOTPROTO=“static”
NAME=“ens33”
DEVICE=“ens33”
IPADDR=“192.168.31.200”
ONBOOT=“yes”

重启网络
systemctl retart network.service

root用户
（4）配置yum （linux软件安装工具 yum源，
所有使用yum安装的软件，都是从yum源里面拉取出来，yum可以自动解决依赖问题，前提是yum要有）

配置yum源（yum的软件仓库）
配置本地yum源 （iso）
cd /etc/yum.repos.d/

vim base.repo
[base]
name=Base
enabled=1

允许使用yum配置

baseurl=file:///media
#yum源的地址，因为用的本地yum源，所以yum源挂到/media，会把iso文件，挂到/media下
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

挂载光盘
mount /dev/sr0 /media

yum makecache //更新yum缓存，新挂yum源后，让yum软件更新源的缓存
yum repolist //显示yum列表总数

[root@master ~]$yum repolist
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
repo id repo name status
base Base 3,831
repolist: 3,831

yum -y install telnet
Running transaction
Installing : 1:telnet-0.17-60.el7.x86_64 1/1
Verifying : 1:telnet-0.17-60.el7.x86_64 1/1

Installed:
telnet.x86_64 1:0.17-60.el7

Complete!
################################################################################

删除命令
rm 只能删文件，在删除的时候要进行确认
rm -r 删除文件和文件夹
rm -rf　*

创建hadoop 用户
useradd hadoop
passwd hadoop

配置互信（ssh互信） 免密码登录
SSH配置互信
1.生成ssh的公钥私钥
su - hadoop
ssh-keygen

2.打开hadoop home
cd /home/hadoop
cd ~/
cd
家目录三种打开方式

cd ~/.ssh/
cat id_rsa.pub > authorized_keys
chmod 600 authorized_keys

hadoop用户下 ssh master 不需要输入密码，能直接连过去

=========================================================
卸载原来的java

yum -y remove java
rm -rf /usr/bin/java

在LINUX下配置JDK JDK版本要求（jdk1.8+ oracle JDK ）
su - root
在root用户下安装jdk
mkdir /soft
上传jdk包
解压jdk安装包
tar -xvf jdk-8u144-linux-x64.tar.gz
mv jdk1.8.0_144/ /usr/local/jdk (移动到/usr/local/jdk，/usr/local/jdk这个目录不能存在)

配置环境变量
vim /etc/profile (告诉系统一些文件和位置的信息)
export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile (使环境变量生效)

[root@master bin]# java -version
java version “1.8.0_144”
Java™ SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot™ 64-Bit Server VM (build 25.144-b01, mixed mode)

###########################################
解压hadoop安装包
su - hadoop
mkdir /home/hadoop/install (安装目录)
mkdir /home/hadoop/soft （存放安装包）
上传文件到/home/hadoop/soft

解压hadoop压缩包
tar -xvf hadoop-2.7.4.tar.gz -C …/install/
-C …/install/ 解压到…/install

修改配置文件
linux 安装软件（解压+写配置文件+启动）
cd /home/hadoop/install/hadoop-2.7.4/etc/hadoop

修改配置文件
###########################################
vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk
#############################################
hadoop核心文件，配置mr hdfs等io 核心的文件路径的配置文件
vim core-site.xml

fs.defaultFS hdfs://master:9000

master主机名（改成你自己主机名）
9000端口

hadoop.tmp.dir /data/hadoop/tmp

###########################################
hdfs有关的配置项，和数据块冗余有关系，默认3分冗余，一个节点写1
vi hdfs-site.xml

dfs.replication 1

##############################################
mv 剪切

复制改名
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

mapreduce.framework.name yarn

##############################################
#和yarn有关的配置
vim yarn-site.xml

yarn.resourcemanager.hostname
master

#resourcemanager 所在的主机名

yarn.nodemanager.aux-services mapreduce_shuffle ##############################################

（6）创建数据目录(在root用户下)
mkdir -p /data/hadoop/tmp
chown -R hadoop.hadoop /data
###########################################
配置环境变量
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/home/hadoop/install/hadoop-2.7.4
export PS1="[\u@\h \w]$"
export PATH=$PATH:$JAVA_HOME/bin:$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin
source /etc/profile

（10）格式化namenode(hadoop 用户只需要做一次)
在hadoop用户下（格式化namenode）
hdfs namenode -format

（11）启动集群(hadoop用户下！！！)
HDFS(分布式文件系统)
start-dfs.sh
同时启动namenode和datanode，DataNode在启动后，会自动向namenode进行注册（配置文件里面有那么node、
地址）

[hadoop@master ~/install/hadoop-2.7.4/etc/hadoop]$jps
9059 DataNode
8935 NameNode
9225 SecondaryNameNode

HDFS webserver 查看hdfs的运行状态
http://192.168.2.10:50070

YARN（资源调度框架）
start-yarn.sh

[hadoop@master ~/install/hadoop-2.7.4/etc/hadoop]$jps
9424 ResourceManager
9522 NodeManager
9059 DataNode
8935 NameNode
9225 SecondaryNameNode
9807 Jps

http://192.168.2.10:8088