大数据实践（Day2）

一、NetworkManger服务

1.关闭NetworkManager服务(只针对本次虚拟机运行时有效)

service NetworkManager stop

2.禁用NetworkManager服务

chkconfig NetworkManager off

3.禁用之后 重启网络
 

service network restart

二、修改虚拟机主机名

[root@localhost ~]# hostnamectl set-hostname bigdata

[root@localhost ~]# exit   

重启虚拟机
reboot

查询虚拟机主机名
hostname

查询已执行的历史命令
history

三、防火墙

1.查询防火墙的状态
 

systemctl status firewalld.service

2.关闭防火墙（只针对本次虚拟机运行时有效）
 

systemctl stop firewalld.service

3.禁用防火墙（永久）(不要漏掉这一步)
 

systemctl disable firewalld.service

 

四、MobaXterm_Personal_12.4配置模板虚拟机

1.创建session

2.查看主机名（hostname）

3.centos7修改yum源为阿里源  (使用Shift + Insert(Ins)进行粘贴)

首先是到yum源设置文件夹里
1. 查看yum源信息:
yum repolist

2. 定位到base reop源位置
cd /etc/yum.repos.d

3. 下载wget
yum install -y wget

4. 接着备份旧的配置文件
mv CentOS-Base.repo CentOS-Base.repo.bak

5. 下载阿里源的文件
wget -O CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

6.清理缓存
yum clean all

7.重新生成缓存
yum makecache

8. 再次查看yum源信息
yum repolist

4.安装必要的软件

yum install -y epel-release

yum install -y net-tools

yum install -y vim

5.同步到北京时间

1. 首先查看是不是东八区
date -R

2. 删除自带的localtime
rm -rf /etc/localtime

3.  创建软链接到localtime 
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

4. 安装ntpdate
yum install -y ntpdate

5. 同步北京时间
ntpdate -u ntp.api.bz 
ntpdate ntp1.aliyun.com

6.创建目录

（1）当前处于/opt目录中时,使用相对路径创建子目录

 mkdir install_packages
 mkdir softs

（2）在任意目录下时 可以使用绝对路径创建目录

mkdir /opt/install_packages
 mkdir /opt/softs

7.解压命令

tar -zxvf 要解压的文件 -C 要解压到的目录
eg: tar -zxvf /opt/install_packages/jdk-8u111-linux-x64.tar.gz -C /opt/softs/


z:表示的是操作的文件类型是.tar.gz
x:当前执行的是解压操作
v:显示解压的过程
f:指定文件名
c:指定解压的目录

8.修改命令

mv 要改名的文件 改名后的文件
eg:mv /opt/softs/jdk1.8.0_111/ /opt/softs/jdk1.8.0

9.配置jdk的环境变量

vim profile

#JAVA_ HOME
export JAVA_HOME=/opt/softs/jdk1.8.0
export PATH=$PATH:$JAVA_HOME/bin

--使用source命令使环境变量生效
source /etc/profile

--验证环境变量
echo $JAVA_HOME

10.关闭模板虚拟机（直接点叉号关闭）

五、克隆模板虚拟机

1.关闭模板虚拟机

2.开始克隆

在bigdata根目录下创建bigdata01文件

手动修改虚拟机位置，使其与bigdata文件位于同一目录

完成克隆

3.修改克隆后虚拟机bigdata01的IP地址和主机名称

--修改IP地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33

eg: 192.168.26.70改为192.168.26.71

--修改主机名称
vim /etc/hostname

eg: bigdata改为bigdata01

4.关闭虚拟机，重启虚拟机，打开MobaXterm，创建新的session

六、下载Hadoop

1.解压Hadoop压缩包

tar -zxvf /opt/install_packages/hadoop-3.1.3.tar.gz -C /opt/softs/

2.修改Hadoop名称

mv /opt/softs/hadoop-3.1.3/ /opt/softs/hadoop3.1.3/

3.配置Hadoop环境变量 

vim /etc/profile

#HADOOP_HOME
export HADOOP_HOME=/opt/softs/hadoop3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

source /etc/profile
echo $HADOOP_HOME

Hadoop单机版安装完成

七、测试Hadoop功能

1.新建input文件

2.将words.txt放入input文件夹（手拖）

3.调用jar文件执行Hadoop命令

hadoop jar /opt/softs/hadoop3.1.3/share/hadoop/mapreduce/hadoop-m                                                                  apreduce-examples-3.1.3.jar wordcount /opt/softs/hadoop3.1.3/input/ /opt/softs/hadoop3.1.3/output

hadoop jar jar包所在的位置 wordcount 所处理文件所在的文件夹位置（可处理多个文件） 运行结果储存的位置（不可提前存在）

--删除目录(output)
rm -rf /opt/softs/hadoop3.1.3/output/