2021-08-22

大数据项目设计及实战

第一章

1.系统架构图设计

2.系统数据流程设计

3.集群资源规划设计

第二章 linux环境准备与设置

1.Linux系统常规设置

2.克隆虚拟机并进行相关的配置

3.对集群中的机器进行基本的配置

1.Linux系统常规设置

1、设置ip地址
2、创建用户

adduser lyc
passwd 123456

exit
3、文件中设置主机名

vi /etc/sysconfig/network

4、主机名映射

vi /etc/hosts
IP地址 xyxy11 xyxy12

5、关闭防火墙

systemctl stop firewalld (本次服务关闭)

systemctl disable firewalld(禁用防火墙) 永久

6.root用户下设置无密码用户切换

ls -l /etc/sudoers
vi /etc/sudoers
加一行
lyc ALL=(root)NOPASSWD:ALL

7.验证机器的防火墙是不是关了

service iptables status
service ipables start
service ipables stop

2.克隆虚拟机并进行相关的配置

1.创建我们需要的目录

mkdir /opt/softwares
mkdir /opt/modules
mkdir /opt/tools
mkdir /opt/datas

2.将root用户的目录改变成lyc用户所属的目录

chown -R lyc:lyc /opt/*

3.将JDK安装包通过工具上传到opt/softwares目录下
4.更改文件的权限

chmod u+x /opt/softwares/*

5.安装JDK

tar -zxvf jdk-linux-x64.tar.gz -C /opt/modules/

6.安装JDK-配置Java环境变量

vi etc/profile 进入文件末尾添加数据
export JAVA_HOME=/opt/modules/jdk 1.8.0
export PATH=$PATH:$JAVA_HOME/bin
保存文件

7.修改虚拟机大小
8.修改虚拟机名称

3.对集群中的机器进行基本配置

1.配置IP地址
2.配置IP地址映射

第三章：Hadoop2.x分布式集群部署

1.hadoop2.x版本下载及安装

2.hadoop2.x分布式集群配置

3.分发到各个机器节点

4.HDFS启动集群运行测试

5.YARN集群运行ManReduce程序测试

6.配置集群中主节点到各个机器的SSH无秘钥登录

7.配置集群内机器时间同步（使用Linux ntp进行）

1.hadoop2.x版本下载及安装

官网下载
https://archive.apache.org/dist
http://archive.cloudera.com/cdh5/

2.hadoop2.x分布式集群配置

HDFS分布式部署
hadoop-env.sh
core-site.xml
Hdfs-site.xml

slave

yarn分布式部署

2.MapReduce部署

mapreduce部署
mapred-env.sh
mapred-site.xml

3.分发到各个节点

scp -r hadoop-2.5.0/ xyxy129:/opt/modules xyxy130: /opt/modules

scp -r hadoop-2.5.0/ xyxy129:/opt/modules xyxy131: /opt/modules

4.HDFS启动集群运行测试

hdfs namenode -format
启动各个节点机器服务：
Namenode
Datanode
Resourcemanager
Nodemanager

5.YARN集群运行ManReduce程序测试

hadoop jar /usr/tools/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /input/data.txt /user/root/data/1

6.配置集群中节点到各个机器的SSH无秘钥登录

主机1：
清空.shh目录
主节点NameNode
1)生成一对公钥与秘钥

ssh-keygen -t rsa

2)拷贝公钥到各个机器上

ssh-copy-id xyxy11
ssh-copy-id xyxy12
ssh-copy-id xyxy13

3)测试ssh连接

ssh xyxy11
ssh xyxy12
ssh xyxy13

4)测试HDFS

stop-dfs.sh

yarn ssh无秘钥登录
主机2：
主节点 Resourcemanager
1)生成一对公钥与秘钥

ssh-keygen -t rsa

2)拷贝公钥到各个机器上

ssh-copy-id xyxy11
ssh-copy-id xyxy12
ssh-copy-id xyxy13

3)测试ssh连接

ssh xyxy11
ssh xyxy12
ssh xyxy13

4)测试HDFS

stop-dfs.sh

7.配置集群内机器时间同步（使用Linux ntp进行）

找一代机器作为时间服务器 xyxy11