大数据环境搭建攻略

ip ddr / ipconfig 查看IP地址

大数据环境安装部署步骤

https://www.cnblogs.com/Jims2016/p/6985591.html

 

 

设置CentOS 主机名

hostnamectl set-hostname 主机名

hostname 查看设置是否成功

 

1、搭建环境步骤:

1)安装VMWare,然后安装CentOS，并修改linux ip地址

配置LinuxIP地址，然后关闭防火墙

systemctl stop firewalld.service 停止

systemctl disable firewalld.service 永久关闭

systemctl status firewalld.service 查看状态

然后ping www.baidu.com 或ip 地址

vi etc/sysconfig/network-scripts/ifcfg-enp0s3

vi /etc/hosts 修改主机名称与IP对应

配置/etc/resolv文件,添加nameserver为网关地址

/etc/resolv

nameserver 192.168.231.2

 

vi /etc/resolv.conf 修改域名解析 dns1、 dns2

vi /etc/sysconfig/network 修改主机名HOSTNAME

或 修改主机名：hostnamectl set-hostname bigdata123

https://blog.csdn.net/ytangdigl/article/details/79776676

https://blog.csdn.net/saishuiye/article/details/80737540

 

2)安装WinSCP

3)安装JDK

4)在vi ~/.bash_profile 里面配置环境变量

 

JDK 环境变量配置

export JAVA_HOME=/opt/module/jdk1.8.0

export PATH=$JAVA_HOME/bin:PATH

 

hadoop 环境变量配置（bin/sbin 里面有执行命令）

HADOOP_HOME=/opt/module/hadoop-2.7.3

export HADOOP_HOME

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export PATH

5)source ~/.bash_profile 让其生效

 

 

分布式环境配置：

1、本地分布式配置

hadoop-env.sh 配置

export JAVA_HOME=/opt/module/jdk1.8.0

 

2、本地安装伪分布式配置 副本为1

hadoop-env.sh 配置

export JAVA_HOME=/opt/module/jdk1.8.0

 

格式化nameNode bin/hdfs namenode -format

启动 sbin/start-dfs.sh

查看用jps

页面 ip地址:50070

 

3、完全分布式配置 副本为3

 

 

Hadoop（HDFS+Yarn） 本地 伪分布 全分布

2、Hadoop安装---本地安装

（1）特点：没有HDFS和Yarn 只能够测试MR程序是否成功， 作为一个普通的java程序。

（2）修改文件：

vi hadoop-env.sh

set number

修改25行（行数不一 hadoop版本不一致）

JAVA_HOME=/opt/moudle/jdk1.8.0_181

cd /root/

mkdir temp

touch a.txt

vi a.txt

## mapred-site.xml 默认没有，我克隆的文件里面有 这个文件没有被覆盖指定了yarn资源 ##

3、Hadoop安装---本地安装伪分布模式

 

 

（1）特点：在一台机器上模拟一个分布式环境具备hadoop的所有功能。

HDFS：NameNode+DataNode+SecondarynameNode

Yarn：ResourceManager+NodeManager

（2）修改的文件：

**step1:hadoop-env.sh**

JAVA_HOME=/opt/moudle/jdk1.8.0_181

** step2:hdfs-site.xml**

<!--注释配置数据块的冗余度，默认是3-->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<!--注释配置HDFS的权限检查，默认是true-->

<!--

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

-->

**step3:core-site.xml**

<!--配置HDFS主节点，namenode的地址,9000是RPC通信端口-->

<property>

<name>fs.defaultFS</name>

<value>hdfs://bigdata124:9000</value>

</property>

<!--配置HDFS数据块和元数据保存的目录,一定要修改-->

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/moudle/hadoop-2.7.3/tmp</value>

</property>

**step4：mapred-site.xml(默认没有)**

cp mapred-site.xml.template mapred-site.xml

<!--配置MR程序运行的框架-->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

**step5：yarn-site.xml**

<!--配置Yarn的节点-->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>bigdata124</value>

</property>

<!--NodeManager执行MR任务的方式是Shuffle洗牌-->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

** step 6：通过HDFS namenode 格式化**

在第4步中，hadoop.tmp.dir--格式化

命令：hdfs namenode -format

验证：是否格式化成功：

Storage directory /opt/moudle/hadoop-2.7.3/tmp/dfs/name has been successfully formatted.

** 最后启动，通过start-all.sh启动**

最后用jps 验证是否伪分布式配置成功

验证： 5314 SecondaryNameNode

5586 NodeManager

5476 ResourceManager

5126 DataNode

5878 Jps

5022 NameNode

 

web 访问:

bigdata121:50070 HDFS

bigdata121:8088 YARN