Hadoop+Flink研发环境部署+开发

1.Hadoop安装部署

1.1 环境准备

（1）关闭防火墙

（2）ssh免密登录

（3）安装JDK1.8，配置环境变量等

1.2 配置Hadoop

1）解压安装文件到指定目录

[user@hadoop software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

2）将Hadoop添加到环境变量

（1）获取Hadoop安装路径

[user@hadoop hadoop-3.1.3]$ pwd

/opt/module/hadoop-3.1.3

（2）打开/etc/profile.d/my_env.sh文件

[user@hadoop hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

• 在my_env.sh文件末尾添加如下内容：（shift+g）

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

• 保存并退出： :wq

（3）让修改后的文件生效

[user@hadoop hadoop-3.1.3]$ source /etc/profile

   3）配置文件说明

   Hadoop配置文件分两类：默认配置文件和自定义配置文件。

（1）默认配置文件：

要获取的默认文件	文件存放在Hadoop的jar包中的位置
[core-default.xml]	hadoop-common-3.1.3.jar/core-default.xml
[hdfs-default.xml]	hadoop-hdfs-3.1.3.jar/hdfs-default.xml
[yarn-default.x