1. 示例说明:
i. 本示例中的source将使用nginx的方式来获取数据,将数据传输到hdfs分布式文件系统(使用的是伪分布式环境)上。
ii. 故,请检查系统中是否有相关环境)——Nginx、Hadoop、JDK、Flume
iii.若没有请按照文档步骤进行配置。如有,请跳过2步骤。
2. 准备环境
i. Linux(CentOS 7,环境如下:)
配置了静态IP地址(192.168.123.131)
永久关闭了防火墙:
systemctl stop firewalld.service
systemctl disable firewalld.service
第一条命令临时关闭,第二条命令永久关闭,注,永久关闭需重启系统。可以通过执行两条命令的方式来达到不重启服务器永久关闭防火墙。
配置主机名:
hostnamectl set-hostname hadoop
修改hosts文件
vim /etc/hosts
192.168.123.131 hadoop
配置免密登录:
ssh-keygen
ssh-copy-id root@hadoop
ii. nginx (当前环境为yum安装方式。nginx版本为1.16)
1. 安装方式:
默认情况Centos7中无Nginx的源,最近发现Nginx官网提供了Centos的源地址。因此可以如下执行命令添加源:
sudo rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
通过yum search nginx看看是否已经添加源成功。如果成功则执行下列命令安装Nginx:
sudo yum install -y nginx
使用默认的配置启动nginx查看是否能启动
systemctl start nginx.service
iii. Hadoop(当前环境为解压安装方式:使用环境2.9.2)
1. 修改一下配置文件内容:
编辑hadoop-env.sh
vim hadoop-env.sh
将JAVA_HOME替换为具体的jdk安装目录, 例如
export JAVA_HOME=/home/preSoftware/jdk1.8
将HADOOP_CONF_DIR替换为具体的Hadoop的配置目录