实验3 Spark Streaming编程初级实践

实验3 Spark Streaming编程初级实践

---

前言

Flume是Cloudera提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。Flume 的核心是把数据从数据源收集过来，再送到目的地。本次实验内容主要是安装flume，并对其进行测试，最终编写Spark Streaming程序对接受的flume source数据进行处理。

---

一、实验目的

1.1、通过实验学习日志采集工具Flume的安装和使用方法；
1.2、掌握采用Flume作为Spark Streaming数据源的编程方法。

二、实验环境

操作系统： Centos 8
Spark版本：1.11
Flume版本：1.7.1

三、实验内容

3.1 安装Flume

下载地址如下：

http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz

我将其下载到桌面上，再传进docker里，命令如下

docker cp F:/apache-flume-1.7.0-bin.tar.gz masterip:/opt

（1）解压安装包并改名为flume

tar -zxvf apache-flume-1.7.0-bin.tar.gz
cd /opt
mv ./apache-flume-1.7.0-bin ./flume

（2）配置环境变量

vim ~/.bashrc 
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64; 
export FLUME_HOME=/usr/local/flume 
export FLUME_CONF_DIR=$FLUME_HOME/conf 
export PATH=$PATH:$FLUME_HOME/bin 

这里的java根据本机安装的版本来写

修改 flume-env.sh 配置文件：

cd /opt/flume/conf
cp ./flume-env.sh.template ./flume-env.sh
vim ./flume-env.sh

添加Java版本

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64; 

（3）查看flume版本信息

cd /opt/flume
./bin/flume-ng version

显示如下：

3.2 使用netcat数据源测试Flume

请对Flume的相关配置文件进行设置，从而可以实现如下功能：在一个Linux终端（这里称为“Flume终端”）中，启动Flume，在另一个终端（这里称为“Telnet终端”）中，输入命令“telnet localhost 44444”，然后，在Telnet终端中输入任何字符，让这些字符可以顺利地在Flume终端中显示出来。

（1）创建agent文件

cd /opt/flume
vim ./conf/example.conf

写入以下内容

1.#example.conf: A single-node Flume configuration
2.# Name the components on this agent
3.a1.sources = r1
4.a1.sinks = k1
5.a1.channels = c1
6.# Describe/configure the source
7.a1.sources.r1.type = netcat
8.a1.sources.r1.bind = localhost
9.a1.sources.r1.port = 44444
10.#同上，记住该端口名
11.# Describe the sink
12.a1.sinks.k1.type = logger
13.# Use a channel which buffers events in memory
14.a1.channels.c1.type = memory
15.a1.channels.c1.capacity = 1000
16.a1.channels.c1.transactionCapacity = 100
17.# Bind the source and sink to the channel
18.a1.sources.r1.channels = c1
19.a1.sinks.k1.channel = c1

（2）启动 flume agent (即打开日志控制台)：

/usr/local/flume/bin/flume-ng agent --conf ./conf --conf-file ./conf/example.conf --name a1 -Dflume.root.logger=INFO,console

如下：

再打开一个终端，进入主机，并输入

telnet localhost 44444

发现出错，原因没有telnet命令
于是下载telnet

yum -y install telnet-server.x86_64
yum -y install telnet.x86_64
yum -y install xinetd.x86_64

设置开机自启

chkconfig telnet on

修改配置文件

vim /etc/xinetd.d/telnet

注意，在centos7以前的版本有这个配置文件，以后的版本没有，可以新建并修改如下：

# default: yes
# description: The telnet server servestelnet sessions; it uses \
#      unencrypted username/password pairs for authentication.
service telnet
 
{
   
  flags           = REUSE
  socket_type     = stream
  wait            = no
  user            = root
  server          =/usr/sbin/in.telnetd
  log_on_failure  += USERID
  disable         = no 
}

如有则修改,第一次修改,此文件若不存在,可自己vim创建修改，修改 disable = yes 为 disable = no

开启service，发现没有service，于是下载

yum install initscripts -y

下载完成，执行命令

service xinetd restart

再次输入命令