数据采集之安装Flume、Kafka、Sqoop

最新推荐文章于 2023-05-09 00:31:00 发布
最新推荐文章于 2023-05-09 00:31:00 发布
阅读量807 收藏 3
点赞数 1
分类专栏： Hadoop 文章标签： linux flume kafka sqoop hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/flying_whale1/article/details/109592625
版权

文章目录


环境：CentOS6.7、Hadoop2.7.3、HBase1.2.5、Zookeeper3.4.6

安装Flume1.7

以root用户登录

su root

进入home目录

cd /home

下载flume1.7到本地

wget http://archive.apache.org/dist/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz

在这里插入图片描述

解压

tar xvf apache-flume-1.7.0-bin.tar.gz

在这里插入图片描述

配置环境变量

vi /etc/profile

文件末尾添加

export FLUME_HOME=/home/apache-flume-1.7.0-bin
export FLUME_CONF_DIR=$FLUME_HOME/conf
export PATH=$PATH:$FLUME_HOME/bin

在这里插入图片描述

使环境变量生效

source /etc/profile

在这里插入图片描述

进入Flume的配置目录

cd /home/apache-flume-1.7.0-bin/conf/

在这里插入图片描述

拷贝flume-env.sh的模板文件

cp flume-env.sh.template flume-env.sh

在这里插入图片描述

配置flume-env.sh文件

vi flume-env.sh

末尾添加

#若是解压安装的jdk，需设置为解压的安装目录
export JAVA_HOME=/usr/java/default

在这里插入图片描述

使环境配置生效

source flume-env.sh

在这里插入图片描述

验证安装Flume成功

flume-ng version

在这里插入图片描述

Flume使用

使用Flume接收AvroSource信息

创建Agent配置文件
cd /home/apache-flume-1.7.0-bin/conf/
vi avro.conf

文件末尾添加

a1.sources = r1
a1.sinks = k1
a1.channels = c1
 
# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 4141
 
# Describe the sink
a1.sinks.k1.type = logger
 
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
 
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

在这里插入图片描述

启动日志控制台
flume-ng agent -c . -f avro.conf -n a1 -Dflume.root.logger=INFO,console

在这里插入图片描述

按Ctrl+C可退出日志控制台，暂时先不退出

新建一个命令窗口，创建包含hello world的log文件并发送给Flume
cd /home/apache-flume-1.7.0-bin/
sh -c 'echo "hello world"> /home/log.00'
flume-ng avro-client -c . -H localhost -p 4141 -F /home/log.00

在这里插入图片描述

切回日志控制台的命令窗口接收到消息

在这里插入图片描述

使用Flume接收NetcatSource信息

创建agent配置文件
cd /home/apache-flume-1.7.0-bin/conf/
vi example.conf

在文件末尾添加

#example.conf: A single-node Flume configuration  
# Name the components on this agent  
a1.sources = r1  
a1.sinks = k1  
a1.channels = c1  
 
# Describe/configure the source  
a1.sources.r1.type = netcat  
a1.sources.r1.bind = localhost  
a1.sources.r1.port = 44444
 
# Describe the sink  
a1.sinks.k1.type = logger  
 
# Use a channel which buffers events in memory  
a1.channels.c1.type = memory  
a1.channels.c1.capacity = 1000  
a1.channels.c1.transactionCapacity = 100  
 
# Bind the source and sink to the channel  
a1.sources.r1.channels = c1  
a1.sinks.k1.channel = c1

在这里插入图片描述

启动日志控制台
flume-ng agent --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console

在这里插入图片描述

安装telnet
yum -y install telnet

在这里插入图片描述

再创建一个命令窗口，测试本地44444端口是否连通
telnet localhost 44444

在这里插入图片描述
在该命令窗口下输入ok和hello world后，日志控制台窗口同步显示输入的消息
在这里插入图片描述

安装Kafka

进入home目录

cd /home

下载Kafka0.10.1

wget http://archive.apache.org/dist/kafka/0.10.1.0/kafka_2.10-0.10.1.0.tgz

在这里插入图片描述

解压

tar xvf kafka_2.10-0.10.1.0.tgz

在这里插入图片描述

进入Kafka的安装目录

cd /home/kafka_2.10-0.10.1.0/

启动zookeeper

./bin/zookeeper-server-start.sh config/zookeeper.properties

在这里插入图片描述

新建命令行窗口，进入Kafka的安装目录

cd /home/kafka_2.10-0.10.1.0/

启动Kafka

./bin/kafka-server-start.sh config/server.properties

在这里插入图片描述

新建命令行窗口，进入Kafka的安装目录

cd /home/kafka_2.10-0.10.1.0/

创建名为dblab的topic

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic dblab

在这里插入图片描述

查看已创建的topic

./bin/kafka-topics.sh --list --zookeeper localhost:2181

在这里插入图片描述

启动producer

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic dblab

启动后（无提示），输入信息以生产数据
在这里插入图片描述

新建命令行窗口，进入Kafka的安装目录

cd /home/kafka_2.10-0.10.1.0/

启动consumer接受数据

./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic dblab --from-beginning

在这里插入图片描述

安装Sqoop

进入home目录

cd /home

下载Sqoop1.4.6

wget http://archive.apache.org/dist/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

在这里插入图片描述

解压

tar xvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

在这里插入图片描述

进入Sqoop配置目录

cd /home/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf/

在这里插入图片描述

拷贝Sqoop的环境配置的模板文件

cp sqoop-env-template.sh sqoop-env.sh

在这里插入图片描述

配置Sqoop环境文件

vi sqoop-env.sh

文件末尾添加

#HADOOP_COMMON_HOME和HADOOP_MAPRED_HOME也可和HADOOP_HOME设置为相同
#HADOOP_HOME即Hadoop的安装目录，可通过find / -name hadoop-daemon.sh，得到的查找结果的上一级目录即为Hadoop的安装目录
export HADOOP_COMMON_HOME=/home/hadoop-2.7.3/share/hadoop/common
export HADOOP_MAPRED_HOME=/home/hadoop-2.7.3/share/hadoop/mapreduce
export HBASE_HOME=/home/hbase-1.2.5
export HIVE_HOME=/home/apache-hive-2.1.1-bin
#此为Zookeeper的安装目录
export ZOOKEEPER_HOME=/home/zookeeper-3.4.6

在这里插入图片描述

使配置文件生效

source sqoop-env.sh

配置系统环境变量文件

vi /etc/profile

文件末尾添加

export SQOOP_HOME=/home/sqoop-1.4.6.bin__hadoop-2.0.4-alpha
export PATH=$PATH:$SBT_HOME/bin:$SQOOP_HOME/bin
export CLASSPATH=$CLASSPATH:$SQOOP_HOME/lib

在这里插入图片描述

使配置文件生效

 source /etc/profile

在安装MySql环境的基础下，进入Sqoop的lib目录

 cd /home/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib

下载mysql驱动程序

 weget https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.27/mysql-connector-java-5.1.27.jar

（由于我有mysql驱动程序，就直接到相应目录拷贝到Sqoop的lib目录下）
在这里插入图片描述

启动Mysql

service mysqld start

在这里插入图片描述

测试Sqoop与Mysql是否连接

sqoop list - databases --connect jdbc:mysql://127.0.0.1:3306/ --username root -P

出现如下报错！
在这里插入图片描述
需在Sqoop_env.sh文件中配置ACCUMULO_HOME
进入Sqoop的配置目录

cd /home/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf/

修改Sqoop_env.sh文件

vi sqoop_env.sh

文件末尾输入

export ACCUMULO_HOME=/var/lib/accumulo

在这里插入图片描述
使配置文件生效

source sqoop-env.sh

创建accumulo文件夹

mkdir /var/lib/accumulo

继续测试
又报错
在这里插入图片描述
配置HCAT_HOME，同上
进入Sqoop的配置目录

cd /home/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf/

修改Sqoop_env.sh文件

vi sqoop_env.sh

文件末尾输入

export HCAT_HOME=/var/lib/hcat

在这里插入图片描述
使配置文件生效

source sqoop-env.sh

创建accumulo文件夹

mkdir /var/lib/hcat

继续测试，成功连上mysql

sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root -P

在这里插入图片描述

Flying Whale
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka & Flume & Sqoop
hni_94的博客
04-03 767
Q1、 kafka基本原理，kafka如何保证接收消息的顺序性 Kafka基本原理：Kafka是apache开源一个分布式的、可分区的、可复制的消息系统。将消息的发布称producer，将消息的订阅表述为 consumer，将中间的存储阵列称作 broker Producer (push) —> Broker <----(pull) Consumer Kafka集群中...
java大数据内容_7Flume、Kafka、Sqoop、Lucene
01-23
1 Flume、Kafka、Sqoop入门 1.1 Flume入门 1.1.1 Flume概述 Flume概述 Flume是一个分布式的收集、汇总和移动大量的日志数据的可靠的服务。 有Cloudera公司开源 分布式、可靠、高可用的海量日志采集系统 数据源可定制、可扩展 数据存储系统可定制、可扩展 中间件：屏蔽了数据源和数据存储系统的异构性
安装Flume Kafka Sqoop Flink的记录
weixin_43977819的博客
09-20 280
1flume启动监听自己 bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console 2.flume监听集群启动命令 ./bin/flume-ng agent --conf ./conf/ --conf-file ./conf/flume-conf.properties --name a1 -Dflume.root.logger=INFO,con
java大数据案例_7Flume、Kafka、Sqoop、Lucene
01-23
1 获取accesslog 问题 依次完成以下小题的任务 1） 将nginx日志收集到HDFS中
数据采集阶段技术对比（flume，kafka，sqoop）
一尘在心的博客
09-06 4962
数据采集技术 数据收集架构   Kafka架构图 集群由zookeeper管理 Kafka的特点： 1. 磁盘存储 2. 高吞吐率（每秒几十万条消息） 3. 分布式架构，能对消息进行分析 4. 将数据并行加载到hadoop分区   Flume 架构图 1. agent：就是将数据源的数据发送给collector 2. Collector：将数据源汇总给storage ...
java大数据作业_7Flume、Kafka、Sqoop、Lucene
01-24
2 Kafka如何实现多个消费者消费同一个队列，并且数据无重复 3 请描述下列Sqoop的参数含义： --connect --username --password --table --target-dir --split-by 4 Lucene两种索引结构分别是什么？ 5 段文件...
Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala
05-05
大数据常用软件安装指南 一、Hadoop 分布式文件存储系统：HDFS 分布式计算框架：MapReduce 集群资源管理器：YARN 单机伪集群环境搭建 集群环境搭建 常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高...
大数据相关安装包（hadoop，hive，flume，mysql，kafka，spark，sqoop，azkaban等安装包）
03-26
本压缩包包含了多个关键组件，包括Hadoop、Hive、Flume、MySQL、Kafka、Spark、Sqoop和Azkaban，这些都是大数据生态系统中的重要组成部分。 1. **Hadoop**：Hadoop是Apache开源项目，核心是分布式文件系统HDFS...
简单的项目使用flume，hive，sqoop，flume
红豆和绿豆的博客
02-28 884
这是一个自动化的脚本，每天定时启动使用crontab进行配置即可 CURRENT=`/bin/date +%y%m%d` 数据清洗 #/usr/local/hadoop-2.4.1/bin/hadoop jar /home/hadoop/cleaner.jar /flume/$CURRENT /cleaned/$CURRENT #/usr/local/apache-hive-0.1
大数据收集层常用技术-Sqoop、Flume、Kafka
chechelove886的专栏
11-20 3322
Sqoop：关系型数据收集 使用场景：数据迁移、可视化分析结果、数据增量导入 基本架构：存在两个版本，1.4.x和1.99.x，通常简称为sqoop1和sqoop2 sqoop1:Connector定制麻烦、客户端软件繁多、安全性差 sqoop2：引入了sqoop server，将所有管理工作都放到server端，用户可以通过客户端命令或者浏览器随时随处使用sqoop。 使用方式：sqoo...
flume sqoop kafka总结
沧海一粟的博客
04-11 1006
1.flume flume是高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。flume不仅可以采集数据，还可以对数据进行简单的处理。 flume的文件采集source工具只能识别文本数据。 2.flume-ng flume-ng中，flume的集群只有一种角色agent agent中有三种组件：source、channel、sink source作用是采集数据，它可...
Sqoop2 mysql->hdfs & mysql->kafka
ENUEI的博客
01-02 743
一.从mysql到hdfs 1.启动sqoop2-shell,配置sqoop server参数 [sivan@sivan ~]$ sqoop2-shell Setting conf dir: /home/sivan/software/sqoop/sqoop-1.99.7-bin-hadoop200/bin/../conf Sqoop home directory: /home/sivan/...
Flume概述
zhaoxiaoba123的博客
10-02 207
Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传 输的系统。Flume 基于流式架构，灵活简单。 Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。 Flume 基础架构 Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。 Agent 主要有 3 个部分组成，Source、Channel、Sink。 Source Source是负责接收数据到Flume Agent的组件。Source组件可以处理各
flume sqoop kafka使用小结
逐梦的博客
09-23 4175
1.flume   flume是高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。flume不仅可以采集数据，还可以对数据进行简单的处理。   flume的文件采集source工具只能识别文本数据。 2.flume-ng   flume-ng中，flume的集群只有一种角色agent   agent中有三种组件：source、channel、sink   source作用是采集数据，它可...
Hive,Flume,Sqoop,Hbase,Kafka,Azkaban的知识点总结
XIAOMO__的博客
07-31 435
Hive 1.为什么要使用Hive? 2.Hive的介绍 3.Hive的三种运行模式(理论) 4.Hive的三种运行模式的搭建 5.hive的ddl,dml,文件格式 6.Hive的架构图 7.文件格式 8.数据类型:hive和mysql的区别 9.事务理论 10.创建表支持事务 11.创建表的所有方法 12.分区的操作 13.导入和导出 14.查询语句(对比mysql查询来操作) 15.窗口函数,特殊的查询:Grouping set,Grouping__ID,Groupp.
MySQL与Hadoop数据同步方案：Sqoop与Flume的应用探究【上进小菜猪大数据系列】
最新发布
m0_71592416的博客
05-09 671
本文介绍了如何使用Sqoop和Flume这两个工具实现MySQL与Hadoop数据同步的方案。Sqoop可以将MySQL中的数据批量地导入到Hadoop中，适用于需要定期导入数据的场景。而Flume可以实时地将MySQL中的数据导入到Hadoop中，适用于需要实时处理数据的场景。这两种方案各有优劣，需要根据具体的业务需求来选择合适的方案。
HADOOP大数据离线分析+实时分析框架；Hadoop+Flume+Kafka+Storm+Hive+Sqoop+mysql/oracle
我的博客
04-24 1298
链接: https://blog.csdn.net/qq_26840065/article/details/51482920# 链接: kafka2.9.2的伪分布式集群安装和demo(java api)测试 https://mshk.top/2014/08/kafka/ 链接: kafka+flume+hdfs实时日志流系统初探 https://blog.csdn.net/feinifi/ar...
HADOOP组件--FLUME、AZKABAN、SQOOP安装
m0_52940881的博客
12-08 319
先说一下FLUME的工作流程数据可通过监听收集，然后通过管道下沉到sink最终存放到hdfs上，可通过编辑conf文件来指定flume执行的任务，有些采集任务需要集群中多台机器进行工作，所以要安装到三台虚拟机当中老样子，可以在官网下载安装包，这里采用的flume的版本时1.9，同样不推荐太新的版本。上传安装包解压到servers中 之后配置环境变量 vi /etc/profile下输入（这个文件的作用就是生成一个全局变量，在就是无论在任何位置都可以运行他的命令，如果没有设置就必须在路径下去运行） 之
[置顶] HADOOP大数据离线分析+实时分析框架；Hadoop+Flume+Kafka+Storm+Hive+Sqoop+mysql/oracle
aglne的博客
08-16 1401
版权声明：本文为博主原创文章，未经博主允许不得转载。 目录(?)[+] 离线分析框架搭建 hadoop集群搭建部署 Hadoop HA部署 Hive安装部署 Sqoop组件安装部署 实时分析框架搭建 storm kafka kafka安装配置 storm集群安装部署
Hadoop数据收集与入库：Flume与Sqoop详解
"Hadoop数据收集入庫通过Flume与Sqoop进行，这两种工具在大数据处理中扮演着重要角色。Flume用于数据收集，而Sqoop则专注于传统数据库与Hadoop之间的数据同步。" Hadoop是一个分布式计算框架，它提供了一个集中式的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值