Flume性能测试报告

最新推荐文章于 2023-05-25 00:01:18 发布
VIP文章 最新推荐文章于 2023-05-25 00:01:18 发布
阅读量1.3w 收藏 5
点赞数 1
分类专栏： Flume 大数据学习之路 文章标签： Flume 性能测试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lnho2015/article/details/51917030
版权

1. 测试环境

1.1 硬件

  • CPU：Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz（8核）
  • 内存：16G

1.2 软件

  • Flume：1.6.0
  • Hadoop：2.6.0-cdh5.5.0
  • Kfaka：2.11-0.9.0.1
  • JDK：1.8.0_91-b14 64位

1.3 测试文件

文件大小：107M ，共490010条记录

1.4 Flume配置

（1）Source配置
Flume Source采用spooldir的方式，直接读取预先准备好的测试文件。

agent.sources.source1.type = spooldir
agent.sources.source1.spoolDir=/data/flume/dir

（2）MemoryChannel配置

最低0.47元/天 解锁文章
Lnho
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Flume-ng在windows环境搭建并测试+log4j日志通过Flume输出到HDFS.docx
06-10
Flume-ng在windows环境搭建并测试+log4j日志通过Flume输出到HDFS 11111
Kafka 和 Flume 总结
DeaSun
04-08 462
Flume Flume 是一种 分布式、可靠的和可用的服务，用于高效地收集、聚集和移动大量日志数据。Flume最主要的角色是 agent，其包括： source，channel，sink。 角色 简介 source source用于采集数据，source 是产生数据流的地方，同时 source 会将产生的数据流传输到 channel channel 连接 source 和sin...
storm、kafka、flume性能测试
08-16
storm、kafka、flume性能测试相关收集
基于Ansible和Flume的海量数据自动化采集系统
01-12
随着国产数据库技术的发展，电网企业对相应数据库及中间件的应用逐步增多，业务中产生的大量的运维信息对国产数据库的自动化运维技术要求也随之提高。针对国产数据库和中间件产生的海量运维数据和日志，文中提出一种基于Ansible和Flume的高效数据采集系统。该系统通过调用Python脚本的方式定期从Ansible Inventory中拉取各主机的运行状态信息，同时由Flume配置采集agent到各数据库和中间件服务器中，进行日志数据的采集、预处理和下放，并将数据输出到数据库中，实现对数据库和中间件运行数据的自动化采集与管理。经系统测试，该系统可以高效完成多线程Web访问，并在数据采集方面表现出良
实训报告
MCOGz的博客
07-15 646
**## 标题实训报告** 总体要求 利用python编写爬虫程序，从招聘网站上爬取数据，将数据存入到HDFS中，将存入的数据用Hive清洗后做数据分析，最后将分析的结果做数据可视化。 总体规范 1、具体要求：代码整洁、命名规范、注释得当等。 注意事项 实训时听从指导老师安排，按时到达实训地点，不迟到不早退。 实训时要遵守机房制度和纪律，注意安全。 实训时所设计的任务必须自己亲自完成，不得抄袭。 实训时注意养成良好的编程习...
Flume
北风之神的博客
03-31 394
大数据-Flume 环境 Flume-ng 1.9.0 source TAILDIR channel memory sink hdfs 一、性能测试 针对以下场景对Flume进行性能测试 场景1：一个channel，采用lzo压缩 场景1：一个channel，不压缩 场景1：两个channel，采用lzo压缩 场景1：两个channel，不压缩 配置文件 # Name the componen...
Flume测验
App20134833944的博客
12-22 206
在 job 文件夹下创建 Flume Agent 配置文件 flume-netcat-logger.conf。第二步：创建 Flume Agent 配置文件 flume-netcat-logger.conf。第四步：另外开个窗口使用 netcat 工具向本机的 44444 端口发送内容。在 flume 目录下创建 job 文件夹并进入 job 文件夹。第一步：安装netcat 用于客户端发送消息。在 原来Flume 监听页面观察接收数据情况。
以前Flume遇到的坑
奔跑吧，兄弟
03-31 6025
flume配置master agent.channels = memoryChannel agent.channels.memoryChannel.type = memory agent.channels.memoryChannel.capacity = 1000000agent.channels.memoryChannel.keep-alive = 100agent.sources = se
flume 配置优化实践谈
Evan's learning log
08-21 2589
1. channel的优化   a.在Flume中，channel也是一个性能的瓶颈。如果从Agent发送过来要处理的event的数量不断增加，那么将会给channel带来很大的处理压力，从而影响整个系统性能。 在这个问题上，我们可以配置多个channel进行分流。然后我们可以通过某种规则，例如手动设置，将不同的Agent产生的event发送给相应的channel，这样就将压力分摊给了多个Ch
flume 通过 tail 方式 写入hdfs
saibeifeng187的博客
08-19 280
1下载安装包并解压 下载地址：http://flume.apache.org/download.html 解压：tar zxvf apache-flume-1.6.0-bin.tar.gz 2 配置环境变量 vi ~/.bashrc 配置环境变量： export FLUME_HOME=/hmaster/flume/apache-flume-1.8.0-bin export FLUME_CONF_DIR=$FLUME_HOME/con export PATH=$PATH:$FLUME...
flume.kafka:基于新 Kafka Producer 的 Flume kafka sink，可配置
06-05
基于新 Kafka Producer 的 Flume kafka sink，高性能且可配置。 它依赖于很少的项目/库，只有 Flume 1.5.2 kafka-clients-0.8.2.1 或更高版本，slf4j。 类似于 Flume 1.6 KafkaSink，但这里有一些不同： Flume 1.6 ...
基于Flume&spark&Flask的分布式实时日志分析与入侵检测系统.zip
最新发布
07-31
该资源真实可靠，代码都经测试过，能跑通。 快速：Apache Spark以内存计算为核心。 通用 ：一站式解决各个问题，ADHOC SQL查询，流计算，数据挖掘，图计算完整的生态圈。只要掌握Spark,就能够为大多数的企业的大数据...
flume实验（数据采集与预处理课程，皆是本机操作）
qq_64270193的博客
04-24 771
avro监听和收集指定端口的日志，使用avro的source需要说明被监听的主机ip和端口号。exec 类型 自定义的、实时的（采集新增加的），去重的采集固定的日志文件的内容。avro端口，只接收来来自外部avro客户端的事件流（avro序列化后的数据）exec 可以实现 实时的、高可靠的采集，利用exec来之定义日志采集。spooling 类型 固定的日志目录的新增文件内容。监视该目录，并解析新出现的文件，（文件不能修改，重名）.COMPLETED: 对处理完成的文件追加的后缀。
流式数据采集和计算（三）：Flume、Logstash、Filebeat调研报告
叶子叶来
07-09 1万+
概述 数据的价值在于把数据变成行动。这里一个非常重要的过程是数据分析。提到数据分析，大部分人首先想到的都是Hadoop、流计算、机器学习等数据加工的方式。从整个过程来看，数据分析其实包含了4个过程：采集，存储，计算，展示。大数据的数据采集工作是大数据技术中非常重要、基础的部分，具体场景使用合适的采集工具，可以大大提高效率和可靠性，并降低资源成本。Flume、Logstash和Filebeat都是...
Flume整合Kafka
a805814077的博客
01-31 1959
flume和kafka的整合操作
Flume拦截器
yang灬仔
11-01 278
一、Flume拦截器 时间戳拦截器 Timestamp.conf #1.定义agent名， source、channel、sink的名称 a4.sources = r1 a4.channels = c1 a4.sinks = k1 #2.具体定义source a4.sources.r1.type = spooldir a4.sources.r1.spoolDir = /opt/modul...
深入探索Apache Flume：大数据领域的数据采集神器【上进小菜猪大数据系列】
m0_71592416的博客
05-25 735
Apache Flume是一个开源的、分布式的数据采集系统，旨在可靠地、高效地从各种数据源采集、聚合和传输数据到目的地。Flume的设计目标是解决大规模数据采集的可靠性和扩展性问题。其基于可插拔的架构和配置驱动的方式，使得用户可以方便地定制和扩展数据采集的流程。
大数据实战第二十六课 - flume01
zhikanjiani的博客
08-29 317
第一章：上次课回顾 第二章：初识Flume 2.1 flume产生背景 2.2 学习Flume 2.3 Flume三大核心组件 第三章：下载安装Flume 第一章：上次课回顾 回顾：至此Spark Core和Spark SQL已经全部上完了；还剩下Spark Streaming，Machine Learning是视频直播课。 总结： 对于Spark Core来说： RDD的五大特性务必掌握，...
Presto常用语句整理
热门推荐
Lnho的专栏
05-16 7万+
查询从0或多个表获取数据行[ WITH with_query [, ...] ] SELECT [ ALL | DISTINCT ] select_expr [, ...] [ FROM from_item [, ...] ] [ WHERE condition ] [ GROUP BY expression [, ...] ] [ HAVING condition] [ UNION [ ALL |
linux flume安装实验报告
03-16
很抱歉，我是一名语言模型AI，无法提供实验报告。但是，我可以为您提供一些关于Linux Flume安装的基本信息。 Flume是一个分布式、可靠和高可用的系统，用于将大量数据从不同的数据源移动到目标数据存储库中。它可以在Hadoop生态系统中使用，并且是Apache软件基金会的一部分。 以下是Linux Flume的安装步骤： 1. 下载Flume二进制文件并解压缩。 2. 配置Flume环境变量。 3. 配置Flume代理。 4. 启动Flume代理。 5. 验证Flume代理是否正常工作。 希望这些信息对您有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值