从数据采集(Flume)到数据清洗的过程

于 2020-11-02 14:31:24 发布 1591 收藏 2
分类专栏： 离线数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43563705/article/details/109336379
版权
离线数据仓库 专栏收录该内容
14 篇文章 13 订阅 ¥29.90 ¥99.00
订阅专栏

大家好,欢迎来到本篇博客,博主是一名刚入大数据行业的小白,利用空闲的时间来分享自己所学的知识,帮助和博主一样刚处于起步阶段的同学,水平不高,若有什么错误和纰漏之处恳请大佬不吝赐教,目前个人博客只有CSDN:https://zhenyu.blog.csdn.net/,感谢大家的支持,谢谢
送给大家一句话:今日事,今日毕

本篇博客主要讲解:数据采集与数据处理

目标:

  • 了解用户行为日志数据采集方案
  • 掌握flume自定义拦截器开发与使用
  • 掌握日志数据ETL处理程序
  • 掌握spark程序数据倾斜解决方案

点击流

了解本专栏 订阅专栏 解锁全文
weixin_43563705
关注
专栏目录
订阅专栏
大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例
leeyu的博客
04-23 2万+
1 大数据处理的常用方法 大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下： 在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志、用户的点击日志等。 如果对于数据的分析结果在时间上有比较严格的要求，则可以采用在线处理的方式来对数据进行分析，如使用Spark、Storm等进行处理。比较贴切的...
Flume在数据清洗上的作用
bug的博客
10-24 669
一、首先简单了解Flume是什么？ 1. Flume（日志收集系统）的定义 Flume是一个分布式的、高可靠的、高可用的将大批量的不同数据源的日志数据收集、聚合、移动到数据中心（HDFS）进行存储的系统。即是日志采集和汇总的工具。 2. Flume的优势 1.Flume可以将应用产生的数据存储到任何集中存储器中，比如HDFS,HBase； 2. 当收集数据的速度超过将写入数据的时候，也就是当收集信息遇到峰值时，这时候收集的信息非常大，甚至超过了系统的写入数据能力，这时候，Flume会在数据生产者和数据收容器
参与评论 您还未登录，请先 登录 后发表或查看评论
用flume的intercepter作数据格式转换和清洗
bottle123的专栏
07-18 8386
最近在工作中，用到spark streaming做数据解析和实时的数据计算，由于数据量比较大，而计算资源有限，spark的处理性能总是跟不上。观察之后发现，数据格式的解析占用了大量时间。整个数据的流程是nginx -> flume -> kafka -> spark，除了数据量较大，spark 无法及时处理之外，还存在kafka各个partition的数据分布不均衡，spark的job只有少数几个
Spark- 数据清洗
weixin_34409822的博客
05-07 846
输入输出转化工具类 package com.rz.mobile_tag.log import org.apache.spark.sql.Row import org.apache.spark.sql.types.{LongType, StringType, StructField, StructType} /** * 访问日志转换（输入==>输出）工具...
【Spark SQL实战】日志分析（一）介绍、数据清洗
一个摩羯座的程序猿
09-25 950
笔记目录： 【Spark SQL实战】日志分析（一）介绍、数据清洗 【Spark SQL实战】日志分析（二）实现项目需求 【Spark SQL实战】日志分析（三）结果可视化 目录 一、用户行为日志 1.日志介绍 2.日志数据内容 二、数据处理流程 1、数据采集 2、数据清洗 3、数据处理 4、处理结果入库 5、数据可视化 三、项目需求 四、数据清洗 五、数...
数据采集工具——Flume
☆Silence♂
11-23 823
文章内容输出来源：拉勾教育大数据高薪训练营 第一部分 Flume概述 无论数据来自什么企业，或是多大量级，通过部署Flume，可以确保数据都安全、及时地到达大数据平台，用户可以将精力集中在如何洞悉数据上。 第 1 节 Flume的定义 Flume由Cloudera公司开发，是一个分布式、高可靠、高可用的海量日志采集、聚合、传输的系统。 Flume支持在日志系统中定制各类数据发送方，用于采集数据; Flume提供对数据进行简单处理，并写到各种数据接收方的能力。 简单的说，Flume是实时采集.
flume系列之：拦截器和自定义flume拦截器
zhengzaifeidelushang的博客
08-05 244
Flume中的拦截器(interceptor)，用户Source读取events发送到Sink的时候，在Event header中加入一些有用的信息，或者对Event的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有用，例如通过拦截器可以把数据库名称、表名、Event生成的时间放入Event的header中，用于生成hdfs的文件存放目录。 如下所示是文件sink到hdfs的目录：其中optics_prod是数据库名称，sale_order是表名，这些都是通过flume拦截器获取到的。 /raw/
Flume+Kafka数据采集与清洗
与李的博客
04-26 1523
项目说明 实现功能 模拟实时推荐系统中，数据实时采集与数据预处理，并用Kafka进行数据实时消费功能。 实现场景 用户对商品进行评分，后台实时对其进行获取与分析，并经过计算后，生成实时推荐结果。 项目架构图 主要工具说明 Flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 当前Flume
flume作用，功能，相关处理流程
最新发布
小菜鸟的博客
05-08 365
科普：Flume是啥？干嘛用的？ 程序猿DD_ 于 2021-03-28 13:00:00 发布 ...
Flume 基础概述（体系架构、执行流程、事务）
XIATWO
02-09 1816
Flume 基础概述 概述 概念 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统 Flume 官网 作用 1、支持在系统中定制各类数据发送方，用于收集数据 2、同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 应用场景 1、线上数据一般主要是落地（存储到磁盘）或者通过socket传输给另外一个系统 2、这种情况下，你很难推动线上应用或服务去修改接口，实现直接向kafka里写数据 3、这时候你可能就需要flume这样的系统帮你去做传输。 Flume的体
【十五】SparkSQL访问日志分析：数据清洗、数据分析（分组、排序、窗口函数）、入库（MySQL）、性能优化
Sid小杰的博客
07-30 2727
概述： 1.第一次数据清洗：从原始日志中抽取出需要的列的数据,按照需要的格式。 2.第二步数据清洗：解析第一步清洗后的数据， 处理时间，提出URL中的产品编号、得到产品类型，  由IP得到城市信息（用到开源社区的解析代码，该部分具体介绍：ipdatabase解析出IP地址所属城市） ，按照天分区进行存储 （用parquet格式）。 3.统计分析(分组、排序、窗口函数)。 4.结果写入MyS...
flume 对日志监控，和日志数据正则清洗最后实时集中到hbase中的示例
maketubu7的博客
06-19 3979
今天学习了flume的简单用法，顺便思考了一下，对标准日志格式的数据实时清洗和集中存储今天介绍一下运用正则表达式对数据进行实时清洗，将数据存储到hbase中，前面简单的不分列的存储，就直接贴代码1、运用flume的HBasesink--SimpleHbaseEventSerializer 代码如下 ###define agent a5_hbase.sources = r5 a5_hbase.cha...
【Kafka】（六）Flume读取数据连接到Kafka，利用Kafka Stream实现数据清洗
qianchun22的博客
12-15 202
案例 创建Topic [root@hadoop001 ~]# kafka-topics.sh --zookeeper 192.168.247.201:2181 --create --topic user_friends_raw --partitions 1 --replication-factor 1 编写 userFriend-flume-kafka.conf vi /opt/flume/conf/jobkb09/userFriend-flume-kafka.conf 内容如下： user_frie
Spark 08 Spark SQL 实战：日志分析（一）介绍、数据清洗
lihaogn的博客
08-30 7912
1 离线数据处理流程 1）数据采集 Flume：web日志写入到HDFS 2）数据清洗 脏数据处理 可以使用Spark、Hive、MapReduce 清洗完之后数据可以放在HDFS 3）数据处理 按照需求进行业务统计和分析 使用Spark、Hive、MapReduce或者其他分布式计算框架 4）处理结果入库 结果存放在RDBMS、NoSQL 5）数据可视化 通...
【大数据spark SQL项目实战】日志分析（九）：数据清洗作业运行到YARN上
kingloneye的博客
06-12 151
1、打包 修改代码： package com.kinglone.log import org.apache.spark.sql.{SaveMode, SparkSession} /** * 使用Spark完成我们的数据清洗操作：运行在YARN之上 */ object SparkStatCleanJobYARN { def main(args: Array[String]) { if(args.length !=2) { println("Usage: SparkStatC
【Flume中间件】（7）Flume详细传输流程
魏宝航
06-09 181
Flume详细传输流程 Flume首先会从数据源接受数据到Source，然后Source将数据封装成事件，然后交给Channel Processor，再把它传递给拦截器链，这里拦截器可以有多个，为了解耦，但是来说还是一个拦截器链比较快，再拦截器部会封装头部信息，然后将处理好的信息交给Channel选择器，就是复制和多路复用，控制Source的数据发往哪个Channel，然后将按照Channel的配置策略将事件发往指定Channel，之后经过Sink组，他是做轮询和负载均衡这些。 ...
flume流程与内部原理
weixin_45425054的博客
01-14 271
flume流程 flume的整体流程如下 可为什么flume具有高可靠性的，原因是它在source传输给Channel和Channel传输给Sink两部中都采用了事务的方法，如果出现问题可以rollback重新读取数据 以下为详细图解： 读懂这张图首先要介绍一下flume流程中的传输单位：Eventn，也就是事件 flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且结构为头信息（header）和消息体（body），这些Event由Agent外
flume数据采集流程
weixin_45779396的博客
12-11 1189
flume 流式日志采集工具 重点：流式数据 Flume功能 flume架构 基础框架
Flume工作流程及相关介绍
weixin_34279246的博客
04-29 1172
2019独角兽企业重金招聘Python工程师标准>>> ...
Flume自定义拦截器对数据进行脱敏处理
Widsom的博客
04-23 5615
Flume自定义拦截器对数据进行脱敏处理 前言 使用Flume自定义拦截器，对较为敏感的数据进行MD5加密处理，本示例需要对以下数据中的用户密码，进行脱敏处理，并过滤性别字段数据。 # 数据样例 # 用户名 密码 年龄 性别 身高 体重 admin 123456 26 男 170 70 一、编写java程序 maven依赖 <dependencies&g...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题：酷酷鲨 设计师：CSDN官方博客 返回首页

打赏作者

weixin_43563705

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。

余额充值