练习—数据迁移、数据清洗

已于 2023-05-04 14:07:32 修改
阅读量290 收藏
点赞数
文章标签： kafka java 大数据
于 2023-04-24 08:28:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cp1002327672/article/details/130280148
版权

数据迁移、数据清洗

前置

启动zookeeper、kafka

zkServer.sh start

[root@cp145 data]# nohup kafka-server-start.sh /opt/soft/kafka212/config/server.properties &

例子

users

users.conf

[root@cp145 ~]# kafka-topics.sh --create --zookeeper 192.168.153.145:2181 --topic users --partitions 1 --replication-factor 1
[root@cp145 ~]# kafka-topics.sh --create --zookeeper 192.168.153.145:2181 --topic user_friends --partitions 1 --replication-factor 1
[root@cp145 ~]# kafka-topics.sh --create --zookeeper 192.168.153.145:2181 --topic user_friends_raw --partitions 1 --replication-factor 1
[root@cp145 ~]# kafka-topics.sh --create --zookeeper 192.168.153.145:2181 --topic events --partitions 1 --replication-factor 1
[root@cp145 ~]# kafka-topics.sh --create --zookeeper 192.168.153.145:2181 --topic event_attendees --partitions 1 --replication-factor 1
[root@cp145 ~]# kafka-topics.sh --create --zookeeper 192.168.153.145:2181 --topic event_attendees_raw --partitions 1 --replication-factor 1
[root@cp145 ~]# kafka-topics.sh --create --zookeeper 192.168.153.145:2181 --topic train --partitions 1 --replication-factor 1
[root@cp145 ~]# kafka-topics.sh --create --zookeeper 192.168.153.145:2181 --topic test --partitions 1 --replication-factor 1

在这里插入图片描述
在/opt/soft/flume190/conf/events里新建一个users.conf

users.sources=usersSource
users.channels=usersChannel
users.sinks=userSink

users.sources.usersSource.type=spooldir
users.sources.usersSource.spoolDir=/opt/flumelogfile/users
users.sources.usersSource.deserializer=LINE
users.sources.usersSource.deserializer.maxLineLength=320000
users.sources.usersSource.includePattern=users_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv
##过滤器，去表头
users.sources.usersSource.interceptors=head_filter
users.sources.usersSource.interceptors.head_filter.type=regex_filter
users.sources.usersSource.interceptors.head_filter.regex=^user_id*
users.sources.usersSource.interceptors.head_filter.excludeEvents=true

users.channels.usersChannel.type=file
users.channels.usersChannel.checkpointDir=/opt/flumelogfile/checkpoint/users
users.channels.usersChannel.dataDirs=/opt/flumelogfile/data/users

users.sinks.userSink.type=org.apache.flume.sink.kafka.KafkaSink
users.sinks.userSink.batchSize=640
users.sinks.userSink.brokerList=192.168.153.145:9092
users.sinks.userSink.topic=users

users.sources.usersSource.channels=usersChannel
users.sinks.userSink.channel=usersChannel

创建三个目录(不建好像也会自动创建)

/opt/flumelogfile/users
/opt/flumelogfile/checkpoint/users
/opt/flumelogfile/data/users

启动flume

[root@cp145 flume190]# ./bin/flume-ng agent --name users --conf ./conf/ --conf-file ./conf/events/users.conf -Dflume.root.logger=INFO,console

在这里插入图片描述

启动消费者

[root@cp145 data]# kafka-console-consumer.sh --bootstrap-server 192.168.153.145:9092 --topic users

复制启动

[root@cp145 eventdata]# cp ./users.csv /opt/flumelogfile/users/users_2023-04-01.csv

在这里插入图片描述

userfriends

conf

userfriends.sources=userfriendsSource
userfriends.channels=userfriendsChannel
userfriends.sinks=userfriendsSink

userfriends.sources.userfriendsSource.type=spooldir
userfriends.sources.userfriendsSource.spoolDir=/opt/flumelogfile/userfriends
userfriends.sources.userfriendsSource.deserializer=LINE
userfriends.sources.userfriendsSource.deserializer.maxLineLength=320000
userfriends.sources.userfriendsSource.includePattern=uf_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv
##过滤器，去表头
userfriends.sources.userfriendsSource.interceptors=head_filter
userfriends.sources.userfriendsSource.interceptors.head_filter.type=regex_filter
userfriends.sources.userfriendsSource.interceptors.head_filter.regex=^user*
userfriends.sources.userfriendsSource.interceptors.head_filter.excludeEvents=true

userfriends.channels.userfriendsChannel.type=file
userfriends.channels.userfriendsChannel.checkpointDir=/opt/flumelogfile/checkpoint/userfriends
userfriends.channels.userfriendsChannel.dataDirs=/opt/flumelogfile/data/userfriends

userfriends.sinks.userfriendsSink.type=org.apache.flume.sink.kafka.KafkaSink
userfriends.sinks.userfriendsSink.batchSize=640
userfriends.sinks.userfriendsSink.brokerList=192.168.153.145:9092
userfriends.sinks.userfriendsSink.topic=user_friends_raw

userfriends.sources.userfriendsSource.channels=userfriendsChannel
userfriends.sinks.userfriendsSink.channel=userfriendsChannel

创建三个目录

/opt/flumelogfile/userfriends
/opt/flumelogfile/checkpoint/userfriends
/opt/flumelogfile/data/userfriends

打开flume

[root@cp145 flume190]# ./bin/flume-ng agent --name userfriends --conf ./conf/ --conf-file ./conf/events/userfriends.conf -Dflume.root.logger=INFO,console

打开消费者

[root@cp145 flumelogfile]# kafka-console-consumer.sh --bootstrap-server 192.168.153.145:9092 --topic user_friends_raw

复制文件启动

cp /opt/eventdata/user_friends.csv /opt/flumelogfile/userfriends/uf_2023-04-01.csv

在这里插入图片描述

train

conf

train.sources=trainSource
train.channels=trainChannel
train.sinks=trainSink

train.sources.trainSource.type=spooldir
train.sources.trainSource.spoolDir=/opt/flumelogfile/train
train.sources.trainSource.deserializer=LINE
train.sources.trainSource.deserializer.maxLineLength=320000
train.sources.trainSource.includePattern=train_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv
##过滤器，去表头
train.sources.trainSource.interceptors=head_filter
train.sources.trainSource.interceptors.head_filter.type=regex_filter
train.sources.trainSource.interceptors.head_filter.regex=^user*
train.sources.trainSource.interceptors.head_filter.excludeEvents=true

train.channels.trainChannel.type=file
train.channels.trainChannel.checkpointDir=/opt/flumelogfile/checkpoint/train
train.channels.trainChannel.dataDirs=/opt/flumelogfile/data/train

train.sinks.trainSink.type=org.apache.flume.sink.kafka.KafkaSink
train.sinks.trainSink.batchSize=640
train.sinks.trainSink.brokerList=192.168.153.145:9092
train.sinks.trainSink.topic=train

train.sources.trainSource.channels=trainChannel
train.sinks.trainSink.channel=trainChannel

创建目录

打开消费者

[root@cp145 flumelogfile]# kafka-console-consumer.sh --bootstrap-server 192.168.153.145:9092 --topic train

打开flume

[root@cp145 flume190]# ./bin/flume-ng agent --name train --conf ./conf/ --conf-file ./conf/events/train.conf -Dflume.root.logger=INFO,console

复制启动

在这里插入图片描述

events

conf

events.sources=eventsSource
events.channels=eventsChannel
events.sinks=eventsSink

events.sources.eventsSource.type=spooldir
events.sources.eventsSource.spoolDir=/opt/flumelogfile/events
events.sources.eventsSource.deserializer=LINE
events.sources.eventsSource.deserializer.maxLineLength=320000
events.sources.eventsSource.includePattern=events_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv
##过滤器，去表头
events.sources.eventsSource.interceptors=head_filter
events.sources.eventsSource.interceptors.head_filter.type=regex_filter
events.sources.eventsSource.interceptors.head_filter.regex=^event_id*
events.sources.eventsSource.interceptors.head_filter.excludeEvents=true

events.channels.eventsChannel.type=file
events.channels.eventsChannel.checkpointDir=/opt/flumelogfile/checkpoint/events
events.channels.eventsChannel.dataDirs=/opt/flumelogfile/data/events

events.sinks.eventsSink.type=org.apache.flume.sink.kafka.KafkaSink
events.sinks.eventsSink.batchSize=640
events.sinks.eventsSink.brokerList=192.168.153.145:9092
events.sinks.eventsSink.topic=events

events.sources.eventsSource.channels=eventsChannel
events.sinks.eventsSink.channel=eventsChannel

三个目录

消费者

[root@cp145 flumelogfile]# kafka-console-consumer.sh --bootstrap-server 192.168.153.145:9092 --topic events

打开flume

[root@cp145 flume190]# ./bin/flume-ng agent --name events --conf ./conf/ --conf-file ./conf/events/events.conf -Dflume.root.logger=INFO,console

在这里插入图片描述

event_attendees_raw

conf

ea.sources=eaSource
ea.channels=eaChannel
ea.sinks=eaSink

ea.sources.eaSource.type=spooldir
ea.sources.eaSource.spoolDir=/opt/flumelogfile/ea
ea.sources.eaSource.deserializer=LINE
ea.sources.eaSource.deserializer.maxLineLength=320000
ea.sources.eaSource.includePattern=ea_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv
##过滤器，去表头
ea.sources.eaSource.interceptors=head_filter
ea.sources.eaSource.interceptors.head_filter.type=regex_filter
ea.sources.eaSource.interceptors.head_filter.regex=^event*
ea.sources.eaSource.interceptors.head_filter.excludeEvents=true

ea.channels.eaChannel.type=file
ea.channels.eaChannel.checkpointDir=/opt/flumelogfile/checkpoint/ea
ea.channels.eaChannel.dataDirs=/opt/flumelogfile/data/ea

ea.sinks.eaSink.type=org.apache.flume.sink.kafka.KafkaSink
ea.sinks.eaSink.batchSize=640
ea.sinks.eaSink.brokerList=192.168.153.145:9092
ea.sinks.eaSink.topic=event_attendees_raw

ea.sources.eaSource.channels=eaChannel
ea.sinks.eaSink.channel=eaChannel

消费者

[root@cp145 flumelogfile]# kafka-console-consumer.sh --bootstrap-server 192.168.153.145:9092 --topic event_attendees_raw

flume

[root@cp145 flume190]# ./bin/flume-ng agent --name ea --conf ./conf/ --conf-file ./conf/events/ea.conf -Dflume.root.logger=INFO,console

在这里插入图片描述

Triumph-CP
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
数据清理及迁移
kyle1111
03-27 1175
近日学到了个超牛掰的定律，侯世达定律，适用于码农，“ 做事所花费的时间总是比你预期的要长，即使你的预期中考虑了侯世达定律”。连定律描述都是用的编程思维，一个定律竟可以调用自身，还没有退出条件，生动描述了项目delay的现状。自此看许多任务，都有着侯世达的影子。项目实施过程中的数据工作，就是典型的侯世达定律。排主计划时，就明确数据要尽早准备，并明确分工职责，但到了测试、切换阶段，总会爆出数据风险。要...
对12w条数据进行相关清理和数据迁移 （数据清理项目实战完整版）文章内有大量sql脚本
weixin_42188778的博客
04-16 2725
一、目的： 本篇文章详细记录了数据清洗工作的内容及过程，并对清洗的数据质量进行了评估和总结，便于成员对数据的质量有一个清晰认识。 二、背景： 历史数据中存有数据不规范、数据不准确、数据重复记录等问题，为确保业务正常高效运行，必须开展数据全面核实及数据清洗工作，为数据中心的建立奠定坚实的基础。 数据系统的功能模块预计在4月底上线，在系统上线前需要做好数据的清洗工作，将清洁有效的数据迁移到系统中，作为功能模块的基础数据。数据清洗工作的开展是为系统上线实施应用打牢数据基础。 系统将与统一身份认证系统集成
数据迁移（数据清洗）分享
weixin_37123068的博客
08-07 1125
笔者2013年接了一个资源管理咨询项目，负责该项目的实施管理，其中有几个月是组织几个开发厂家写迁移脚本，做数据迁移（从原有的多个系统中把数据同步过来），仅分享当时的经验。 前期先做基础数据梳理和映射确认，组织所有的厂商一起梳理区域、标准地址、局站等信息，并梳理统一命名原则，确认需要采集的数据来源及存在的关系（从资源系统、网管系统、号线系统、手工台账等获取）。 然后做字段确认，和哪个系统字段匹配，字...
转移,清洗,同步数据
weixin_30882895的博客
09-15 129
最近看了看公司的导入,清洗,同步数据。想自己也实现下 首先用SqlBulkCopy批量导入，然后用Partition by对要删除的数据进行分组，然后删除ID>1的数据。同步数据就是对源数据进行查询，然后批量更新目标数据。 我用MVC实现了下，代码实现如下: 前台代码 @{ Layout = null; } <html xmlns="http://www.w3...
数据清洗（黑马程序员）课后题答案选择填空判断
m0_61742622的博客
12-06 5956
数据清洗（黑马程序员版）课后练习题，选择填空判断答案。
数据仓库与数据挖掘课后思考题整理
欢迎自九陌而来的你做客九陌斋！
07-14 4087
数据仓库与数据挖掘课后思考题整理 文章目录数据仓库与数据挖掘课后思考题整理1 数据仓库概述思考题2 数据仓库及其设计思考题实践题3 OLAP技术思考题课后书面作业4 数据挖掘概述思考题5 关联分析思考题实践题7 分类方法思考题实践题8 回归和时序分析思考题实践10 聚类方法思考题 1 数据仓库概述 思考题 简述数据仓库有哪些主要的特征。 ① 面向主题 ② 集成 ③ 稳定性即非易失的 ④ 随时间变化而随时变化的 面向主题 主题是指用户使用数据仓库进行决策时所关心的重点领域，也就是在一个较高的
《数据清洗》期末考试模拟题
qq_46618641的博客
11-21 4798
《数据清洗》期末考试模拟题，选择，判断，填空，简答。
《数据清洗》黑马程序员 第五章课后作业
黄橙子的博客
10-11 1195
四.操作题 通过Kettle工具，实现以下功能 1.对merge.csv文件进行完全去重 （1）通过使用Kettle工具，创建一个转换transformation，并添加“CSV文件输入”控件、“唯一行（哈希值）”控件以及Hop跳连接线，具体如图所示。 (2)双击“CSV文件输入”控件，进入“CSV文件输入”配置界面，单击【浏览】按钮，选择要进行完全去重处理的CSV文件merge.csv；再单击【获取字段】按钮，Kettle会自动检索CSV文件，并对文件中的字段类型、格式、长度、精度等属性进行分析。 (
将数据从mysql导入hbase_数据导入HBase最常用的三种方式及实践分析
weixin_36384501的博客
01-26 1718
【编者按】要使用Hadoop，数据合并至关重要，HBase应用甚广。一般而言，需要针对不同情景模式将现有的各种类型的数据库或数据文件中的数据转入至HBase中。常见方式为：使用HBase的API中的Put方法；使用HBase 的bulk load 工具；使用定制的MapReduce Job方式。《HBase Administration Cookbook》一书对这三种方式有着详尽描述，由Impo...
跨数据库表同步程序，支持 Docker 部署，自动同步表结构和数据，数仓建设工具.zip
06-17
1. **跨数据库表同步**：这是一种技术，允许用户在不同的数据库系统之间进行数据迁移和同步，确保数据的一致性。这通常用于分布式系统或当业务需要将数据从一个数据库迁移到另一个数据库时。 2. **Docker部署**：...
ODI本地抽取练习文档及简单数据
04-13
4. **数据预处理**：可能包含如何使用ODI的内置函数和转换进行数据清洗、转换和过滤，确保抽取的数据质量。 5. **调度与执行**：学习如何设置和调度ODI作业，使其按照特定的时间表自动执行本地抽取任务。 6. **...
2020年春运 2020.01.01-2020.03.15百度迁徙数据-梅州市-迁出目的地.zip
04-26
6. 数据处理和挖掘：对于数据科学家或分析师来说，这是一个练习数据清洗、数据转化、数据建模的好案例，可以通过数据预处理、聚类分析、关联规则学习等方法深入探索人口迁徙背后的规律。 总之，这份数据集为我们...
2020年春运 2020.01.01-2020.03.15百度迁徙数据-昌都市-迁出目的地.zip
04-26
7. **数据处理与挖掘**：对于数据科学家和分析师来说，这个数据集提供了实际操作的机会，可以练习数据清洗、数据整合、数据可视化等技能。 8. **隐私保护与数据伦理**：在利用此类数据时，也需考虑个人隐私保护和...
2020国庆 2020.10.01-2020.12.31-百度迁徙数据-信阳市-迁出目的地.zip
04-26
该压缩包文件“2020国庆 2020.10.01-2020.12.31-百度迁徙数据-信阳市-迁出目的地.zip”包含了一份关于2020年国庆期间，即2020年10月1日至...同时，对于数据科学家来说，这是一个练习数据清洗、处理和可视化的实用案例。
Java增加线程后kafka仍然消费很慢
paulwang040的博客
07-04 1037
概念：max.poll.interval.ms是Kafka消费者端的一个配置参数，用于设置消费者在轮询过程中处理消息的最大时间间隔。根据实际业务需求和消息处理的复杂性，设置合理的max.poll.interval.ms值，以确保消费者有足够的时间来处理消息。考虑到网络延迟和消息处理的时间，建议将max.poll.interval.ms设置为较大的值，以避免过早地将消费者标记为故障。同时，也要注意将max.poll.interval.ms设置为一个合理的值，以避免消费者长时间无响应而导致消息处理的延迟。
kafka系列之offset超强总结及消费后不提交offset情况的分析总结
ToBeMaybe_的博客
07-05 771
消费端如果没有提交offset，程序不会阻塞或者重复消费，除非在消费到这个你没有提交offset的消息时你新增或者减少消费端，此时会发生rebalance现象，即可再次消费到这个未提交offset的数据，产生重复消费问题。如果在消费的过程中有几条或者一批数据数据没有提交offset（比如异常情况程序没有走到手动提交的代码），后面其他的消息消费后正常提交offset至服务端，那么服务端会更新为消费后最新的offset，不会重新消费，就算重启程序或者rebalance也不会重新消费。
EIK+Filebeat+Kafka
最新发布
Decp_的博客
07-09 756
Kafka 是一个分布式的基于发布/订阅模式的消息队列（MQ，Message Queue），主要应用于大数据领域的实时计算以及日志收集。
Spring Boot与Apache Kafka Streams的集成
微赚淘客开发者博客
07-06 891
通过本文，我们详细介绍了如何在Spring Boot应用程序中集成Apache Kafka Streams，包括添加依赖、配置Kafka连接、编写Kafka Streams处理拓扑和消费者/生产者。Apache Kafka Streams作为强大的流处理框架，与Spring Boot的集成能够为应用程序提供可靠和高效的实时数据处理能力。Apache Kafka Streams是一个用于构建实时流应用程序的库，基于Apache Kafka消息系统。使用Kafka命令行工具或自定义生产者发送消息到。
DB2-数据迁移.ppt
09-08
DB2-数据迁移

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值