Flinkx Mysql同步数据到Hive 实例

最新推荐文章于 2024-04-23 20:32:51 发布
VIP文章 最新推荐文章于 2024-04-23 20:32:51 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： Flinkx 文章标签： 大数据 flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wushuoyouting/article/details/117277832
版权

提前安装好hadoop，Hive和mysql。

1. 开启hadoop和hive

 

[root@slave13 conf]# start-all.sh
[root@slave13 conf]# hive
[root@slave13 conf]# hiveserver2
#启动后的进程
[root@slave13 conf]# xcall jps
=========slave11==================
72576 NameNode
72946 ResourceManager
72155 RunJar
72779 SecondaryNameNode
73228 Jps
=========slave12=====================
49243 Jps
49085 NodeManager
48958 DataNode
=========slave13=====================
72576 NameNode
72946 ResourceManager
73254 Jps
72155 RunJar
72779 SecondaryNameNode

2. 本地数据库testbase（192.168.8.135）建表emp：

最低0.47元/天 解锁文章
「已注销」
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
数据集成工具——FlinkX
友培的博客
01-29 979
文章目录FlinkX的安装与简单使用1、FlinkX的安装1）、上传并解压2）、配置环境变量3）、给bin/flinkx这个文件加上执行权限4）、修改配置文件，设置运行端口2、FlinkX的简单使用1）、MySQLToHDFS2）、MySQLToHive3）、MySQLToHBase FlinkX的安装与简单使用 1、FlinkX的安装 1）、上传并解压 unzip flinkx-1.10.zip -d /usr/local/soft/ 2）、配置环境变量 3）、给bin/flinkx这个文件加上执行权限
Hive常见属性配置
lz_N_one的博客
07-25 534
Hive常见属性
在Ubuntu20.04部署Flink1.17实现基于Flink GateWay的Hive On Flink的踩坑记录（一）
云来山更佳，云去山如画
05-22 1439
在Ubuntu20.04部署Flink1.17实现基于Flink GateWay的Hive On Flink。DDL可以正常使用
Flink如何连接hive
ytp552200ytp的博客
05-19 3190
回顾在上篇文章中，笔者使用的 CDH 版本为 5.16.2，其中 Hive 版本为 1.1.0（CDH 5.x 系列 Hive 版本都不高于 1.1.0，是不是不可理解），Flink 源代码本身对 Hive 1.1.0 版本兼容性不好，存在不少问题。为了兼容目前版本，笔者基于 CDH 5.16.2 环境，对 Flink 代码进行了修改，重新打包并部署。其实经过很多开源项目的实战，比如 Apache Atlas，Apache Spark 等，Hive 1.2.x 和 Hive 1.1.x 在大部分情况下，替换
Flink整合Hive
落幕7的博客
11-29 2052
文章目录Flink整合Hive1、将整合需要的jar包上传到flink的lib目录2、启动hive元数据服务3、如果在sql-client中使用hive的catalog4、在sql-client中使用hive的catalog5、idea里写flinkSQL打包上传到集群运行 Flink整合Hive 1、将整合需要的jar包上传到flink的lib目录 #需要三个jar包 flink-sql-connector-hive-1.2.2_2.11-1.11.0.jar hive-exec-1.2.1.jar hi
Flink集成Hive之快速入门--以Flink1.12为例
jmx_bigdata的博客
12-21 6085
使用Hive构建数据仓库已经成为了比较普遍的一种解决方案。目前，一些比较常见的大数据处理引擎，都无一例外兼容Hive。Flink从1.9开始支持集成Hive，不过1.9版本为beta版，不推荐在生产环境中使用。在Flink1.10版本中，标志着对 Blink的整合宣告完成，对 Hive 的集成也达到了生产级别的要求。值得注意的是，不同版本的Flink对于Hive的集成有所差异，本文将以最新的Flink1.12版本为例，阐述Flink集成Hive的简单步骤，以下是全文，希望对你有所帮助。 公众号『大数据技术
自定义Flinksql source connector
weixin_47825079的博客
04-14 352
​自定义Flinksql source connector
flink-cdc同步mysql数据到hive
大数据技术派
09-30 1060
本文首发于我的个人博客网站: ikeguang.com什么是CDC？CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。Flink_CDC1. 环境准备mysqlHiveflink ...
Flink 离线批处理 Mysql to Hive 离线数仓
aaaak_的博客
09-30 1487
source 端读取mysql .sink 端 写入 Hive
yinian_hive_increase:datax从mysql同步数据到hive
04-29
yinian_hive_increase datax从mysql同步数据到hive
使用kettle将mysql中的数据导入到hive中
01-07
先说说思路：1是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select ...
Binlog2Hive:MySQL增量数据实时同步到HDFSHive
04-29
项目背景RDS的数据实时同步到HDFS下，并映射到Hive原理通过解析RDS的binlog将RDS的增量数据同步到HDFS下，并映射加载到Hive外部分区表由于RDS表中的第二个字段都为datetime字段，所以刚才以该字段作为Hive的分区字段...
DataX数据的迁移（MySQL、HDFS，Hive）
04-12
1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者...
ELK日志系统的搭建
adminstate的博客
04-23 770
ELK日志系统搭建
ElasticSearch 入门学习
灰熊
04-23 376
ElasticsSearch 是一个分布式的实时文档存储，每个字段可以被索引与搜索也是一个分布式实时分析搜索引擎也是一个能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据。
【ROMA解决方案和功能架构】
数据也是生产力，保持热爱，奔赴山海！
04-23 408
1、基于ROMA融合集成平台，实现企业应用、数据、API 、OT设备、云服务、合作伙伴应用之间的集成连接。2、ROMA主要包含四个组件：数据集成（Fast Data Integration，简称FDI）、服务集成（API Connect，简称APIC）、消息集成（Message Queue Service，简称MQS）、设备集成（LINK）。
深入理解Java消息中间件-RabbitMQ
u011532237的博客
04-21 492
RabbitMQ是基于高级消息队列协议（AMQP）实现的一款开源消息代理软件，旨在提供高可用性、安全、互操作性强的企业消息系统。它由Erlang编写，因而继承了Erlang语言高并发、高可靠性的特点。
生产数据采集系统
最新发布
weixin_50072277的博客
04-23 347
在数字化浪潮的推动下，生产数据采集系统已经成为企业提升生产效率、优化运营管理的关键工具。那么，什么是生产数据采集系统呢？简单来说，生产数据采集系统是指通过一系列技术手段，实时收集、处理和分析生产线上的各类数据，从而为企业的决策提供有力支持的系统。
spark抽取mysql增量数据到hive
06-28
Spark可以通过JDBC连接MySQL数据库，并使用Spark SQL将数据加载到Hive中。以下是大致的步骤： 1. 在Spark中创建一个JDBC连接，连接到MySQL数据库。 2. 使用Spark SQL查询MySQL数据库中的数据，并将其转换为...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值