天涯到处跑-CSDN博客

原创 Flink1.11.0读取kafka数据动态写入hive中(更新-解决hive查询不到数据问题)

一、主要流程flink 1.11.0 hive 2.3.4 kafka 2.11 hadoop 2.7.2 scala 2.1.11流批混合，读取kafka 数据量写入到hive中二、主要步骤1.在flink sql 客户端中创建hive 分区表flink sql 客户端配置在上一篇文章https://blog.csdn.net/m0_37592814/article/details/108038823建表语句use wm;CREATE TABLE ods_...

2020-08-16 22:00:04 9748 25

原创自定义Flink kafka连接器Decoding和Serialization格式

使用kafka连接器时：1.作为source端时，接受的消息报文的格式并不是kafka支持的格式，这时则需要自定义Decoding格式。2.作为sink端时，期望发送的消息报文格式并非kafka支持的格式，这时则需要自定义Serialization格式。

2023-10-14 17:21:17 1155 1

原创 Flink自定义sink并支持insert overwrite 功能

自定义flink sink，批模式下，有insert overwrite 需求或需要启动任务或任务完成后时，只执行一次某些操作时，则可参考此文章。

2023-10-14 17:02:16 1261 1

原创免密码方式获取Hive元数据

开发中可能用到hive的元数据信息，如获取hive表列表、hive表字段、hive表数据量大小、hive表文件大小等信息，要想获取hive元数据信息即需要hive元数据库的账号及密码，此次提供的是一种不需要hive元数据库密码及可获取元数据信息的方式。

2023-10-14 16:51:46 814 1

原创 flink 自定义多并发度 elasticsearch source连接器

前言参考1.官网:https://nightlies.apache.org/flink/flink-docs-release-1.13/docs/dev/table/sourcessinks/2.博客：https://blog.csdn.net/haixing1994/article/details/120223870?spm=1001.2014.3001.5501flink1.13 elasticsearch 7.5.1

2021-11-15 23:25:05 4313 11

原创 flink1.12 纯flinkSql 双流join实现舆情数据宽表加工

细节待补充主要是maxwell 监控采集到mysql中舆情数据表、用户信息表信息，用户表先与重点关注人员维度表、省份维度表关联得到用户信息维度表，再与舆情数据表实时join 最终落到es中供各项指标查询...

2021-07-28 13:11:51 1088

原创 flink1.13解决读取kafka数据写入hive中hive客户端查询不到数据问题

flink1.13版本前可参考如下方式:https://blog.csdn.net/m0_37592814/article/details/108044830flink1.1

2021-06-14 17:58:02 2641 7

原创 idea debug flink1.12 sqlClient 源码

一、前言此文章主要是在idea 中运行flink sqlClient 源码，通过提交运行flink sql debug源码查看sql提交流程，主要是为以后flink sql 平台化做理论基础。flink 1.12.0 hive 2.3.4 hadoop 2.7.2二、主要步骤1.下载flink1.12的源码官网下载地址如下：添加链接描述...

2020-12-21 00:16:26 1130

原创 flink SQL与hbase整合

一、前言flink sql 与hbase 整合主要实现：flink sql 客户端中的hbase表与hbase中的表数据交互，为以后纯sql编写程序做准备如：创建kafka表、hive表、hbase表、mysql表，kafka表作为source hive表 sql语句加工作为算子 hbase表、mysql表作为sink表1.flink sql 客户端中能读取hbase shell 写入的数据 2.flink sql 客户端写入hbase表中的数据在hbase shell中能读取flink ..

2020-12-02 00:42:06 5381 1

原创 flink1.12 窗口函数Top-N热门店铺

一、前言flink 1.11.0 hive 2.3.4 kafka 2.11 hadoop 2.7.2 scala 2.1.1主要参考官网：https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/stream/operators/windows.html二、主要步骤1.接入kafka数据kafka中数据格式为：{"createTime":"2020-11-22 21:25:53","mtWm...

2020-11-22 22:10:49 602

原创 flink SQL与jdbc(mysql整合)

一、前言

2020-11-21 20:36:38 7002 4

原创 flink1.11.0读取kafka数据写入hive中hive无分区信息及读取不到数据解决

一、前言在上一博客中写了flink1.11.0读取kafka数据写入到hive中，发现hive中无法查询flink通过scala写入的数据，搜了些资料查找原因，参考了下文章:https://zhuanlan.zhihu.com/p/157899980里无法读取hive数据的原因，但里面比较明确给出的解决方案是修改源码，我觉得太麻烦了。查了下官方和阅读些flink源码，终于找到一种我认为比较便捷的解决方案，具体分析方法如下：完整的flink读取kafka数据动态写出hive，实现实时数仓的代码dem.

2020-08-29 18:15:44 4632

原创 Flink1.11.0 SQL与hive整合

一、前言此次flink sql 整合 hive 主要是能在flink sql中读写hive数据,为flink实时写数据进入hive 构建实时数仓做准备工作。flink 1.11.0 hive 2.3.4 hadoop 2.7.2主要步骤主要是参考官方文档：https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/hive/hive_catalog.html二、主要步骤1.开启Hive M...

2020-08-16 17:59:49 5802 1

原创 sparksql读取mysql数据生成csv文件

一、前言软件如下：hadoop 2.7.2、scala 2.11.11、mysql、spark2.2.1需要提前安装好。二、主要逻辑1.mysql如果格式如下mysql表结构response字段结构：{"bulletin":"","couponList":[],"createTime":"","deliveryFee":8,"deliveryMsg":"","deliveryTime":"0","deliveryType":0,"dpShopId":0,"itemList"..

2020-06-14 16:13:44 1073

原创 Flink实时读取kafka数据写入到hdfs和es

一、前言软件如下：Flink 1.7.2 、elasticsearch 5.2.2 、hadoop 2.7.2、kafka0.10.2.1、hive 、scala 2.11.11、springboot 需要提前按照好。（1）流程图：流程图跟上一篇文章相似https://blog.csdn.net/m0_37592814/article/details/105027815，主要是把sparkstreaming 替换成flink（2）Flink官网以下Fli...

2020-05-25 00:01:23 3152

原创 Hive数据导入hbase使用BulkLoad方式（spark和mapperReduce两种实现）

一、前言在一些场景中需要把hive中的数据导入到hbase中做永久存储。hive与hbase数据交互一般有两种方式：1.hive和hbase建立起关联 2.把hive中的数据处理成hfile文件，然后通过bulkload导入到hbase。相比第一种方式，第二种方式效率更高，原因简单来说是HBase的数据是以HFile的形式存储在HDFS的，hive数据转为hfile文件后，可以通过b...

2020-05-05 14:29:51 2240 4

原创 elasticsearch ik分词器远程扩展词典放nginx服务器实现热更新不需重启es

一、elasticearch 添加ik分词器并实现分词功能ik分词器安装参看下：https://blog.csdn.net/chen_2890/article/details/83757022，

2020-03-28 17:06:26 2911 3

原创 Sparkstreaming读取kafka数据写入hive和es

一、主要流程demo的主要流程如下图：二、流程步骤1.数据采集

2020-03-22 16:32:11 4972 1

原创美团外卖token解密(Java版)

一、前言token加密原理分析主要参考:http://www.360doc.com/content/19/1108/09/13474884_871818718.shtml 由于在网上搜到的都是使用python来解码的，这里加上使用java来加密解密美团外卖店铺列表等接口的token参数和X-FOR-WITH二、代码示例1.token加密解密(1) 取出token值（...

2020-03-21 21:27:34 4593 8