使用nifi将数据库数据上传到Elasticsearch

最新推荐文章于 2024-07-11 08:14:58 发布
最新推荐文章于 2024-07-11 08:14:58 发布
阅读量5.2k 收藏 2
点赞数
分类专栏： nifi elasticsearch 文章标签： elasticsearch nifi 数据 json 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/suphieLiang/article/details/78393766
版权
本文介绍了如何使用nifi将数据库数据导出为CSV，然后转换成JSON，接着通过Elasticsearch的kibana创建索引，并在nifi中配置流程进行数据上传。在nifi中配置GetFile、SplitJSON和Elasticsearch5组件，通过调整identifier Attribute为fragment.index以确保数据完整性。尽管遇到中文乱码问题，但已成功上传3000条数据到Elasticsearch。
摘要由CSDN通过智能技术生成

首先将数据库数据导出CSV文件，再将CSV文件转换成json格式文件
CSV在线转json地址：CSV在线转json
使用kibana在Elasticsearch中建立一个新的index
POST /company_basic/info/_mapping?pretty 其中company_basic为index名，info为type名。
这里写图片描述
在nifi中建立如下组件
这里写图片描述
其中GetFile配置如下

最低0.47元/天 解锁文章
suphieLiang
关注
专栏目录
5 分钟，用 NiFi 自动传输系统间的数据流
qq_16046891的博客
10-22 1601
一、我们为什么不用 Flink 在信息流推荐业务场景中，数据是模型迭代的原材料，是指标增长的重要基石，而「数据流」则贯穿整个推荐业务场景。 一些系统创建了数据，而另一些系统需要使用这些数据。因此高效的数据流托管和自动化传输，是很长时间以来一直困扰我们的问题。为了使不同系统间的数据标准得到统一，企业常用 Flink 或 Storm（以下简称 FS）构建系统间数据流传输的解决方案。但是在推荐架构侧，很多场景下直接搬运数据流即可，不需要进行大量转化，这时使用 FS 的代价就有点大了，而且并不高效。 对于数据流的处
使用nifi将mysql数据全量后增量的数据同步到Elasticsearch 中
最新发布
linxuehh的博客
08-15 262
本文详细介绍了如何使用NiFi将MySQL中的数据全量后增量地同步到Elasticsearch。文章提供了模板获取链接，并具体说明了将MySQL的test_addition表数据全量导入到Elasticsearch中的land_aoi索引，然后每小时增量同步一次的过程。文章还附带了流程截图，并重点说明了表结构、建索引语句，以及使用ExecuteScript通过轮廓数据计算中心点来获取location的处理方法。
docker中部署ApacheNifi连接elasticsearch并通过nifi发送JSON数据到elasticsearch索引中
believer
09-12 4086
1.第一步在docker中先拉取nifi和es的镜像，不会拉取镜像的私聊我。 2.第二步分别启动两个容器，不会启动容器或者不会创建容器的，可以私聊我 3.第三步分别用浏览器打开nifi和es，nifi网址http://127.0.0.1:8080/nifi/   es：http://127.0.0.1:9200推荐使用谷歌浏览器自带head插件 4.nifi配置两个处理器，一个是ge...
nifi 实现数据库到数据库之间数据同步
sinat_28371057的博客
11-21 2296
数据同步 　　界面如下： 　　　　 　　具体流程： 　　　　1、使用ExecuteSQL连接mysql数据库，通过写sql查询所需要的数据 　　　　2、nifi默认查出来的数据为Avro格式，所以需要ConvertAvroToJSON把Avro格式转化为json格式的数据 　　　　3、使用ConvertJSONToSQL把json数据转化为sql语句 　　　　4、使用PutSQL把数据存入数据库。 　　　　5、同步的数据重复插入数据库，需要对数据进行更新操作，SplitJson对json进行
Nifi--从Mysql抛转数据到Elasticsearch
u013071014的博客
01-10 1809
Nifi–从Mysql抛转数据到Elasticsearch 1. 概览 2. QueryDatabaseTable SCHEDULING —> Run Schedule需要设置大一点，否则会频繁查询数据库； Database Connection Pooling Service 第一次创建没有连接池，可以新增一个DBCP连接池； 创建连接池以后，点击右侧Go To按钮配置连接信息，包含：连接地址、驱动、驱动jar包地址、用户名、密码。配置完成后将状态置为Enable; T
nifi通过自定义processor将数据流入Elasticsearch
suphieLiang的博客
01-02 2800
此文章对自定义processor不做详细讲解。 总体流程如下 其中AddT为自定义processor AddT流入的数据为json格式流入的字段应与FlowMsgIn中相同 因此流入的数据应如： {“City”:”“,”param”:”cc”,”Number”:”12345”,”body”:”aa”,”query”:”111”} 数据流入后在rules类中通过一定业务逻辑增加ne
Mysql数据同步Elasticsearch方案总结
chushuaihong0463的博客
10-25 837
前言 要通过elasticsearch实现数据检索,首先要将数据导入elasticsearch,并实现数据源与elasticsearch数据同步.这里使用的数据源是Mysql数据库.目前mysql与elasticsearch常用的同步机制大多是基于插件实现的，常用的插件包括：logstas...
nifi中使用PutElasticsearch
suphieLiang的博客
10-25 2337
processer中有putElasticsearch和putElasticsearch5，其中putElasticsearch对应的是2.x版本，putElasticsearch5对应的是5.x版本。本机安装的Elasticsearch为5.x版本，故选用putElasticsearch5。 建立如下组件关联 putElasticsearch5的配置如下 ElasticSearch Hosts
量化交易系统中如何处理大数据量的存储问题？
zhangzhechun的专栏
07-11 68
在量化交易系统中，处理大数据量的存储问题是一个关键的挑战。
Elasticsearch Demo 读取word内容写入到Es上并展示在WebFrom页面上
10-26
Elasticsearch Demo 读取word内容写入到Es上并展示在WebFrom页面上,简单查询根据关键字检索 并高亮显示。
大数据面试临阵磨枪不知看什么？看这份心理就有底了-大数据常用技术栈常见面试100道题
大模型大数据攻城狮的专栏
04-08 358
YARN（Yet Another Resource Negotiator）是Hadoop的资源管理和作业调度层。它的主要角色是管理和调度集群资源，以及协调各种应用程序的执行。YARN的主要功能包括：资源管理：YARN负责分配和管理集群中的资源，如内存、CPU和存储资源。作业调度：YARN调度和监控各种作业的执行，确保资源得到合理利用。应用程序协调：YARN协调运行在集群上的各种应用程序，如MapReduce、Spark等。容错处理：YARN能够处理节点故障和应用程序失败，确保作业能够顺利完成。
Jeecgboot中的大数据处理与分析技术集成
Jeecgboot还提供了丰富的可配置的代码生成器，可以根据数据库表自动生成前后端代码，大大减少了开发工作量。 ## 1.2 大数据处理与分析技术的重要性 随着互联网的快速发展和数字化转型的推进，大数据的应用越来越...
Flink批处理入门
胜利的曙光的博客
02-19 2056
Flink批处理之DataSource、Transformation、Sink、广播变量、累加器、分布式缓存相关内容介绍。
Elasticsearch与ApacheNifi的整合与应用
程序员光剑
01-28 667
1.背景介绍 1. 背景介绍 Elasticsearch 是一个开源的搜索和分析引擎，基于 Lucene 构建，具有实时搜索、数据分析、集群管理等功能。Apache Nifi 是一个用于处理大规模数据的流处理系统，可以实现数据的传输、转换、分析等功能。在现代数据处理和分析中，Elasticsearch 和 Apache Nifi 的整合和应用具有重要意义。 本文将从以下几个方面进行阐述： ...
数据仓库工程师面经（未完）
寒暄的博客
09-05 3896
HIVE Hive row_number，dense_rank，rank三个函数的区别 row_number row_number排序为标准顺序排序,排序后序号按照行号依次递增。a 1 b 2 b 3 b 4 c 5 c 6 dense_rank dense_rank排序中大小一致的元素序号一样，然后按照元素降序依次降序排序。a 1 b 2 b 2 b 2 c 3 c 3 rank rank排序大小一致的元素序号一样，但是会按照行号依次降序排序。a 1 b 2 b 2 b 2 c 5 c 5
nifi连接mysql_nifi实现数据库到数据库之间数据同步
weixin_36158843的博客
01-19 1146
一.安装：NiFi 是免安装地，仅需从官网下载压缩包，然后解压，即完成了整个安装过程，官网下载安装包(http://nifi.apache.org/download.html)，选择nifi-x.x.x-bin.tar.gz的最新版本即可。解压结束即完成安装过程。二.配置：修改配置文件nifi.properties(路径/usr/download/nifi-1.7.1/conf，根据解压位置而定)...
大数据常用同步工具（DataX/Sqoop/Nifi/Canal等）
热门推荐
清平乐的技术专栏
04-16 1万+
一、离线数据同步 DataX 阿里的Datax是比较优秀的产品，基于python，提供各种数据村塾的读写插件，多线程执行，使用起来也很简单，定义好配置json文件执行脚本就可以了，非常适合离线数据，增量数据可以使用一些编码的方式实现，但是也仅仅针对insert数据比较有效，update数据就不适合 github地址：https://github.com/alibaba/DataX Sqoop Sq...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值