![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nifi操作
文章平均质量分 70
刘帅0952
除了帅气,一无所有
展开
-
nifi之将上游的生成的sql语句写入到数据库中(六)
nifi之将上游的生成的sql语句写入到数据库中在上一篇中我们已经成功的将数据转换成了sql语句,那么这一篇我们会将sql语句写进数据库中PutSQL:通过Flowfile中的内容对数据库进行更新(flowfile包含的是一些数据库DDM语句更改处理器名称配置putsql处理器的属性新建一个连接池配置连接池基本上与从数据库里面取数据的配置方法一样我的构想是这样的,数据基本上原理都一样,无论是mysql 还是sql server都是通过java驱动来进行读取和写入数据的,咱们原创 2021-09-17 00:30:29 · 1623 阅读 · 0 评论 -
nifi之将已经定义好的数据进行取值并拼装成sql语句(5)
nifi之将已经定义好的数据进行取值并拼装成sql语句上一篇我们已经成功的将数据进行了自定义,方便交接给下游处理器进行使用,今天我们就用ReplaceText处理器来对数据进行拼接对ReplaceText处理器命名进行处理器的属性配置准备我们需要的sql插入语句,应为我们后期还要对数据库进行写入,我们就的需要一个数据库的插入语句,每个人与每个表的字段都不一样,如果大家要用的话,还是建议大家先在数据库试下能不能正常的插入数据我的sql语句如下:因为小编的id是自增的还是主键,就不需要考虑原创 2021-09-16 23:53:28 · 778 阅读 · 0 评论 -
nifi之将一行一行数据进行值的定义,方便取值(4)
nifi之将一行一行数据进行值的定义EvaluateJsonPath:主要作用就是把数据里面的配置成“键值对”的方式。方便下游处理器进行取值创建EvaluateJsonPath处理器接上一篇长,已经成功创建了出来给处理器name对上游数据进行分析我们通过分析上游数据来对如何进行“键值对”配置来进行了解,这边涉及到jsonpath的语法。感兴趣的大家可以去百度了解一下上游的数据长这个样子分析:通过取前面的id或者age可以得到后面的值,这个还是一层的,比较好取值,好的,开搞对处理器原创 2021-09-16 23:08:17 · 620 阅读 · 0 评论 -
nifi将json格式数据进行分片操作(3)
nifi将json格式数据进行分片操作上一篇我们对从数据库里面提取出来的数据转化成了json格式,但是json不是一行一行展示的,这篇我们就要将他们进行一行一行的显示,大家可以想想,如果一行一行显示的话,我们是不是就可以一行一行的插入到数据库了呢,对的,我们就是要实现这种效果的更改SplitJson处理器的name配置SplitJson处理器的属性【双击处理器打开属性配置】创建下游ExtractText处理器这个处理器的作用就是将接收到的数据可以经过取值的方法,巧妙的变成一个sql语原创 2021-09-16 20:37:45 · 1612 阅读 · 2 评论 -
nifi之将提取出来的Mysql数据库数据转换成json格式(2)
nifi之将提取出来的Mysql数据库数据转换成json格式为什么要转化成json格式,主要是因为处理器从数据库里面提取出来的数据都是avro格式的,不是非常的友好,再者就是好多的处理器都是通过json格式的数据转换的,所以说通过转化成json,更加方便我们后期的数据转化和存储选择处理器ConvertAvroToJson处理器接上一篇,小编把处理器选错了更改处理器删除连接关系这个基础是在消息队列里面没有数据的情况下进行的,也就是上下游处理器不是处于启动状态删除处理器重新添加Con原创 2021-09-16 19:56:45 · 1188 阅读 · 0 评论 -
nifi之读取mysql数据库离线提取(1)
nifi之读取mysql数据库(离线同步)选择处理器QueryDatabaseTable:来读取数据库信息生成SQL选择查询,或使用提供的语句创建组组的主要作用就是,把处理器进行分组因为咱这个是最后的目标是从mysql数据库里面读取数据然后再放到mysql数据中,来进行的一个模拟的操作动作,所以我的组名就叫mysql_to_mysql,这个名称大家可以自己根据实际情况而改动新建处理器修改处理器名称主要是为了方便一眼可以看出来这个处理器是干什么的【双击处理器】更改处原创 2021-09-16 18:10:39 · 1881 阅读 · 1 评论 -
nifi之处理器的类别(各个处理器的作用)
nifi之处理器的类别对于处理器的类别的认识也是相对来说比较重要的,知己知彼放开百战不殆处理器的类别数据转换Data Transformation(数据转换) CompressContent:压缩或者解压 ConvertCharacterSet:将用于编码内容的字符集从一个字符集转换成另一个字符集 EncryptContent:负责加密和解密 ReplaceText:使用正则表达式对文本内容进行更改 TransormXML:应用XSLT转换XML内容 JoltTransformJS原创 2021-09-15 19:53:39 · 497 阅读 · 0 评论 -
nifi小试牛刀至第一次
nifi小试牛刀至第一次应领导要求需要使用这个nifi工具添加和配置第一个处理器:Getfile添加处理器修改处理器的name打开处理器的配置方法 第一种,选中处理器,右键,选择配置 第二种,双击处理器 第三种,选中处理器,在操作区,点击配置按钮更改处理器属性NameDefault ValueAllowable ValuesDescriptionInput Directory(输入目录)The input directory from w原创 2021-09-15 17:28:14 · 296 阅读 · 0 评论 -
对nifi的初步了解
对nifi的初步了解应领导要求需要使用这个nifi工具界面介绍认识处理器常用处理器 ExecuteScript : 执行脚本处理器, 支持: clojure, ecmascript, groovy, lua, python, ruby ##可以用来执行脚本 QueryDatabaseTable : 数据库查询处理器, 支持: mysql ConvertAvroToJSON : avro 数据格式转换为 json ##avro—>json SplitJson : 将J原创 2021-09-15 14:14:53 · 796 阅读 · 0 评论 -
nifi的安装
nifi的安装最近领导突然说要用nifi来进行数据同步和数据迁移,无奈之下,只好研究下nifi这个强大的工具了,百度了一下相关资料,发现网上关于这个的资料太少,干脆就自己写一个下载源码网址:http://archive.apache.org/dist/nifi/1.13.2/,版本比较多,我这边就选这个1.13.2这个版本吧文件有点大1.4G(我这边用的是linux版本)传输至服务传输方式自选哈,我这边用的是lrzsz这个工具[root@localhost ~]# yum -y in原创 2021-09-15 10:47:36 · 2067 阅读 · 0 评论