NIFI
世界之大追梦者
这个作者很懒,什么都没留下…
展开
-
扩展:CSV文件到mysql数据库
整体流程图:准备:csv文件内容:思路:1.获取csv文件到flowfile2.添加属性schema.name=test,为下文将csv转为json做准备3.将csv转化为json4.将json转为sql语句5.插入到数据中详细流程:1.GetFile2.UpdateAttribute3.ConvertRecord目的就是为了生成这样的json以便下一步使用4.ConvertJSONToSQL5....翻译 2018-03-08 16:53:35 · 244 阅读 · 0 评论 -
扩展:mysql数据库到 json文件
从mysql数据库中查询数据转化为json并存放到文件中整体浏览图:准备过程(controller service 控制服务器的配置):1.DBCPConnectionPool配置mysql数据源详细流程(processor 管理器):1.ExecuteSQL配置数据源和查询语句,生成flowfile,通过“success”关系向下连接2.ConvertAvroToJSON上一步查询后的格式是Av...翻译 2018-03-08 16:55:49 · 985 阅读 · 0 评论 -
扩展:将CSV转换为json
通过nifi将csv轻松转化为json。总体流程图:下面是流程中使用的CSV文件:文件名为:users.csv内容为:路径为:/opt查看并启动控制器服务从操作板中选择齿轮图标,进入控制服务器:这将打开NiFi流程配置窗口。 选择Controller services选项卡:通过选择闪电图标/按钮启用AvroSchemaRegistry。 这将允许您启用CSVReader和JSONRecordSe...翻译 2018-03-08 17:00:40 · 8171 阅读 · 2 评论 -
扩展:事件流上的实时SQL(Real-Time SQL On Event Streams)
这个新版本最令人兴奋的特性之一就是QueryRecord处理器和Record Reader和Record Writer组件。如果你不熟悉这些组件,那么有一篇博客文章解释了这些组件的工作原理。这个由Apache Calcite支持的新处理器允许用户编写SQL SELECT语句,以在数据流经系统时运行数据。 NiFi中的每个FlowFile都可以视为一个名为FLOWFILE的数据库表。这些SQL查询可...翻译 2018-03-08 17:06:56 · 1015 阅读 · 2 评论