nifi
风中追风风
博客内容只做个人笔记,博客时间不代表实践时间,内容仅供参考,我1925432244,nifi大师群:492666008
展开
-
Nifi开发01
1>创建自己的工作目录2>检查系统是否安装maven以及jdk3>在工作目录执行命令 mvn archetype:generate (可参照红框内容输入自己想设定的值)4>修改自动生成的程序:NewProcessor\SCC-processors\nifi-demo-processors\src\main\java\scc\processors\demo\MyPro转载 2017-01-17 15:55:40 · 4084 阅读 · 1 评论 -
关于NIFI使用和开发
之前一段时间从事nifi的开发工作,所以写了这篇专栏,近期工作原因,暂时不再从事nifi的任何工作。不过貌似大家对nifi的好奇心和热情很足,这里给大家推荐一个群,里面有很多nifi的经验很足的热情大神,大家有问题可以加群然后去提问。再次感谢大家的关注,谢谢。Apache NiFi技术群见个人简介...原创 2019-11-01 14:35:49 · 8005 阅读 · 5 评论 -
nifi-集群搭建,新增用户
NIFI 简介 1、NIFI 的概念 1.1 起源:NIFI是为了自动化的处理和管理系统之间的数据流而产生的,基本设计概念与基于流的编程[fbp]的主要思想密切相关 1.2 nifi核心概念 FlowFile:FlowFile表示通过系统移动的每个对象,包含数据流的基本属性 FlowFile Processor(处理器):负责实际对数据流执行工作 Connection(连接转载 2017-05-19 14:05:44 · 11602 阅读 · 1 评论 -
Nifi源码解读
NiFi是一个易于使用、功能强大、操作便利的数据处理data flow系统。 使用户可以不用写很多代码即可操作各种数据流。 目前关于NiFi的文档较少,只能一点点看源码,先把源码做一个大概的整理,之后再深入研究。nifi源码nifi-api:nifi的API接口nifi-bootstrap:NiFi的启动、命令处理与监听nifi-commons:工具包dat转载 2017-03-15 17:20:10 · 3281 阅读 · 0 评论 -
Nifi1.4.2汉化/日化
具体日化内容属公司机密,学习过程可以留言或私信我。原创 2016-03-25 10:56:30 · 4132 阅读 · 4 评论 -
How to configure the nifi user authentication ?
NIFI登录配置(kerberos)1.下载kerberos:(https://centos.pkgs.org/6/centos-x86_64/krb5-server-1.10.3-57.el6.x86_64.rpm.html)(下载rpm包网址) 1.1下载四个包krb的包krb5-auth-dialog-0.13-5.el6.x86_64.rpmkrb5-libs-原创 2017-03-28 15:49:28 · 1645 阅读 · 1 评论 -
How to contribute the code or doc to Nifi?
confluence上的官方指导:https://cwiki.apache.org/confluence/display/NIFI/Contributor+Guide#ContributorGuide-Createaticketfornewbugsorfeatures大致是以下几个步骤:1.JIRA上面发ticket,也就是create issue,注意类型和标题,这样可以方便别的人查原创 2017-03-21 10:37:34 · 882 阅读 · 0 评论 -
How do you subscribe nifi MailingLists?
项目背景:apache nifi是近年来新出的apache顶级项目,因此国内参考资源很少,国外又不是那么容易上,english还是个小门槛,那么神奇的apache为广大开源爱好者提供了一个即时关注nifi bug以及即时提问题的类似于论坛的邮件组。地址:http://nifi.apache.org/mailing_lists.html 操作:我们需要订阅的是dev@nifi.apach原创 2017-03-10 15:10:03 · 929 阅读 · 0 评论 -
Nifi保留指定processor的方法
项目背景:鉴于项目需求,需要删除指定的nifi自带的processor项目构建解析:nifi所有的processor都在nar-bundles目录下,大致可分为三种类型,第一种是基础框架类型,这种一般不能够删除,删除会导致系统启动异常;第二种是后期扩展类型,这种一般类似于集成了spark,ambari之类的,单独一个目录存放;第三种是标准类型,这种应该算是最初nifi的processor,都是原创 2017-02-14 17:03:04 · 1687 阅读 · 0 评论 -
在windows下build好的NiFi如何迁移到linux下正常运行
问题描述:之前项目在windows下做的snapshit版本的编译,之后想直接迁移到服务器上运行,结果发现出现各种错误,比如启动的nifi.sh,nifi-env.sh脚本无法运行;提示找不到目录或者文件问题解决:(1)由于在windows下build完之后的脚本的编码与linux的sh编码不同,这里用vim打开该sh文件,输入: [plain] :set ff 回车,显示f原创 2017-03-08 09:58:12 · 1054 阅读 · 0 评论 -
nifi制作从ftp下载csv导入数据库的template
1.首先创建你个所需要的processor,这里需要GetFTP,ConvertCSVToAvro,ConvertAvroToJSON,ConvertJSONToSQL,PutSQL这个5个。2.config 每一个processor,具体配置和用途,自己查阅官方文档。这里要注意的是avro的格式要与csv的attribute对应起来,别写错了3.创建mysql的table,表明随意,和配原创 2016-03-21 18:31:26 · 3757 阅读 · 0 评论 -
Nifi开发02
1>在工程目录下执行命令:mvn eclipse:eclipse -DdownloadSources=true 执行成功: 工程目录下会生成很多新的文件: 2>将工程导入eclipse 原文转载至:http://www.cnblogs.com/BigBra/p/6078560.html转载 2017-01-17 15:58:50 · 1761 阅读 · 0 评论 -
Nifi国际化支持补丁
普惠众生,愿程序员们永无bug!(很久之前做汉化的工作,这次给大家分享之前提的pr,内容包含汉化源代码,汉化方式,原理,自行阅读研究。)PR传送门...原创 2018-03-09 17:12:21 · 2441 阅读 · 1 评论