大数据架构
文章平均质量分 69
一溜烟儿的
这个作者很懒,什么都没留下…
展开
-
NIFI -- 文件数据写入hive
目的: nifi在国内的使用相对较少,也有一些博客介绍了一些nifi的概念,但是nifi里面processor的种类非常之多,文档对于每个processor功能描述相对单薄。而且有些地方解释的含含糊糊,说白了,就是还是有点使用门槛的。本文直接上实际的例子。可以供大家参考。一些涉及到的知识点不会细讲。nifi使用背景: 希望借助nifi监控某个目录,能够将被监控目录下的数据文件采集原创 2017-11-01 11:36:42 · 5909 阅读 · 1 评论 -
文章标题
hadoop核心配置文件: 1,环境变量相关: 主要关注daemon进行的堆内存大小 hadoop-env.sh: JAVA_HOME HADOOP_CONF_DIR HADOOP_HEAPSIZE:影响客户端启动内存大小等 HADOOP_NAMENODE_OPTS/HADOOP_DAATANODE_OPT转载 2017-11-01 16:24:52 · 127 阅读 · 0 评论