HDFS
wanghan1977
这个作者很懒,什么都没留下…
展开
-
hadoop开发-开发环境与操作HDFS的例子
在windows环境下的eclipse中开发hadoop应用,需要在系统参数中指定HADOOP_HOME,否则会报错"Failed to locate the winutils binary in the hadoop binary path"。可以在系统参数中追加HADOOP_HOME,路径指向将附件"hadoop开发"解压缩后的hadoop dev文件夹即可。*建议将hadoop dev放在D盘根目录下在eclipse中引入hdfs文件夹的maven工程,修改setting.pr..原创 2020-06-10 11:50:12 · 223 阅读 · 0 评论 -
解决flume1.7 TAILDIR source不支持window的问题
考虑使用flume+hdfs+spark+hbase+springboot-web+echart实现对日志进行采集、定时解读、图形化展示。过程中碰到一个问题,使用flume1.7的taildir类型跟踪日志文件,如果flume部署在windows上会出现如下问题flume java.lang.UnsupportedOperationException: View 'unix' not available经查询发现问题出自flume源代码,参考如下文章解决问题:https://ww..原创 2020-06-10 11:38:56 · 720 阅读 · 0 评论