![](https://img-blog.csdnimg.cn/20210409011821815.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据组件的某部分功能实现
文章平均质量分 52
这部分的内容较为零碎,主要展示一些组件某些组件的实现功能或者报错问题的解决
琪得龙东强
IT届的小学生
展开
-
ideal上初写mapreduce程序出现的报错信息解决
(null) entry in command string: null chmod 0700 E:\tmp\hadoop-Administrator\mapred\staging\Administrator43425421.staging 前提介绍 hadoop2.7.7版本 windows10系统 ideal2021.1.1 首先我的判断是:mapreduce在执行过程会在windows上产生一个临时文件,但是在执行在过程中windows10系统此时不是最高权限,所以执行就有问题 双击或右键进入可原创 2021-06-01 11:25:43 · 821 阅读 · 0 评论 -
flume拦截器
flume自定义拦截器 自定义flume拦截器 拦截器是简单的插件式组件,设置在source和channel之间。source接收到的时间,在写入channel之前,拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。 在ideal上开始编写拦截器的代码 需求说明:对于下面这种文件我们只要状态码是404的文件,我们按照空格进行拆分数到第9个就是状态码 1.1.1.1 - - [26/Oct/2020:11:57:02 +0800] "GET / HTT原创 2021-03-31 17:50:16 · 226 阅读 · 0 评论