![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 52
崔博文
这个作者很懒,什么都没留下…
展开
-
Linux常用命令
Linux下常用的命令原创 2017-09-27 17:44:19 · 252 阅读 · 13 评论 -
shell编程基础
Linux中shell编程基础 1、执行shell脚本方法 . ./test.sh (需要给x权限) ./test.sh (需要给x权限) sh shell.sh (不需要给x权限) 2、变量定义 STR=hello world ->echo $STR ->hello world a=cc STR="hello $a" ->echo $STR ->hello cc原创 2017-09-30 01:35:08 · 246 阅读 · 0 评论 -
Linux高级文本处理命令
cut、sort、wc、sed、awk 1、cut (提取文本列) echo $PATH | cut -d ':' -f 5 //取$PATH输出流的第五列,是以:为分隔符的第5列 echo $PATH | cut -d ':' -f 1,3 //取第3,5列 echo $PATH | cut -d ':' -f 1-3 //取第1-3列 echo $PATH原创 2017-09-30 09:58:01 · 350 阅读 · 0 评论 -
storm中的ack-fail机制
概念:storm的ack-fail机制也就是storm的可靠消息处理机制,通俗来讲就是给spout发出的每个tuple带上一个messageid,然后这个spout下面的每一个bolt 都会给他返回一个完成情况,只有当每一个bolt都返回了正确的结果,整个发送过程才算成功,任何一个bolt处理不成功,则不成功。 我对ack-fail机制的讲解分为三个层面:分别是api应用也就是写代码方面、原创 2017-10-31 21:21:54 · 2544 阅读 · 0 评论 -
sparkRDD常用算子
sparkRDD算子原创 2017-11-20 09:22:18 · 709 阅读 · 2 评论 -
logstash的坑:不能重复读一份完全相同的文件!
如题,在使用logstash采集日志时,如果我们采用file为input类型,采用不能反复对一份文件进行测试!第一次会成功,之后就会失败! 如果要对同一份文件进行采集,记得改名!原创 2017-12-05 19:30:19 · 1978 阅读 · 0 评论