大数据
文章平均质量分 83
It-Self
数据码农,简称数码
展开
-
大数据环境搭建(测试)
安装包链接:https://pan.baidu.com/s/1YcIbXq2kwginm91YFm_XLw密码:bsxu centos6.5 + mysql5.1.73 + jdk1.7.0 + hadoop2.6.0 + hive2.0.0 + hbase1.2.2 + sqoop1.4.6 + flume1.6.0 + kafka0.8.2 + scala2.11.8 + spark1.5...原创 2017-07-05 23:30:28 · 764 阅读 · 0 评论 -
hadoop2.6修复openforwrite块
azkaban任务在日志解析时卡住,来公司后看到如下错误,fsck文件后发现一个块处于openforwrite状态,无法读。同事说昨天重启过节点,猜测是flume采集日志落盘在hdfs时未正常关闭块产生的问题,文件未损坏,只是租约未释放,2.7上有恢复命令(hdfs debug recoverlease),but我们用的是2.6,于是网上找了段代码,执行成功,特此留念。 代码: mk...原创 2019-06-06 14:20:07 · 927 阅读 · 0 评论 -
pyspark streaming统计kafka埋点日志
需求背景:恶意注册账号疯狂发im消息,请求加商家微信。建立黑名单,凡是一天内访问200次详情页的加黑名单。 #启动zk nohup /usr/local/kafka-2.2.1/bin/zookeeper-server-start.sh /usr/local/kafka-2.2.1/config/zookeeper.properties & #启动kafka nohup /usr/l...原创 2019-06-24 21:15:37 · 789 阅读 · 0 评论