Hadoop
bigtiger1648
这个作者很懒,什么都没留下…
展开
-
Google File System 论文解读
1 简介 GFS特点:首先,组件失效被认为是常态事件;其次,文件巨大;第三,文件修改多是尾部追回数据;第四,应用程序和文件系统API协同提高灵活性。2 设计概述 2.1 设计预期 大量廉价组成,数量巨大的文件,大规模流式读取和小规模随机读取,高效的、行为定义明确的实现多客户端并行追回数据到一个文件里。 2.2 接口 类似传统文件系统的AP...原创 2019-11-12 14:42:26 · 309 阅读 · 0 评论 -
mapreduce任务卡在INFO mapreduce.Job: Running job
http://123.123.123.123:50070/logs/确定日志中无报错信息,有的话就先解决。如 上述措施还不顶用 将mapred-site.xml中<property> <name>mapreduce.framework.name</name> <value>...原创 2019-10-31 17:57:07 · 1250 阅读 · 0 评论 -
spark提交部署方式
1、bin/spark-submit --master spark://123.321.123.321:7077 --deploy-mode client jars/sparkApp.jar2、bin/spark-submit --master spark://123.321.123.321:7077 jars/sparkApp.jar3、bin/spark-submit --master ...原创 2019-10-18 11:46:51 · 242 阅读 · 0 评论 -
HAPDOOP之旅--番外篇之木马
布署hadoop也没干什么,忽然服务器就卡顿到不行。查看一下日志(8088端口)这么多操作日志,并非本人,dr.who是谁,有人偷了账号?查看进程(ps -aux)/var/tmp/java -c /var/tmp/w.conf 占了 99%的CPU资源。这玩意是啥?挖矿木马!!! 纳尼 具体木马的研究有文章 https://paper.seebug.org/...原创 2019-01-17 11:03:19 · 712 阅读 · 0 评论 -
spark读HDFS文件报错
操作如下>>> val rdd= sc.textFile("hdfs://123.123.123.123:8020/user/hmh/spark/spark1.input")>>> rdd.map(_.split(" ")).collect报错如下:java.lang.VerifyError: class org.apache.hadoo...原创 2019-09-11 15:20:35 · 858 阅读 · 0 评论