大数据
关注
分享
扫一扫
heishu007
这个作者很懒，什么都没留下…
展开
-
Flume-ng的原理和使用
JavaChen Bloghttp://www.jb51.net/article/53542.htm 实例介绍http://www.cnblogs.com/chushiyaoyue/p/6207638.html分析Flume的启动过程http://www.cnblogs.com/aquariusm/p/6118976.html 关于flume配置加载 Flume-ng的转载 2017-05-02 18:01:09 · 334 阅读 · 0 评论 -
CPU高的解决方法（flume）
CPU高的解决方法（flume）我不是创造者，只是搬运工，望大家提出宝贵意见。刚刚实习，可能是面试的时候，自己在JVM这块吹的太响亮。刚到公司一周吧，（由于对hadoop等一窍不通），老板（也就是之前的面试官）。说：小羊，这个flume的CPU有点高，大概8%左右，你看看。当时瞬间石化了，CPU高是我等屌丝能解决的。flume一个字都没看，咋办，硬着头皮干。第一种方原创 2017-05-02 18:38:56 · 2347 阅读 · 0 评论 -
MapReduce作业的调度
MapReduce作业的调度历史发展：①按照作业的提交顺序执行，即先进先出（FIFO）调度算法来运行作业；存在的问题，一些阻塞型任务会持续占有资源，使得任务无法进行。可以类似单线程相对于多线程存在的阻塞问题。②作业优先级调度算法；存在的问题：优先级不支持抢占，仍然存在上一个算法的阻塞问题；③MapReduce的调度器；当前的使用的默认作业调度算法，多用户的调度器，分别为原创 2017-04-20 17:02:49 · 908 阅读 · 0 评论 -
hadoop的io操作
此文是一边读书笔记，由于刚刚接触，很多知识点没有深入。很多地方存在不合理之处，望指出，谢谢。深入知识点会后续补上。老鸟就不用看了；Hadoop工程下与I/O相关的包如下：org.apache.hadoop.ioorg.apache.hadoop.io.compressorg.apache.hadoop.io.file.tfileorg.apache.hadoop.i翻译 2017-04-18 09:55:30 · 1517 阅读 · 0 评论 -
HDFS文件读取和写入
读取文件：一：读取方式一写入哪个DataNode是不确定的，主要寻找读取速度较快的DataNode；怎么找到这种DataNode，从以下几个方面：是否有本机位置，本机架位置，本机房位置；依次重试读取文件，直到读取文件成功；二：读取方式二：backUpRead每次读取时，client会并行试着读取两个或三个DataNode，接受读取成功信息后，会通知其他魏都区的D原创 2017-06-21 18:43:53 · 5084 阅读 · 0 评论