- 博客(6)
- 收藏
- 关注
RSS订阅原创 HDFS文件读取和写入
读取文件：一：读取方式一写入哪个DataNode是不确定的，主要寻找读取速度较快的DataNode；怎么找到这种DataNode，从以下几个方面：是否有本机位置，本机架位置，本机房位置；依次重试读取文件，直到读取文件成功；二：读取方式二：backUpRead每次读取时，client会并行试着读取两个或三个DataNode，接受读取成功信息后，会通知其他魏都区的D
2017-06-21 18:43:53
5048
原创 用JvisualVM监控prunsrv服务
用JvisualVM监控prunsrv服务个人用的是：prusrv编写的服务。不懂得可以参考下面三篇文章。http://zhousheng29.iteye.com/blog/1320882 自己编写服务器http://www.codesenior.com/en/tutorial/Run-Java-Program-as-a-Windows-Service-With-Procrun
2017-05-08 13:01:13
794
原创 CPU高的解决方法（flume）
CPU高的解决方法（flume）我不是创造者，只是搬运工，望大家提出宝贵意见。刚刚实习，可能是面试的时候，自己在JVM这块吹的太响亮。刚到公司一周吧，（由于对hadoop等一窍不通），老板（也就是之前的面试官）。说：小羊，这个flume的CPU有点高，大概8%左右，你看看。当时瞬间石化了，CPU高是我等屌丝能解决的。flume一个字都没看，咋办，硬着头皮干。第一种方
2017-05-02 18:38:56
2309
转载 Flume-ng的原理和使用
JavaChen Bloghttp://www.jb51.net/article/53542.htm 实例介绍http://www.cnblogs.com/chushiyaoyue/p/6207638.html分析Flume的启动过程http://www.cnblogs.com/aquariusm/p/6118976.html 关于flume配置加载 Flume-ng的
2017-05-02 18:01:09
312
原创 MapReduce作业的调度
MapReduce作业的调度历史发展：①按照作业的提交顺序执行，即先进先出（FIFO）调度算法来运行作业；存在的问题，一些阻塞型任务会持续占有资源，使得任务无法进行。可以类似单线程相对于多线程存在的阻塞问题。②作业优先级调度算法；存在的问题：优先级不支持抢占，仍然存在上一个算法的阻塞问题；③MapReduce的调度器；当前的使用的默认作业调度算法，多用户的调度器，分别为
2017-04-20 17:02:49
876
翻译 hadoop的io操作
此文是一边读书笔记，由于刚刚接触，很多知识点没有深入。很多地方存在不合理之处，望指出，谢谢。深入知识点会后续补上。老鸟就不用看了；Hadoop工程下与I/O相关的包如下：org.apache.hadoop.ioorg.apache.hadoop.io.compressorg.apache.hadoop.io.file.tfileorg.apache.hadoop.i
2017-04-18 09:55:30
1495
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人