- 博客(6)
- 收藏
- 关注
RSS订阅原创 hadoop_DataNode实现原理分析(0.20版本)
DataNode启动过程：1. 从dfs.data.dir得到DataNode存储数据的目录2. 得到dataNode服务器名称：从配置slave.host.name读取，如果没有，则尝试根据DNS读取，hadoop环境中机器识别以及网络拓扑结构组建请参见前面介绍NameNode的文章3. 从config中得到NameNode地址，建立RPC连
2013-04-03 16:12:07
1618
原创 hadoop-NameNode篇(基于0.20版本)
本篇文章中重点介绍hdfs中NameNode的实现原理，由于内容非常多，要在一条线上将所有的东西都说清楚很难，所以采用的是先从宏观角度说明整体流程，其中某个环节如果复杂，为了不影响把控大的流程，所以这种点上可能就稍稍带过，如果要更详细的了解该环节的具体情况，就需要跳到其他章节去看。所以文字组织上比较乱，个人文字功底薄弱，还望大家见谅。另外，hadoop是一个非常复杂的系统，后面的内容是结合先前看源
2013-03-28 23:33:39
1928
原创 java、php、python的开发效率对比
我对java最熟悉，对php和python只是了解，实际工作中也没有真正用过，昨天一个合作方发过来一个service api的demo实现，里面有java，php和python三种实现，打开一看，第一眼就被python这类脚本语言所折服，单从代码量上来说，差别实在是太大，如果都是熟手开发，业务场景也正好适合该语言的话，开发效率自然就不用再说：扣除掉注释之后：java 56行；php：30行；p
2013-03-26 09:09:37
6298
3
原创 尝试使用Flume 1.3
flume ng是在flume og的基础上做的一个非常大的重构，基本上属于重写了。他和OG相比，简单了不少，但是随之用于管理的功能也少了不少，因为现在使用的是基于plugin的模式来设计，所以管理的功能可能会留待以后由第三方来做，flume只实现最核心的“传输”功能。OG中先前的master，zookeeper等都没有了，NG中只能使用本地的一个properties文件来配置 安装上之后
2013-03-18 16:16:35
1729
原创 使用cgywinx远程阅读源代码
hadoop这一系列的程序因为调用了一些linux才有的命令，所以如果在window上执行，必须要安装cygwin模拟器，比较麻烦。再加上我的本子一向性能差，开个eclipse就非常考人耐心，所以打算重新搞一台linux机子来阅读比较爽：在远端的linux上执行，界面显示在我本地的本子上，就这可以用得上cygwin的cygwinx了：首先，在cygwin中将X11下的所有程序全部安装(
2013-03-17 00:02:46
608
原创 重新回到技术
先吐槽一把：几年前写的blog怎么全都没有了呢？工作这么多年来，做了很多事情，但是个人觉得都不精，最近三年大部分的精力又都转到了技术管理上，最喜欢的技术反而落下了非常不少。其实我最喜欢的还是专研技术，最近工作稍有空闲，希望能够在技术上深入一下吧，在blog上留下一些足迹。大数据处理做的时间最长，应该是我做过所有的技术开发工作中最感兴趣，也算是最熟悉的吧，但是两年时间没关注了，再网上查资料，
2013-03-16 16:31:50
475
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人