2014年03月_飞火流云

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载精心收集的Hadoop学习资料(持续更新)

转自: http://www.iteblog.com/archives/851最近发现自己收集到的Hadoop学习资料有很多本，想想放在那里也浪费，所以觉得贴出来给大家分享，需要的可以去我CSDN里面下载，保证全部资源免费下载！这里面很多英文的资料。　　1、《Hadoop技术内幕：深入解析Hadoop Common和HDFS》下载地址：http://download.csdn.ne

2014-03-27 10:54:16 653

原创 Yarn AppMaste调试

一般都是这种形式，YARN_OPTS="$YARN_OPTS $YARN_CLIENT_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,address=8792,server=y,suspend=y "但是MRMaster不知道加在哪里，查看了封神的博客后，恍然大悟，http://fengshenwu.com/blog/tag/hadoop2

2014-03-23 17:00:20 1086

原创 protoc编译

protoc --java_out=/home/liuqiang/workspace/ProtoTest/src/proto/ yarn_protos.proto

2014-03-22 10:17:20 1670

原创 Yarn编译问题记录

安装Maven不要使用最新的Maven 3.1.1。Hadoop 2.2.0的源码与Maven3.x存在兼容性问题，所以会出现java.lang.NoClassDefFoundError: org/sonatype/aether/graph/DependencyFilter之类的错误。安装 Maven 3.0.5$ wget http://mirror.esocc

2014-03-21 21:36:27 3020

原创 crontab命令

crontab -e* 22 * * * ifdown eth1 //22点关闭网卡[root@mu02 ~]# crontab -l* 22 * * * ifdown eth1

2014-03-18 21:27:13 597

原创 Yarn2.2.0公平调度器分配流程

这里要把握好两条主线:1. ApplicationMasterService 通过重载ApplicationMasterProtocol的AllocateResponse allocate(AllocateRequest request)方法实现了AppMaster的远程资源请求，同时也是兼具心跳作用。 AllocateResponse allocate(Allo

2014-03-18 17:41:05 983

转载我见过的关于notify()和notifyAll()区别的最简洁的代码

转自: http://wangacidlemon.iteye.com/blog/398623wait()方法表示，放弃当前对资源的占有权，等啊等啊，一直等到有人通知我，我才会运行后面的代码。 notify()方法表示，当前的线程已经放弃对资源的占有，通知等待的线程来获得对资源的占有权，但是只有一个线程能够从wait状态中恢复，然后继续运行wait()后面的语句；

2014-03-17 11:33:13 10058 11

原创 NIS和pbs服务改动

之前因为一次黑客入侵，他喵的重装系统，浪潮的哥们给我们搞定了，但是还有点问题，今天又问了下，把解决过程记录在这里。1. NIS因为重装系统，原来加系统用户的脚本没了，只好手动的。步骤:1) 添加用户 mu02: useradd -m liuqiang2 passwd liuqiang2

2014-03-16 23:13:44 1537

原创 mongodb shell BackSpace 无法删除

SecureCRT工具默认的字符输入模式的问题，可以通过以下方式修改：第一步：选择Option菜单中的Session Option。在左侧的目录中选择Terminal—Emulation，在其中的Terminal选项中选择Linux，并点击确定即可。更简单的办法是用putty就好了~

2014-03-15 15:45:26 1583

原创 yarn2.2.0安装问题记录

1. mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only contain a-zA-Z0-9_ and can not start with numbers解决办法：在yarn-site.xml 配置文件中增加：

2014-03-15 15:39:37 1890

转载 Linux vim/vi 用:s 命令来替换字符串

首先vim yourdata, 然后按Esc键，之后:s/well/good/ 替换当前行第一个 well 为 good:s/well/good/g 替换当前行所有 well 为 good:n,$s/well/good/ 替换第 n 行开始到最后一行中每一行的第一个 well 为 good:n,$s/well/good/g 替

2014-03-15 14:30:08 725

原创 Mongodb在Linux下的使用说明

启动: ./mongod -dbpath=data/ -logpath=log/mongodb.log --rest //加上rest选项是因为便于网页访问关闭: pkill mongod脚本使用参考; http://www.server110.com/mongodb/201311/3179.html基础命令参考: http://tech.lezi.com/arch

2014-03-13 22:19:41 718

执行java时，由classpath指定java程序所在位置，如果没指出则默认为命令行当前路径，另外执行的类名是不能带路径的，JVM会把整个类名参数作为类名，如果包含路径名则路径也被当做是类名的一部分。类名部分只能带包名（如果声明了package）。并且如果声明了package，则类名必须带上包名；如果没声明package，则类名只能包含类名。JVM会检查你的包名和类中package的声明是否一致

2014-03-12 16:58:44 1315

转载 JDK 1.7 基本概念和目录结构

转自: http://www.cnblogs.com/cynthiahuo/archive/2013/06/03/3115921.htmlJDK 1.7 基本概念和目录结构参考资料：http://blog.csdn.net/kindazrael/article/details/7270673 http://docs.oracle.com/javase/7/docs/inde

2014-03-12 16:56:27 711

转载 Eclipse用法和技巧二十三：查看JDK源码

转自: http://blog.csdn.net/maybe_windleave/article/details/9896501 使用java开发，如果能阅读JDK的经典代码，对自己的水平提高是很有帮助的。笔者在实际工作中总结了两种阅读JDK源码的方式。第一种下载android源代码，直接在android源码代码中，这里的代码虽然不是标准的JDK源码，但是也很不错值得一看。另外一种，就是

2014-03-12 16:51:28 603

原创修改DataNode遇到的问题

调试这块代码的时候遇到一个很奇怪的问题，就是改动的代码加进去后，替换上改动后的hadoop-core-jar包，但是远程调试时发现这部分代码根本没有被执行，日志中也没有写入相应语句，关闭hadoop后重启后依然如此，ps aux查看启动的jar包，确实是我新放上去的那个jar包，折腾了很久还是搞不定，请大神们给指点下啊我怀疑是我的哪个jar包没有替换, 这是ps au

2014-03-12 10:46:39 647

原创修改HDFS遇到的问题

改HDFS遇到个问题，需要每个datanode上面的数据块在当前写入的时候能够知道当前其所属的分布式文件的名称，但是查了代码后发现块所属的文件名只能在namenode包里的BlocksMap才能查到数据块所属文件等一些元数据信息，具体见http://blog.csdn.net/cloudeagle_bupt/article/details/20933045，为了方便所有的块都

2014-03-10 16:51:00 713

转载 HDFS文件元数据信息管理模块

转自: http://blog.csdn.net/sxf_824/article/details/4842196设计思想HDFS中对数据存储的最小单位为block,HDFS会将其存储的大文件打散成很多64M大小的block，并将这些block分别存储在集群中datanode机器上。服务器namenode主要存储文件元数据信息（文件目录结构，具体文件由那些block组

2014-03-10 16:47:18 2744

转载 HDFS源码分析（2）----HDFS源码结构

转自: http://blog.csdn.net/gaoxingnengjisuan/article/details/11177049HDFS源代码分布在16个目录下，它们可以分为四类：1.基础包（包括工具包和安全包）包括工具和安全包。其中，hdfs.util包含了一些HDFS实现需要的辅助数据结构；hdfs.security.token.block和h

2014-03-10 16:17:18 829

转载 NoSQL解决方案比较

NoSQL解决方案比较NoSQL Solution: Evaluation and Comparison: MongoDB vs Redis, Tokyo Cabinet, and Berkeley DB你也许认为这是NoSQL (Not Only SQL)广告宣传的另一个博客。是，这的确是。但是如果这个时候你仍就为寻找一个可行的NoSQL解决方案而苦恼，读完这

2014-03-07 11:06:33 1216

转载 java之BerkeleyDB(二)--绑定(Binding)技术、游标(Cursor)

转自: http://blog.csdn.net/ylf13/article/details/15337957有几个注意的，在BDB数据库里，默认是不能有重复的两个相同的键，当然可以通过config配置sortedDupli...来设置可以，所以在读取数据库值的时候必须考虑两种情况，是否存在相同的键的记录JE provides two basic mechanisms fo

2014-03-07 10:26:36 816

原创 Berkely Db的两个问题

1. 自定义对象和序列化对象的区别. 为啥自定义对象不用序列化了啊? bdb 序列化的目的应该是压缩数据大小吧2. java版本中如何设置存取方式为Hash文件?

2014-03-07 10:19:09 854

原创 MapReduce的容错性

MapReduce的容错性,其思路很简单，出问题的话，重做就是了: 1. map: 重执行 2. reduce: 重执行的话，需要保存中间数据，否则reduce一旦坏了的话，之前的取得的数据全部浪费了，这也是为什么reduce不使用诸如消息机制传递数据的原因。这样map和reduce实现了异步读写，同时其容错也得到了保证。

2014-03-05 17:11:02 1484

转载 chunk block, packet区别

在看hdfs时，经常会碰到block，packet，chunk等概念，下面做个简要介绍：block是最大的，默认为："fs.local.block.size", 32 * 1024 * 1024=32mpacket其次, 默认为："dfs.write.packet.size", 64*1024=64kchunksize 默认为："io.bytes.per.checksum

2014-03-05 17:09:12 7533

转载有限状态机（FSM）的分类

转自: http://book.51cto.com/art/200911/162899.htm有限状态机有两种基本类型：米利（Mealy）机和摩尔（Moore）机，米利机的下一状态和输出取决于当前状态和当前输入；摩尔机的下一状态取决于当前状态和当前输入，但其输出仅取决于当前状态。这两类有限状态机的下一状态和输出都是由组合逻辑电路形成的。1. 米利（Mealy）机

2014-03-04 11:18:37 3656