- 博客(18)
- 收藏
- 关注
RSS订阅原创 HDFS源码阅读(2)--DataNode实现
DatanodeIDDatanodeID用于唯一标识一个Datanode节点DatanodeInfoDatanodeInfo存储了一个Datanode的相关状态信息
2013-11-18 17:32:37
585
原创 Sqoop bug
发现一个sqoop的bug.org.apache.sqoop.lib.RecordParser public List parseRecord(CharBuffer input)在此方法中，如果某个field结尾有许多ascii值为0的char,会造成当遇到fieldDelim的时候，无法将state重置为FIELD_START,造成两个字段会被识别为一个字段...
2013-11-14 11:51:39
149
原创 Sqoop问题总结
今天发现使用sqoop导入db的时候JOB失败，有异常数据导致的，但是如何根据日志中的异常堆栈信息定位到异常数据呢？每次通过sqoop导入MySql的时，都会生成一个以MySql表命名的.java文件，然后打成JAR包，给sqoop提交给hadoop 的MR来解析Hive表中的数据。那我们可以根据报的错误，找到对应的行，改写该文件，编译，重新打包，sqoop可以通过 -jar-file ，--...
2013-11-13 14:11:16
455
原创 HDFS源码阅读(1)--NameNode实现
INodeINode类在Namenode中代表了文件的树状结构，就是HDFS的Namespace在内存中的抽象映射，INode是一个抽象类，派生类INodeDirectory代表HDFS中的目录，INodeFile代表HDFS中的文件。INode定义了文件和目录的一些共用的字段。INode有两个内部类。PermissionStatusFormat是一个枚举类，主要是根据INode中的p
2013-11-11 16:27:38
473
原创 hadoop Name node is in safe mode解决方案
使用hadoop fs命令对hdfs进行写操作时，会报:Name node is in safe mode错误，造成无法读写，刚开始去网上搜了一些资料，使用命令 hdfs dfsadmin -safemode leave进行解决，但是namenode始终处于safe mode模式，也无法关闭。后来df -ah发现是因为磁盘100%的原因，释放磁盘空间后，关掉safe mode模式，问题解决...
2013-10-21 11:18:56
182
1
原创 scribe安装(转载)
上一篇简要的了解了scribe的原理，这个一篇可以实践一下scribe。scribe在安装的时候依赖关系还是蛮多的，官方解释如下： [libevent] Event Notification library [boost] Boost C++ library (version 1.36 or later) [thrift] Thrift framework (ve...
2013-04-25 16:18:14
144
原创 Java文件监控方式(转载)
有三种方式：1、java common.io 内部实现是遍历的方式，小文件夹的效率还好，比如我测试60G的目录，就很慢很慢了。2、jdk 7 的watch service //没有测试3、jnotify 直接调用windows的api，效率很高，也很简单，推荐使用。---------------------------------...
2013-04-25 09:17:49
175
原创 Storm的一些运维经验
今天的实时数据跑的不正确，看了下worker的日志，发现是worker重启造成的数据重复计算。但是又查找不到相关worker挂掉的证据。继续看supervisor的日志，发现在worker与zookeeper通信时出现了time out的现象，supervisor shutting down了worker,并重启lanuching了worker,于是想到做了时间校时，造成了worker与zooke...
2012-11-15 16:08:14
230
原创 JAVA启动参数大全之三：非Stable参数
转载自:http://blog.csdn.net/sawxb/article/details/4269007 前面我们提到用-XX作为前缀的参数列表在jvm中可能是不健壮的，SUN也不推荐使用，后续可能会在没有通知的情况下就直接取消了；但是由于这些参数中的确有很多是对我们很有用的，比如我们经常会见到的-XX:PermSize、-XX:MaxPermSize等等；下面我们将就Jav...
2012-10-29 18:37:03
94
原创 JAVA启动参数大全之二：非标准参数
转载自:http://blog.csdn.net/sawxb/article/details/4269007 非标准参数又称为扩展参数，其列表如下：-Xint 设置jvm以解释模式运行，所有的字节码将被直接执行，而不会编译成本地码。-Xbatch 关闭后台代码编译，强制在前台编译，编译完成之后才能进行代码执行；默认情况下，jvm在后台进行编译，若没有编译完成，则前台...
2012-10-29 18:35:32
82
原创 JAVA启动参数大全之一：标准参数
转载自:http://blog.csdn.net/sawxb/article/details/4269007java启动参数共分为三类；其一是标准参数 （-），所有的JVM实现都必须实现这些参数的功能，而且向后兼容；其二是非标准参数 （-X），默认jvm实现这些参数的功能，但是并不保证所有jvm实现都满足，且不保证向后兼容；其三是非Stable参数 （-XX），此类参数各个jv...
2012-10-29 18:34:40
106
原创 exec(),spawn(),system()的区别
在一个程序里面运行另一个程序的最简单的方法是把它们依次列入一个批处理文件(扩展名为.BAT的文件)，在执行该批处理文件时，其中所列程序就会自动运行。 在C或DOS中，都没有一种特定的方法来完成“在一个程序结束后运行另一个程序”这样一种函数调用。然而，C提供了两组函数，它们允许一个程序随时可以运行另一个程序，而后者的运行将结束前者的运行。如果你将这样的函数调用放在第一个程序的末尾，就能...
2012-10-29 18:33:08
1095
原创 rsync启动报错error while loading shared libraries: libiconv.so.2
转载http://blog.chinaunix.net/uid-23354495-id-3111498.html#源码包存放目录cd /usr/local/src #下载源码包wget -c http://rsync.samba.org/ftp/rsync/src/rsync-3.0.9.tar.gz #解压缩及配置,编译,安装tar -xzvf rsync-3...
2012-10-10 18:32:23
350
原创 Mongodb的一些运维经验
这里记录一些mongodb在日常使用中遇到的一些问题1.MongoDB做了replica sets之后,secondary节点出现recovering状态官方的解释：You don't need to repair, simply perform a full resync.On the secondary, you can: stop the faile...
2012-10-10 10:00:24
247
原创 MySQL锁的优化
转载至http://see.xidian.edu.cn/cpp/html/1481.html一、获取锁等待情况可以通过检查table_locks_waited和table_locks_immediate状态变量来分析系统上的表锁定争夺：mysql> show status like 'Table%';+----------------------------+---------...
2012-10-08 10:57:32
105
原创 理解java String的一些不错文章收藏
http://hxraid.iteye.com/blog/522167http://renxiangzyq.iteye.com/blog/549554http://yiliner.iteye.com/blog/207723http://topic.csdn.net/u/20091203/09/5390b332-2f4b-4366-af93-9688b5b982c3.htmlhttp...
2012-08-17 14:59:08
75
原创 InputStream一些细节
Java InputStream 的mark 和reset操作mark用于标记当前位置；在读取一定数量的数据(小于readlimit的数据)后使用reset可以回到mark标记的位置。FileInputStream不支持mark/reset操作；BufferedInputStream支持此操作；mark(readlimit)的含义是在当前位置作一个标记，制定可以重新读取的最大字...
2012-08-17 14:36:41
199
原创 java编程思想的一些笔记
异常与继承的关系Java子类若重定义父类中的方法，子类方法中抛出的异常也必须是父类方法抛出的异常的子类，或者不抛出异常。若父类方法中没有抛出异常，则子类方法中不得抛出异常。在调用子类对象重写的方法时，只需处理子类中抛出的异常。...
2012-08-15 11:17:14
54
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人