- 博客(36)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 awk
在括号中需要转义$，例ssh dsjhd035 "jps | wk '/DataNode/{print \$1}'| xargs -I f echo f"
2015-01-22 15:19:31
119
原创 linux ps
ps显示活动进程的信息，如果想重复的显示进程的信息，可以使用top代替ps。 ps接受几种option1.UNIX options，which may be grouped并且必须以破折号开头。2.BSD options，which may be grouped并且不能以破折号开头。3.GNU long options，必须以两个破折号开头。 不同的Options...
2013-10-18 14:10:27
144
原创 hbase的Scan和Get的blockCacheHitRatio区别
看regionserver的监控页面，发现顺序取值使用Get时的blockCacheHitRatio较高。而使用Scan时blockCacheHitRatio低了不少。查看源代码发现参考AbstractHFileReader.Scanner类（HFileScanner的子类）中。//这里的blockBuffer，即是blockprotected ByteBuffer block...
2013-10-08 14:24:06
496
原创 hbase的snappy安装
自己编译了hbase的snappy包，出现了几个问题。主要是报UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy 参考http://grokbase.com/t/hbase/user/13435f3f02/failing-to-get-snappy-working-hou...
2013-09-23 18:10:29
165
原创 hadoop的Text中文编码
在TextInputFormat中调用了LineRecordReader，接着又调用了LineReader，方法readDefaultLine方法中直接使用的Text直接加入的从文件中读取的bytes，其中并没有转换。如果原始的text文件如果是中文的话，再取出来的时候就不能使用Bytes.toString(final byte [] b)来转换了，因为这个方法里面使用的utf8来解码的。...
2013-09-04 16:05:14
232
原创 一个region server的region个数问题
一个Region Server的region个数少点比较好，一般从20到几百个。0.90.x中upper-bound of regionsize是4GB，0.92.x中因为HFile v2，可以支持到更大，如20GB。一个Region Server保持较小的Region Server原因如下： 1、MSLAB每个memstore需要2mb。如果有2个 families，1000 regi...
2013-09-01 13:28:13
835
原创 本机mysql连接的问题
在linux上面，hive和mysql server配置在同一台机子上面，用shell时一直报这个错误。Access denied for user 'root'@'localhost' (using password: YES)在window上面写个简单的java程序连接正常。。查了半天，发现users表里面有两条记录。host ...
2013-08-21 16:33:44
120
原创 使用maven编译hadoop 2.0.5时的问题
按文档安装一堆好不容易安装完了。编译的时候总是报这个错误，因为对maven不熟，弄了半天。[ERROR] symbol: class Parser[ERROR] location: package com.google.protobuf/app/tools/hadoop-2.0.3-alpha-src/hadoop-hdfs-project/hadoop-hdfs/target...
2013-08-20 16:48:46
137
原创 博客blog
map和reduce 个数的设定 （Hive优化）经典http://blog.sina.com.cn/s/blog_9f48885501017dua.html
2013-07-16 16:21:00
100
原创 hadoop hbase的datanode分离
本来搭建了一个mapreduce集群，使用了hbase。但需要将mapreduce分成两个，一个专门跑优先级高的任务，另一个专门跑优先级低的任务。但因为hbase的原因，hdfs却不能分成两个，考虑配置hdfs的slaves配置文件conf/slaves，修改为conf/slaves_hdfs。待测试。 ...
2013-05-07 14:12:34
216
原创 hbase的client和server部署在同一台机子，查询响应慢的问题。
主要修改了server端的tcpnodelay为false，就解决这个问题了。tcpnodelay为false时的tcpdump为(有40ms的延迟)16:17:00.576582 IP linux-idy0.48538 > linux-idy0.60020: P 5434:5643(209) ack 247472 win 387 <nop,nop,timestamp 56...
2013-04-03 11:29:42
289
原创 转:一款用window.name产生前台session存储的js插件
原文地址: http://www.thomasfrank.se/sessionvars.html译者： selfimpr博客： http://blog.csdn.net/lgg201邮箱： lgg860911@yahoo.com.cn 插件源代码解析： http://blog.csdn.net/lgg201/archive/2010/09/23/5902274.as...
2012-09-27 18:45:54
105
原创 多个div一行，居中
<table align="center" style="text-align:center;"> <tr > <td > <div align="center" style="text-align:center"> <div style="float:left"
2012-09-27 15:33:41
204
原创 html常用的换行控制
text-overflow: clip | ellipsisclip : 不显示省略标记（...），而是简单的裁切 ellipsis : 当对象内文本溢出时显示省略标记（...）。需要配合white-space:nowrap使用。为了使 ellipsis 值被应用，此属性必须被设置到具有不可视区域的对象。最好的选择是设置 overflow 属性为 hidden 。设置 overflow 属性为...
2012-09-21 15:17:26
215
原创 hashcode作用
hashcode主要是给HashSet、HashMap等使用的。如HashMap存储时，会根据key的hashcode计算得到一个index，存放在Entry[index]中。如果hashcode相同，但equals方法不相同时，在Entry[index]中实际存放的是一个链表。由此可以看出，如果hashcode重复较多，equals方法不相同时，效率较低如果equals相同，但hashc...
2012-09-20 16:50:09
104
原创 转：查看占io的进程
查找是那个进程的io高，一直cpu等待。切换到root权限用户。执行脚本a.sh#!/bin/sh/etc/init.d/syslog stopecho 1 > /proc/sys/vm/block_dumpsleep 60dmesg | awk '/(READ|WRITE|dirtied)/ {process[$2]++} END {for (x in process...
2012-09-07 14:02:24
130
原创 转:java如何定位cpu占用较高
流程：把线程dump出来，然后分析1：Threaddump的方法：kill -3 pid jstack -l pid jvisualvm中来thread dump 2：找到导致cpu高的线程top -H -p pid PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND ...
2012-09-07 13:58:42
95
原创 the bird and the worm
If you're the bird whenever we pretend it's summer如果你是鸟，每当我们假装这是夏天Then I'm the worm, I know the part, it's such a bummer然后，我是虫，我知道的部分，它是这样一个无赖But fair is fair, if my segments get separated但是...
2012-09-06 12:39:45
138
原创 java编码笔记
bit称为位:只能拥有一个值，不是0就是1Byte称为字节,包括8个bit.一个英文字符占一个字节Char:字符,表示一个 Unicode 字符,占两个字节，即16 位(bit).范围为从十六进制值 0x0000 到 0xFFFFunicode都是以16进制表示.getBytes是ascii码表示的.\u是指uniode码 一个16进制占用4个bit,2个16进制为一个字节。 AN...
2012-09-02 21:23:58
87
原创 面向对象分析与设计
全书分为理论和应用两部分。理论部分深刻剖析了面向对象分析与设计（OOAD）的概念和方法。应用部分连续列出了5 个不同类型、不同领域的应用，描述如何从初始阶段到交付阶段，将OOAD 理论和方法应用到项目中。本书分成3 篇：概念、方法和应用，其中穿插了大量的补充材料。概念第 1 篇研究软件的内在复杂性及其表现方式。本书将对象模型作为一种手段来帮助我们管理这种复杂性，详细地研究了对象模型的基...
2012-08-31 17:05:54
256
原创 重构笔记
不改变软件行为只是重构的基本要求。要想真正让重构发挥威力，就必须做到“不需了解软件行为”。那些最需要重构的代码，你只能看到其中的坏味道，接着选择对应的重构手法来消除这些坏味道，然后才有可能理解它的行为。而这整个过程之所以可行，全赖你在脑子里记录着一份坏味道与重构手法的对应表。记住所有的坏味道，记住它们对应的重构手法，记住常见的重构步骤。代码被阅读和修改的次数远远多于它被编写的次数。保持代码...
2012-08-31 00:27:55
86
原创 mr本地任务多线程的问题
Job.setMapperClass(xxx.class)：实际上设置的是mapreduce.map.class，即New。JobConf.setMapperClass(xxx.class)：实际上设置的是mapred.mapper.class，即Old。而job的setUseNewAPI中String oldMapperClass = "mapred.mapper.class";...
2012-08-28 15:38:20
183
原创 转:为什么getter / setter 方法是邪恶的？
我并不想开始一个“邪恶的”系列文章,但是一些读者要我解释为什么上个月的专栏中提及要避免使用 get/set方法,“为什么extends是邪恶的？” 虽然getter/setter方法在java里处处可见，但它们不是完全OO的，实际上，它们会破坏你代码的可维护性，而且，当你的程序并不需要一个从OO方面来讲很好的的设计时。大量存在的getter 和setter方法是一个危险的信号。这篇文章解...
2012-08-22 14:32:33
156
原创 刘备生平
琢郡刘备幼年丧父，是公务员。刘备辍学卖草鞋，15岁不再卖草鞋，母亲让其去受教育，自己卖草鞋。拜卢植为师，学儒学，与公孙瓒为同学，交厚。两年后卢植离开出任太守，公孙瓒去辽西，刘备回家。期间遇到贩马的帮助得到钱。关羽为朋友杀人是逃犯，并州人。遇到刘备，张飞地主，简雍幽默。汉朝举荐，战国贵族世袭，但被官僚集团垄断，因此追求战功。张角造反，有医术，建立太平道，汉灵帝刘宏镇压。刘备24岁，大...
2012-08-21 21:18:09
438
原创 new file("")的结果分析
System.out.println(new File("").getAbsolutePath());即是user.dir的路径，分析代码如下 //File类的初始化public File(String pathname) { if (pathname == null) { throw new NullPointerException(); }...
2012-08-16 19:39:15
392
原创 转：为什么extends是有害的
概述 大多数好的设计者象躲避瘟疫一样来避免使用实现继承(extends 关系)。%80的代码应该完全用interfaces写，不用具体的基类。事实上，四人帮的设计模式的书大量的关于怎样用interface继承代替实现继承。这个文章描述设计者为什么有这样的怪癖的想法。 Extends是有害的；也许对于Charles Manson这个级别的不是，但是足够糟糕的它应该在任何的可能的时候被避开。四...
2012-08-14 14:50:00
107
原创 nfs option
soft / hard Determines the recovery behavior of the NFS client after an NFS request times out. If neither option is specified (or if the hard option is specified), NFS requests are retried indef...
2012-08-14 09:59:29
128
原创 明朝皇帝
1. 明太祖朱元璋年号洪武1368年——1398年，废除丞相制。策划了著名的“明初四大案”，即经济领域的“空印案”和“郭桓案”，政治领域的“胡惟庸案”和“蓝玉案”。郭桓案：户部侍郎郭桓等人，通同各直省的官吏zuobi，盗卖官粮。对此，明太祖将六部左右侍郎以下皆处死，各省官吏死于狱中达数万人以上。2. 明惠宗朱允炆太子朱标在盛年时死去，由朱标长子朱允炆继承...
2012-08-10 22:29:48
2133
原创 零散笔记
充血模型和贫血模型我觉得既然是面向对象编程，自然应该是充血模型。但是方法是不是应该属于该对象可能不好判断。如发贴动作，就不应该属于贴子这个对象聚合和组合等聚合表示被聚合的类可以离开另一个类独立存在，而组合则相反。这是视问题域而定的，例如在关心汽车的领域里，轮胎是一定要组合在汽车类中的，因为它离开了汽车就没有意义了。但是在卖轮胎的店铺业务里，就算轮胎离开了汽车，它也是...
2012-07-31 19:03:27
67
原创 mg4j的理解
mg4j是个类似于lucene的全文检索包，发现网上的资料很少，稍微总结下心得。 1、DocumentSequence：A sequence of documents 主要包含方法 DocumentFactory factory() DocumentIterator iterator() 2、it.unimi.di.big.mg4j.document. DocumentIterator...
2012-07-28 21:03:55
168
java.text.Format体系总结
[color=green]1.1. Format的方法[/color]java.text.Format做为一个抽象类，有二个抽象方法，format(Object obj, StringBuffer toAppendTo, FieldPosition pos)：格式化一个对象，并将得到的文本追加到给定的字符缓冲区。是将obj格式化为字符串，并加入到toAppendTo中。parseObj...
2009-06-10 23:27:28
226
struts的exception拦截器,在ajax时的问题
在使用ext2.0的控件，比较grid时，如果后台抛出了系统异常。前台就挂了。没有什么反应。看了ExceptionMappingInterceptor的源码，是没有对ajax的处理。返回的是jsp页面。对于ajax的调用，这种返回是不能进行页面跳转的。也没有找到什么现成的解决办法。对于普通的ajax调用，估计需要修改ExceptionMappingInterceptor类，判断是a...
2009-06-08 20:25:49
74
前台乱码问题总结
使用的环境:tomcat5.5,ext2.0,编码全是utf-8,包括eclipse中js,jsp文件的编码在表单输入中含有中文和URI中含中文,都会出现乱码..但这两种情况的是不一样的..所以要分清楚..1.URI中含中文经过多次实验,发现用URI包含中文时,必须使用encodeURI或encodeURIComponent,否则无论后台怎么处理都会是乱码.其中encodeUR...
2009-05-08 18:21:15
161
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人