自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

芒果先生Mango的专栏

专注分布式计算领域相关技术

  • 博客(23)
  • 资源 (6)
  • 收藏
  • 关注

原创 mvn常用命令

Maven依赖查询:  http://mvnrepository.com/  Maven常用命令:  1. 创建Maven的普通java项目:   mvn archetype:create -DgroupId=packageName -DartifactId=projectName 2. 创建Maven的Web项目:     mvn

2013-08-30 17:46:34 1082 1

转载 Linux 常用命令

分类: LINUX常用: 复制为ctrl-shift-c粘贴为ctrl-shift-vtab=补全ctrl+a=开始位置ctrl+e=最后位置ctrl+k=删除此处至末尾所有内容ctrl+u= 删除此处至开始所有内容Ctrl-L -刷新屏幕Ctrl-C -杀死当前任务 较完整: 窗口操作:Shift+Ctrl+

2013-08-27 14:07:26 966

转载 MySQL索引背后的数据结构及算法原理

摘要本文以MySQL数据库为研究对象,讨论与数据库索引相关的一些话题。特别需要说明的是,MySQL支持诸多存储引擎,而各种存储引擎对索引的支持也各不相同,因此MySQL数据库支持多种索引类型,如BTree索引,哈希索引,全文索引等等。为了避免混乱,本文将只关注于BTree索引,因为这是平常使用MySQL时主要打交道的索引,至于哈希索引和全文索引本文暂不讨论。文章主要内容分为三个部分。

2013-08-22 10:46:28 676 1

原创 CentOS下httpd与tomcat整合

有时候需要在Web入口地址中隐藏非80端口,而最常见的方案是整合httpd和tomcat ,下面是通过mod_jk实现httpd和tomcat整合的详细流程,希望对大家有所帮助。OS: CentOS5.7 X64 主要步骤:1.   安装JDK 略2.   安装httpdyum install httpd/etc/init.d/httpd starthttp:

2013-08-17 23:11:47 3032 1

转载 JVM调优总结(十一) - JVM参数大全

Java 6 JVM参数选项大全(中文版)作者:Ken WuEmail: ken.wug@gmail.com转载本文档请注明原文链接 http://kenwublog.com/docs/java6-jvm-options-chinese-edition.htm! 本文是基于最新的SUN官方文档Java SE 6 Hotspot VM Options 编写的译文。主要介绍JVM中

2013-08-17 21:52:57 1451 1

转载 JVM调优总结(十) -调优方法

JVM调优工具Jconsole,jProfile,VisualVMJconsole : jdk自带,功能简单,但是可以在系统有一定负荷的情况下使用。对垃圾回收算法有很详细的跟踪。详细说明参考这里 JProfiler:商业软件,需要付费。功能强大。详细说明参考这里 VisualVM:JDK自带,功能强大,与JProfiler类似。推荐。

2013-08-17 21:45:44 949 1

转载 JVM调优总结(九) -新一代垃圾回收算法

垃圾回收的瓶颈    传统分代垃圾回收方式,已经在一定程度上把垃圾回收给应用带来的负担降到了最小,把应用的吞吐量推到了一个极限。但是他无法解决的一个问题,就是Full GC所带来的应用暂停。在一些对实时性要求很高的应用场景下,GC暂停所带来的请求堆积和请求失败是无法接受的。这类应用可能要求请求的返回时间在几百甚至几十毫秒以内,如果分代垃圾回收方式要达到这个指标,只能把最大堆的设置限制在一个

2013-08-17 21:32:15 712

转载 JVM调优总结(八) -典型配置举例2

常见配置汇总 堆设置  -Xms:初始堆大小  -Xmx:最大堆大小  -XX:NewSize=n:设置年轻代大小  -XX:NewRatio=n:设置年轻代和年老代的比值。如:为3,表示年轻代与年老代比值为1:3,年轻代占整个年轻代年老代和的1/4  -XX:SurvivorRatio=n:年轻代中Eden区与两个Survivor区的比值。

2013-08-17 21:30:25 726

转载 JVM调优总结(七) -典型配置举例1

以下配置主要针对分代垃圾回收算法而言。 堆大小设置年轻代的设置很关键JVM中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制。32位系统下,一般限制在1.5G~2G;64为操作系统对内存无限制。在Windows Server 2003 系统,3.5G物理内存,JDK5.0下测试,最大可设

2013-08-17 21:28:45 734

转载 JVM调优总结(六) 分代垃圾回收详述-2

分代垃圾回收流程示意  选择合适的垃圾收集算法串行收集器 用单线程处理所有垃圾回收工作,因为无需多线程交互,所以效率比较高。但是,也无法使用多处理器的优势,所以此收集器适合单处理器机器。当然,此收集器也可以用在小数据量(100M左右)情况下的多处理器机器上。可以使用-XX:+UseSerialGC打开。   并行收集器  

2013-08-16 12:37:37 746

转载 JVM调优总结(五) 分代垃圾回收详述-1

为什么要分代    分代的垃圾回收策略,是基于这样一个事实:不同的对象的生命周期是不一样的。因此,不同生命周期的对象可以采取不同的收集方式,以便提高回收效率。     在Java程序运行的过程中,会产生大量的对象,其中有些对象是与业务信息相关,比如Http请求中的Session对象、线程、Socket连接,这类对象跟业务直接挂钩,因此生命周期比较长。但是还有一些对象,主要是程序运行过程

2013-08-16 12:36:11 788

转载 JVM调优总结(四) 垃圾回收面临的问题

如何区分垃圾     上面说到的“引用计数”法,通过统计控制生成对象和删除对象时的引用数来判断。垃圾回收程序收集计数为0的对象即可。但是这种方法无法解决循环引用。所以,后来实现的垃圾判断算法中,都是从程序运行的根节点出发,遍历整个对象引用,查找存活的对象。那么在这种方式的实现中,垃圾回收从哪儿开始的呢?即,从哪儿开始查找哪些对象是正在被当前系统使用的。上面分析的堆和栈的区别,其中栈是真正进

2013-08-16 12:31:56 795 1

转载 JVM调优总结(三) 基本垃圾回收算法

可以从不同的的角度去划分垃圾回收算法:按照基本回收策略分引用计数(Reference Counting):比较古老的回收算法。原理是此对象有一个引用,即增加一个计数,删除一个引用则减少一个计数。垃圾回收时,只用收集计数为0的对象。此算法最致命的是无法处理循环引用的问题。 标记-清除(Mark-Sweep):  此算法执行分两阶段。第一阶段从引用根节点开始标记所有

2013-08-16 12:30:11 809 1

转载 JVM 调优总结(二) 一些概念

Java对象的大小    基本数据的类型的大小是固定的,这里就不多说了。对于非基本类型的Java对象,其大小就值得商榷。    在Java中,一个空Object对象的大小是8byte,这个大小只是保存堆中一个没有任何属性的对象的大小。看下面语句:Object ob = new Object();    这样在程序中完成了一个Java对象的生命,但是它所占的空间为:4byte

2013-08-16 12:21:57 686 1

转载 JVM调优总结(一) 一些概念

数据类型    Java虚拟机中,数据类型可以分为两类:基本类型和引用类型。基本类型的变量保存原始值,即:他代表的值就是数值本身;而引用类型的变量保存引用值。“引用值”代表了某个对象的引用,而不是对象本身,对象本身存放在这个引用值所表示的地址的位置。基本类型包括:byte,short,int,long,char,float,double,Boolean,returnAddress引用类

2013-08-16 12:19:41 808 1

原创 Hadoop Exit Code 含义

经常遇到的exception是:1.PipeMapRed.waitOutputThreads(): subprocess failed with code N  ............2.Task process exit with nonzero status of  N ............java.lang.Throwable: Child Errorat

2013-08-15 15:25:38 9920

转载 JVM GC调优

1、基本概念heap=young+old,不包括perm区young=eden + from_survivor + to_survivor,实际可用的大小是eden + to_survivor串行收集器-单cpu使用,相对高效并行收集器-多cpu,吞吐量优先时使用并发收集器-多cpu,停顿时间优先时使用(web应用一般用这个)2、基本JVM参数

2013-08-15 07:12:38 1333 1

原创 Java Project报错:Access restriction is not accessible due to restriction on required library

编译hadoop时这几行报错:import com.sun.security.auth.NTUserPrincipal;import com.sun.security.auth.UnixPrincipal;import com.sun.security.auth.module.Krb5LoginModule;错误提示为:Access restriction: The typ

2013-08-13 19:09:00 1801

原创 hadoop 分布式缓存

概念:reduce-side join技术是灵活的,但是有时候它仍然会变得效率极低。由于join直到reduce()阶段才会开始,我们将会在网络中传递shuffle所有数据,而在大多数情况下,我们会在join阶段丢掉大多数传递的数据。因此我们期望能够在map阶段完成整个join操作。主要技术难点:在map阶段完成join的主要困难就是mapper可能需要与一个它自己不能获得的数据进行j

2013-08-13 16:11:37 937

原创 Sort使用Tab作为分隔符

[hadoop@YZSJHL19-42 ~]$ sort -t '\t' -nrk2 f1.txt sort: multi-character tab `\\t'[hadoop@YZSJHL19-42 ~]$ sort -t $'\t' -nrk2 f1.txt a 30d 20b 50 d f 10使用 $'\t' 代替 '\t'表示tabsort -t $'\t

2013-08-13 11:38:42 1948

转载 JVM参数调优

堆大小设置JVM 中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制。32位系统下,一般限制在1.5G~2G;64为操作系统对内存无限制。我在Windows Server 2003 系统,3.5G物理内存,JDK5.0下测试,最大可设置为1478m。典型设置:java -Xmx3550m -Xms355

2013-08-12 10:09:07 571

转载 jstat 详解

jstat       1. jstat -gc pid            可以显示gc的信息,查看gc的次数,及时间。            其中最后五项,分别是young gc的次数,young gc的时间,full gc的次数,full gc的时间,gc的总时间。      2.jstat -gccapacity pid           

2013-08-11 09:26:08 986

转载 Hadoop distcp 跨集群迁移数据

Hadoop中一个distcp  2011-05-27 13:47:51|  分类:默认分类 |字号 订阅hadoop中有一个叫做distcp(分布式复制)的有用程序,能从hadoop的文件系统并行复制大量数据。distcp一般用于在两个HDFS集群中传输数据。如果集群在hadoop的同一版本上运行,就适合使用hdfs方案:   % hadoop d

2013-08-01 14:28:42 5099 1

Myeclipse配置GWT

文档里详细描述了如何在Myeclipse10中配置GWT,希望对大家有帮助

2013-07-25

wingide4.1及破解文件

1、先到http://wingware.com/downloads/wingide下载最新版本的IDE. 2、安装之前,先修改时间到一个月前。 3、安装 4、安装之后然后获取试用版的License。然后关闭WingIDE。 5、将破解文件abstract.pyo 放置破解文件abstract.pyo于安装目录\bin\2.5\src\process,比如C:\ProgramFiles\Wing IDE 4.1\bin\2.5\src\process。 6、修改时间为当前时间,重启WING ide就已经破解

2013-06-23

hbase权威指南.pdf

hbase 权威指南,涵盖hbase-0.94版本的内容,内容还是比较全面的,很强大

2013-01-22

hadoop1.0.3_api.chm

hadoop1.0.3的API帮助文档,学习hadoop Api的好帮手

2013-01-22

jdk1.6 source 包

jdk1.6.0.13的源码包,在Eclipse中和jdk的jar包关联后可以方便的查看jdk类的源码

2013-01-22

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除