- 博客(17)
- 资源 (1)
- 收藏
- 关注
原创 转:Java下利用Jackson进行JSON解析和序列化
Java下常见的Json类库有Gson、JSON-lib和Jackson等,Jackson相对来说比较高效,在项目中主要使用Jackson进行JSON和Java对象转换,下面给出一些Jackson的JSON操作方法。 一、准备工作 首先去官网下载Jackson工具包,下载地址http://wiki.fasterxml.com/JacksonDownload。Jackson有1.x系列和2....
2015-04-20 18:01:41 106
原创 非对称加密算法RSA
非对称加密算法RSA 转:http://snowolf.iteye.com/blog/381767 RSA流程分析: 甲方构建密钥对儿,将公钥公布给乙方,将私钥保留。 甲方使用私钥加密数据,然后用私钥对加密后的数据签名,发送给乙方签名以及加密后的数据;乙方使用公钥、签名来验证待解密数据是否有效,如果有效使用公钥对数据解密。 乙方使用公钥加密数据,向甲方发送经过加密后的数据;甲...
2015-04-17 10:21:03 145
原创 Java之美[从菜鸟到高手演变]之JVM内存管理及垃圾回收
很多Java面试的时候,都会问到有关Java垃圾回收的问题,提到垃圾回收肯定要涉及到JVM内存管理机制,Java语言的执行效率一直被C、C++程序员所嘲笑,其实,事实就是这样,Java在执行效率方面确实很低,一方面,Java语言采用面向对象思想,这也决定了其必然是开发效率高,执行效率低。另一方面,Java语言对程序员做了一个美好的承诺:程序员无需去管理内存,因为JVM有垃圾回收(GC),会去自动...
2015-03-11 15:43:40 130
原创 JVM 垃圾回收算法的简单介绍
引用计数器算法 根搜索方法 标记清除算法Mark-Sweep 复制算法Copying 标记整理算法Mark-Compact 分代收集Generational Collection 在说垃圾回收算法之前,先谈谈JVM怎样确定哪些对象是“垃圾”。 1.引用计数器算法: 引用计数器算法是给每个对象设置一个计数器,当有地方引用这个对象的时候,计数器+1,当引用失效的时候,计数器-...
2015-03-11 15:39:11 88
原创 hadoop中fsimage和edits的区别
1、概念: fsimage保存了最新的元数据检查点。 edits保存自最新检查点后的命名空间的变化。 2、工作原理: 从最新检查点后,hadoop将对每个文件的操作都保存在edits中,为避免edits不断增大,secondary namenode就会周期性合并fsimage和edits成新的fsimage,edits再记录新的变化。 这种机制有个问题:因edits存放在Namenod...
2015-03-10 17:40:11 563
原创 Flume OG 与 Flume NG 的对比
很久没接触flume了,刚掀开官网一看,发现flume已然不是以前的那个flume了,其实早在flume技术群就听到NG这个字眼,以前没特注意,今天做了些对比,发现flume确实有了投胎换骨般的改变。首先介绍下Flume OG & Flume NG这两个概念 Flume OG:Flume original generation 即Flume 0.9.x版本 Flume NG:Flum...
2015-03-04 18:25:42 504
原创 hbase分页的简单实现
参照博客:http://ronxin999.blog.163.com/blog/static/422179202013621111545534/ 提供了两种解决思路,这里使用的是第一种 这里使用hbase的PageFilter实现简单的分页 分页过滤,通过设置pagesize参数可以返回每一页page的数量。 客户端需要记住上一次访问的row的key值。 pa...
2015-03-03 15:46:15 411
原创 Hadoop安装遇到的各种异常及解决办法
异常一: 2014-03-13 11:10:23,665 INFO org.apache.Hadoop.ipc.Client: Retrying connect to server: Linux-hadoop-38/10.10.208.38:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixe...
2015-03-03 14:26:44 302
原创 Hadoop管理员的十个最佳实践
接触Hadoop有两年的时间了,期间遇到很多的问题,既有经典的NameNode和JobTracker内存溢出故障,也有HDFS存储小文件问题,既有任务调度问题,也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷(短板),有些则是使用的不当。 在解决问题的过程中,有时需要翻源码,有时会向同事、网友请教,遇到复杂问题则会通过mail list向全球各地Hadoop使用者,包...
2015-03-03 12:08:19 98
原创 Hbase中的Coprocessor
Hbase总结(八)Hbase中的Coprocessor 1.起因(Why HBase Coprocessor) HBase作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”,难以执行求和、计数、排序等操作。比如,在旧版本的(<0.92)Hbase中,统计数据表的总行数,需要使用Counter方法,执行一次MapReduce Job才能得到。虽然HBase在数据存...
2015-03-03 11:44:34 109
原创 转:Hbase 性能优化
因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。 配置优化 zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServe...
2015-03-02 10:25:28 98
原创 单点登录原理
随着SSO技术的流行,SSO的产品也是满天飞扬。所有著名的软件厂商都提供了相应的解决方案。在这里我并不想介绍自己公司(Sun Microsystems)的产品,而是对SSO技术本身进行解析,并且提供自己开发这一类产品的方法和简单演示。有关我写这篇文章的目的,请参考我的博客(http://yuwang881.blog.sohu.com/3184816.html)。 单 点登录的机制其实是比较...
2015-02-28 15:48:36 85
原创 转:reduce端缓存数据过多出现FGC,导致reduce生成的数据无法写到hdfs
转这个目的,是因为该贴子中调优思路不错,值得学习 搜索推荐有一个job,1000多个map,200个reduce,运行到最后只剩一个reduce(10.39.6.130上)的时候,出现以下异常,导致job失败: 2014-12-04 15:49:04,297 INFO [main] org.apache.hadoop.mapred.Merger: Down to t...
2015-02-14 02:20:15 137
原创 转:MapReduce核心Shuffle的原理
mapreduce是hadoop的核心之一,mapreduce经常让我们产生各种困惑,我们只是知道什么是map,什么是renduce,甚至我们已经熟悉了mapreduce编程,但是内部的原理还是不明白,本文记录的是大概的原理深入的细节不做描述,请查看相关资料。 Shuffle的正常意思是洗牌或弄乱,可能大家更熟悉的是Java API里的Collections.shuffl...
2015-02-07 09:56:06 93
mysql驱动包
2011-09-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人