- 博客(17)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 转：Java下利用Jackson进行JSON解析和序列化
Java下常见的Json类库有Gson、JSON-lib和Jackson等，Jackson相对来说比较高效，在项目中主要使用Jackson进行JSON和Java对象转换，下面给出一些Jackson的JSON操作方法。 一、准备工作 首先去官网下载Jackson工具包，下载地址http://wiki.fasterxml.com/JacksonDownload。Jackson有1.x系列和2....
2015-04-20 18:01:41
94
原创 非对称加密算法RSA
非对称加密算法RSA 转：http://snowolf.iteye.com/blog/381767 RSA流程分析： 甲方构建密钥对儿，将公钥公布给乙方，将私钥保留。 甲方使用私钥加密数据，然后用私钥对加密后的数据签名，发送给乙方签名以及加密后的数据；乙方使用公钥、签名来验证待解密数据是否有效，如果有效使用公钥对数据解密。 乙方使用公钥加密数据，向甲方发送经过加密后的数据；甲...
2015-04-17 10:21:03
134
原创 Java之美[从菜鸟到高手演变]之JVM内存管理及垃圾回收
很多Java面试的时候，都会问到有关Java垃圾回收的问题，提到垃圾回收肯定要涉及到JVM内存管理机制，Java语言的执行效率一直被C、C++程序员所嘲笑，其实，事实就是这样，Java在执行效率方面确实很低，一方面，Java语言采用面向对象思想，这也决定了其必然是开发效率高，执行效率低。另一方面，Java语言对程序员做了一个美好的承诺：程序员无需去管理内存，因为JVM有垃圾回收（GC），会去自动...
2015-03-11 15:43:40
119
原创 JVM 垃圾回收算法的简单介绍
引用计数器算法 根搜索方法 标记清除算法Mark-Sweep 复制算法Copying 标记整理算法Mark-Compact 分代收集Generational Collection 在说垃圾回收算法之前，先谈谈JVM怎样确定哪些对象是“垃圾”。 1.引用计数器算法： 引用计数器算法是给每个对象设置一个计数器，当有地方引用这个对象的时候，计数器+1，当引用失效的时候，计数器-...
2015-03-11 15:39:11
79
原创 hadoop中fsimage和edits的区别
1、概念： fsimage保存了最新的元数据检查点。 edits保存自最新检查点后的命名空间的变化。 2、工作原理： 从最新检查点后，hadoop将对每个文件的操作都保存在edits中，为避免edits不断增大，secondary namenode就会周期性合并fsimage和edits成新的fsimage，edits再记录新的变化。 这种机制有个问题：因edits存放在Namenod...
2015-03-10 17:40:11
553
原创 Flume OG 与 Flume NG 的对比
很久没接触flume了，刚掀开官网一看，发现flume已然不是以前的那个flume了，其实早在flume技术群就听到NG这个字眼，以前没特注意，今天做了些对比，发现flume确实有了投胎换骨般的改变。首先介绍下Flume OG & Flume NG这两个概念 Flume OG:Flume original generation 即Flume 0.9.x版本 Flume NG:Flum...
2015-03-04 18:25:42
496
原创 hbase分页的简单实现
参照博客：http://ronxin999.blog.163.com/blog/static/422179202013621111545534/ 提供了两种解决思路，这里使用的是第一种 这里使用hbase的PageFilter实现简单的分页 分页过滤，通过设置pagesize参数可以返回每一页page的数量。 客户端需要记住上一次访问的row的key值。 pa...
2015-03-03 15:46:15
401
原创 Hadoop安装遇到的各种异常及解决办法
异常一: 2014-03-13 11:10:23,665 INFO org.apache.Hadoop.ipc.Client: Retrying connect to server: Linux-hadoop-38/10.10.208.38:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixe...
2015-03-03 14:26:44
286
原创 Hadoop管理员的十个最佳实践
接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的NameNode和JobTracker内存溢出故障，也有HDFS存储小文件问题，既有任务调度问题，也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷（短板），有些则是使用的不当。 在解决问题的过程中，有时需要翻源码，有时会向同事、网友请教，遇到复杂问题则会通过mail list向全球各地Hadoop使用者,包...
2015-03-03 12:08:19
84
原创 Hbase中的Coprocessor
Hbase总结（八）Hbase中的Coprocessor 1.起因(Why HBase Coprocessor) HBase作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(<0.92)Hbase中，统计数据表的总行数，需要使用Counter方法，执行一次MapReduce Job才能得到。虽然HBase在数据存...
2015-03-03 11:44:34
97
原创 转：Hbase 性能优化
因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。 配置优化 zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServe...
2015-03-02 10:25:28
88
原创 单点登录原理
随着SSO技术的流行，SSO的产品也是满天飞扬。所有著名的软件厂商都提供了相应的解决方案。在这里我并不想介绍自己公司（Sun Microsystems）的产品，而是对SSO技术本身进行解析，并且提供自己开发这一类产品的方法和简单演示。有关我写这篇文章的目的，请参考我的博客（http://yuwang881.blog.sohu.com/3184816.html）。 单 点登录的机制其实是比较...
2015-02-28 15:48:36
75
原创 转：reduce端缓存数据过多出现FGC，导致reduce生成的数据无法写到hdfs
转这个目的，是因为该贴子中调优思路不错，值得学习 搜索推荐有一个job，1000多个map，200个reduce，运行到最后只剩一个reduce（10.39.6.130上）的时候，出现以下异常，导致job失败： 2014-12-04 15:49:04,297 INFO [main] org.apache.hadoop.mapred.Merger: Down to t...
2015-02-14 02:20:15
127
原创 转：MapReduce核心Shuffle的原理
mapreduce是hadoop的核心之一，mapreduce经常让我们产生各种困惑，我们只是知道什么是map，什么是renduce，甚至我们已经熟悉了mapreduce编程，但是内部的原理还是不明白,本文记录的是大概的原理深入的细节不做描述，请查看相关资料。 Shuffle的正常意思是洗牌或弄乱，可能大家更熟悉的是Java API里的Collections.shuffl...
2015-02-07 09:56:06
83
mysql驱动包
2011-09-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人