- 博客(28)
- 收藏
- 关注
RSS订阅原创 Java远程通讯可选技术及原理
转自：淘宝毕玄博客在分布式服务框架中，一个最基础的问题就是远程服务是怎么通讯的，在Java领域中有很多可实现远程通讯的技术，例如：RMI、MINA、ESB、Burlap、Hessian、SOAP、EJB和JMS等，这些名词之间到底是些什么关系呢，它们背后到底是基于什么原理实现的呢，了解这些是实现分布式服务框架的基础知识，而如果在性能上有高的要求的话，那深入了解这些技术背后的机制就是必须的了，在这...
2014-08-08 08:52:01
125
原创 JAVA 中BIO,NIO,AIO的理解
【转自】http://qindongliang.iteye.com/blog/2018539在高性能的IO体系设计中，有几个名词概念常常会使我们感到迷惑不解。具体如下： 序号 问题1 什么是同步？2 什么是异步？3 什么是阻塞？4 什么是非阻塞？5 什么是同步阻塞？6 什么是同步非阻塞？7 什么是异步阻塞？8 什么是异步非阻塞？散仙不才，在查了一...
2014-08-06 11:05:55
286
原创 算法汇总
1、调表 skip listRedis 和 LevelDB 都用到 http://blog.csdn.net/likun_tech/article/details/7354306
2014-07-15 14:23:05
97
原创 spring生命周期
http://sexycoding.iteye.com/blog/1046775 开篇先用一张老图描述下Spring中Bean容器的生命周期。 插叙一下，记得某个博文中提到：“Spring的Bean容器只管理非单例Bean的生命周期，单例Bean的生命周期不在管理范围内”，其实我认为这句话恰好说反了。首先明确一点，并非Spring容器中所有的Bean都有生命周期行为，只有接受容...
2014-04-08 18:37:54
90
原创 mapreduce的shuffle，partition，combine
[b]shuffle：[/b] 是描述着数据从map端传输到reduce端的过程，而且我们知道的是hadoop的集群环境中，大部分map task和reduce task是在不同的node上执行，主要的开销是网络开销和磁盘IO开销，因此shuffle的主要作用相当于是 1.完整的从map task端传输到reduce task端。 2.跨节点传输数据时，尽可能减少对带...
2013-02-20 09:50:22
124
原创 jstack和dump分析
jstack和dump分析http://jameswxx.iteye.com/blog/1041173http://blog.csdn.net/wanyanxgf/article/details/6944987
2012-07-08 12:24:09
156
原创 多线程
1.多线程导数据http://www.iteye.com/topic/11170062.多线程断点续传下载文件http://www.iteye.com/topic/4273973.线程安全总结http://hllvm.group.iteye.com/group/wiki/2877-synchronized-volatile...
2012-07-07 16:00:30
79
原创 ThreadPoolExecutor学习
[size=large]一、构造函数[/size]public ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliveTime, ...
2012-05-10 12:10:58
82
原创 java并发编程资料梳理
1.JUC基础：http://www.goldendoc.org/2011/05/juc/2.Java并发编程J.U.C之锁的获取与释放http://www.goldendoc.org/2011/06/lock_acquire_release/3.Java并发编程J.U.C之Condition http://goldendoc.iteye.com/blog/1096763...
2011-10-04 17:05:26
354
原创 hive入门(转)
Hive入门（转）2011-03-29 15:53Hive 是什么 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduc...
2011-06-06 17:03:32
83
原创 hive速查
hive使用速查手册（HQL）hive, hql1： http://wiki.apache.org/hadoop/Hive/LanguageManual介绍基本的hive SQL （HQL）2：http://wiki.apache.org/hadoop/Hive/GettingStartedhive的GettingStarted手册3： https://sv...
2011-06-06 16:45:57
554
原创 hadoop相关备录
1.map/reduce框架介绍，及实例：http://www.360doc.com/content/10/0803/13/2159920_43357680.shtml2.hadoop 0.21.0集群配置http://wenku.baidu.com/view/92cbe435eefdc8d376ee32eb.html3.[b]WordCount 程序分析及eclipse 运行[/b]...
2011-05-27 11:07:52
82
原创 Hadoop配置和使用问题记录
[size=medium][color=blue]最近在本地用cygwin环境来配置和使用hadoop。遇到了一些问题，下面的这篇文章讲的比较全。原文地址：http://shutiao2008.iteye.com/blog/319128如果有补充的，我会补充进去[/color][/size]关于hadoop如何配置的教程网上已经有不少了，配合hadoop主页上的说明，基本可以顺...
2011-04-27 13:20:39
86
原创 Cygwin ssh 故障总结
[size=medium]今天装cygwin，遇到一些问题，这篇文章整理的很全，遇到的问题解决方法基本都有。[/size][问题1] # /usr/local/sbin/sshd/usr/local/sbin/sshd: error while loading shared libraries: libnsl.so.1: cannot open shared object file: ...
2011-04-26 14:59:32
610
原创 Hive学习笔记2--------Hive与数据库的异同（转自淘宝数据平台团队）
Hive 体系结构 Hive 的结构如图所示， 主要分为以下几个部分： 用户接口，包括 CLI，Client，WUI。 元数据存储，通常是存储在关系数据库如 mysql, derby 中。 解释器、编译器、优化器、执行器。 Hadoop：用 HDFS 进行存储，利用 MapReduce 进行计算。 用户接口主要有三个：CLI，Client 和 WUI。...
2011-04-25 11:56:55
78
原创 Hive学习笔记3--------Hive与数据库的异同（转自淘宝数据平台团队）
摘要：由于 Hive 采用了 SQL 的查询语言 HQL，因此很容易将 Hive 理解为数据库。其实 从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本文将 从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中，但是 Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特性。 查询语言 HQL SQL ...
2011-04-25 11:39:43
80
原创 java中执行其他程序
[color=darkred][size=medium]转载：http://hi.baidu.com/li_zhongnan/blog/item/318effa9611d2bf91f17a26a.html最近在一个项目中，利用ProcessBuilder在java中调用其他程序时，由于没有捕获标准错误输出，process.waitFor()出现了阻塞，进程被卡死了。转载的这篇文章，讲的非常...
2011-04-21 13:32:03
80
原创 HBASE入门
转载：http://samuschen.iteye.com/blog/763921HBase是Hadoop中的一个简单数据库。它与Google的Bigtable特别相似，但也存在许多的不同之处。数据模型 HBase数据库使用了和Bigtable非常相似的数据模型。用户在表格里存储许多数据行。每个数据行都包括一个可排序的关键字，和任意数目的列。表格是稀疏的，所以同一个表格里的行可...
2011-04-12 09:27:06
79
原创 [转载]Hbase和RDBMS的区别
转载：http://www.jdon.com/jivejdon/thread/38244最近因为项目原因，研究了Cassandra,Hbase等几个NoSQL数据库，最终决定采用HBase。在这里，我就向大家分享一下自己对HBase的理解。在说HBase之前，我想再唠叨几句。做互联网应用的哥们儿应该都清楚，互联网应用这东西，你没办法预测你的系统什么时候会被多少人访问，你面临的用户到...
2011-04-12 09:25:52
173
原创 ｒｊｄｂｃ
最近同事在做一个日常，涉及到增加一个数据源的配置。数据源配置一定要有容灾的方式。了解的一些ｒｊｄｂｃ。以下内容来自：http://hi.baidu.com/jackbillow/blog/item/f6ea2322000bd1a84723e82f.html看到TB在使用RJDBC，应用于数据库的切换，学习一下RJDBC。应用使用Oracle Driver的Failover连接方式，...
2010-12-18 15:06:45
178
Java优化编程学习笔记一-----Java核心类与性能优化
[size=large][b]一、散列表类与性能优化[/b][/size][b]线程同步散列表类[/b]1.Vector 与ArrayList对于线程安全而言，一些散列表核心类是线程安全的，如Vector类，一些核心类不是线程安全的，如ArrayList类。原则：对线程安全有严格要求时，尽量选用线程安全的散列表类，在不要求的情况下，尽量选用非线程安全的散列表类，因为线程安全的散列表...
2010-06-19 15:58:13
75
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人