来啊快活啊

不但唱工，单是黑头涎脸扮丑角，丑角挺胸学黑头，戏场上只见白鼻子的和黑脸孔的丑角多起来，也就滑天下之大稽。——（鲁迅《花边文学·小品文的生机》）

12月 11月 10月 09月 08月 05月 04月 03月 02月 01月

原创 JDK的sql设计不合理导致的驱动类初始化死锁问题

问题描述当我们一个系统既需要mysql驱动，也需要oracle驱动的时候，在并发加载初始化这些驱动类的过程中产生死锁的可能性非常大，下面是一个模拟的例子，对于Thread2的实现其实是jdk里java.sql.DriverService的逻辑，也是我们第一次调用java.sql.DriverManager.registerDriver注册一个驱动实例要走的逻辑(jdk1.6下)，不过这

2014-09-26 11:39:58 1716

转载 java并发之原子性与可见性

原子性原子是世界上的最小单位，具有不可分割性。比如 a=0；（a非long和double类型）这个操作是不可分割的，那么我们说这个操作时原子操作。再比如：a++；这个操作实际是a = a + 1；是可分割的，所以他不是一个原子操作。非原子操作都会存在线程安全问题，需要我们使用同步技术（sychronized）来让它变成一个原子操作。一个操作是原子操作，那么我们称它具有原子性。java的co

2014-09-17 09:41:05 1941 2

本文的主要目的是从源码级别讲解Hadoop中InputFormat和OutputFormat部分，首先简介InputFormat和OutputFormat，然后介绍两个重要的组件，RecordWriter和RecordReader，再以FileInputFormat和FileOutputFormat为例，介绍一组InputFormat和OutputFormat的实现细节，最后以SqoopInput

2014-09-16 11:19:03 2350

原创 Sqoop 2 Metadata design

Sqoop 2 Metadata design本文描述了Sqoop2元数据架构的设计。分成几个部分从不同的层次描述来帮助理解这个设计。Top Level Structures目前有四个顶层的结构：ConnectorConnector将控制Sqoop2中整个数据移动过程。在系统中，有多个Connector可用，每一个特定的数据存储可能有自己特定的Connector（一个Oracl

2014-09-15 10:31:57 1621

原创 Sqoop2 Intermediate representation

Sqoop2Intermediate representation在Sqoop2的connector中提供了自己的map处理，map用于导入数据到HDFS。因为这段代码将完全被connector维护，所以，我们需要找到一个适用所有connector和所有情况的中间格式（map output）。本文的目标是比较不同的中间数据格式（intermediate representation），以使我们

2014-09-15 10:28:30 1861

原创 Sqoop2远程调试

Sqoop2是一个CS的架构，客户端包括sqoop-shell和sqoop-client，服务器端包括sqoop-server，sqoop-server就是一个部署在Tomcat下的web应用，由几个servlet组成。调试sqoop-shell调试sqoop-shell就是在启动sqoop client main方法时，加上调试参数。sqoop-shell的启动方式为：sqoop.s

2014-09-12 12:52:33 3135

原创 Sqoop 2 Connector Development

Sqoop 2 Connector Development本文档描述了如何实现Sqoop2 中的一个connector。What is Connector?Connector提供了与外部数据库的交互。Connector从数据库中读取数据导入数据，写数据到数据库导出数据。Sqoop2 框架管理与Hadoop交互的公共模块。Connector ImplementationSqoop

2014-09-05 17:43:33 1711

原创使用sqoop工具进行数据表增量导入

sqoop工具是hadoop环境下连接关系数据库和hadoop存储系统的桥梁，支持多种关系数据源和hive，hbase表格的相互导入。一般情况下，关系数据表存在于线上环境的备份环境，需要每天进行数据导入。如果数据表较大，我们通常不可能每次都进行全表的导入。幸运的是，sqoop提供了增量导入数据的机制。下面就以mysql数据表为例，看一个例子。假设在本地假设了Mysql服务器，我们需要每天从

2014-09-04 16:09:02 5585

原创 Sqoop2安装记录

1.解压，设置环境变量SQOOP_HOME，将

2014-09-04 10:33:44 1857

exactly once semantics in kafka

exactly once semantics in kafka,

2019-02-27

Exactly Once Delivery and Transactional Messaging in Kafka

2019-02-27

领域驱动设计精要

领域驱动设计精要，DDD大神的神作，5个资源分，你买不了吃亏，买不了上当

2017-11-04

后台框架H+的最新版本

后台框架H+的最新版本，感觉比ace实用一些

2016-01-30

hadoop2.4.1 Eclipse插件

hadoop2.4.1的Eclipse插件直接放到Eclipse plugin目录下重启Eclipse就能用了

2014-10-31

快学Scala(Java核心技术的作者最新力作)

这本书，出自《Java核心技术》（Core Java）的作者，Cay S. Horstmann。每一章的篇幅都不长，娓娓道来，沁人心脾，适合有一定经验的Java程序员阅读。几乎所有Scala相关的核心内容都有涉及，由浅入深，深入浅出，非常适合快速上手。当然了，如果你想要用好Scala，想把它发挥到更高的层次，基本功必须扎实。这本书讲的都是基本招式，看似平实无华，实则招招受用，对于一线开发人员，实在是值得放在案头反复揣摩练习。 Cay S. Horstmann是《Java核心技术》卷1和卷2第8版（Sun Microsystems出版社2008年出版）的主要作者，除此之外，他还著有其他十多本面向专业程序员和计算机科学专业学生的书籍。他是San Jose州立大学计算机科学专业的教授，同时还是一位Java Champion。

2014-09-01

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人