Guibin-CSDN博客

原创在MAC上查找和设置$JAVA_HOME

在MAC上查找和设置[email protected] 最近升级了MAC OS，装了JDK7 for mac，在这里下载JDK7 for mac，装完之后发现在默认的路径下找不到JDK7的HOME，如下所示：$ which java/usr/bin/java$ ls -l /usr/bin/javalrwxr-xr-x 1 r...

2014-01-05 22:19:44 303

原创 Cloudera Development Kit(CDK) 简介

Cloudera Development Kit(CDK) 简介[email protected]简介CDK(Cloudera Development Kit) 就是一些Cluodera开发的库、工具和文档的集合。CDK这个项目存在的价值在于使得在基于Hadoop生态系统上开发系统更加容易。这个项目是按照模块组织的，模块之间或者独立，或者依赖

2013-07-02 21:03:49 3286

原创 Oozie调度Pig job常见的问题及分析

Oozie调度Pig job常见的问题及分析[email protected]. Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.PigMain], exit code [7]这个错误一开始让人一头雾水！查阅了"Programming Pig. 2011 version"才知道exi

2013-07-02 08:58:25 4564

原创什么时候才应该使用HBase？

什么时候才应该使用HBase？张贵宾[email protected]在使用HBase一定要明白HBase的适用场合，因为HBase并非适用于每种情况。首先，要确认有足够多的数据存入HBase。如果有几亿或者几十亿条记录要存入HBase，那么HBase就是一个正确的选择；否则如果你仅有几百万条甚至更少的数据，那么HBase当然不是正确的选择，这种情况下

2012-06-24 08:43:52 3347 1

原创深度分析如何在Hadoop中控制Map的数量

深度分析如何在Hadoop中控制Map的数量[email protected]很多文档中描述，Mapper的数量在默认情况下不可直接控制干预，因为Mapper的数量由输入的大小和个数决定。在默认情况下，最终input占据了多少block，就应该启动多少个Mapper。如果输入的文件数量巨大，但是每个文件的size都小于HDFS的blockSize，那么会造成启动的Ma

2012-04-09 17:29:35 34825 2

在Mac上使用网络驱动器做TimeMachine备份

在Mac上使用网络驱动器做TimeMachine备份[email protected]买了个网络硬盘，想把用TimeMachine把Mac上的内容备份到网络硬盘上。在Mount了网络硬盘，设置了备份的目标硬盘到网络硬盘上，然后开始Backup。过了会儿，不幸的消息弹出来了“The backup disk image could not be created....(err...

2012-04-04 11:49:50 2536

原创处理Android SQLite - close() was never explicitly called on database异常

Android SQLite - close() was never explicitly called on [email protected] 在开发Android应用过程中，如果不小心会遇到如下所示的异常：[quote] E/Database(3150): close() was never explicitly called on databa...

2012-04-04 10:54:40 225

原创 Pig 调优实践经验总结

Pig 调优实践经验总结张贵宾[email protected]本文会不断更新，欢迎大家补充。1. pig.maxCombinedSplitSize 和 pig.splitCombination在实际使用PIG处理数据时，会经常要处理大批量的小文件。在这种情况下，如果不对Pig脚本进行任何特别设置，默认情况下很有可能会遇到类似这

2012-01-17 14:42:48 5793 1

原创 HDFS Federation(HDFS 联盟)介绍

HDFS Federation(HDFS 联盟)介绍张贵宾[email protected]. 当前HDFS架构和功能概述我们先回顾一下HDFS功能。HDFS实际上具有两个功能：命名空间管理（Namespace management）和块/存储管理服务（block/storage management）。

2011-11-28 16:42:20 14464 1

翻译 Actors in Scala（Scala中的Actor）(预打印版) 第六章 Exception Handling, Actor Termination and Shutdown(A)

Actors in Scala（Scala中的Actor）(预打印版) 第六章 Exception Handling, Actor Termination and Shutdown(A)张贵宾[email protected]在这一章中我们看看如何在并行的基于actor的程序中处理错误。Actors与顺序的Scala代码相比，提供了几种处理异常

2011-10-31 16:13:55 2272 1

翻译 Actors in Scala（Scala中的Actor）(预打印版) 第五章 Event-Based Programming (B)

Actors in Scala（Scala中的Actor）(预打印版) 第五章 Event-Based Programming (B)张贵宾[email protected]注：翻译这些英文书籍资料纯属个人爱好，如有不恰当之处敬请指正。5.3 Event-based futures(基于事件的Future)在第四章，我们展示

2011-10-30 23:41:28 1696 2

翻译 Actors in Scala（Scala中的Actor）(预打印版) 第五章 Event-Based Programming (A)

Actors in Scala（Scala中的Actor）(预打印版) 第五章 Event-Based Programming (A)张贵宾[email protected]注：翻译这些英文书籍资料纯属个人爱好，如有不恰当之处敬请指正。我们第二章介绍的概念都是把每个actor与JVM线程联系起来了：每个actor都需要自己专用的线程

2011-10-28 21:12:20 2520 1

翻译 Actors in Scala（Scala中的Actor）(预打印版) 第四章 Actor Chat (B)

Actors in Scala（Scala中的Actor）(预打印版) 第四章 Actor Chat (B)张贵宾[email protected]注：翻译这些英文书籍资料纯属个人爱好，如有不恰当之处敬请指正。4.3 Sending actor messages到目前为止，ChatRoom已经一切就绪，可以处理订阅的消息了。

2011-10-26 16:43:27 1479

翻译 Actors in Scala（Scala中的Actor）(预打印版) 第四章 Actor Chat (A)

Actors in Scala（Scala中的Actor）(预打印版) 第四章 Actor Chat (A)张贵宾[email protected]注：翻译这些英文书籍资料纯属个人爱好，如有不恰当之处敬请指正。前面的章节展示了actor在消息传输方面的编程模型。不用惊奇，许多Scala的actor库定义了大量的处理发送消息和接收

2011-10-24 14:26:11 1952

翻译 Actors in Scala（Scala中的Actor）(预打印版) 第三章 Scala’s Language Support for Actors (A)

Actors in Scala（Scala中的Actor）(预打印版) 第三章 Scala’s Language Support for Actors (A)张贵宾[email protected]注：翻译这些英文书籍资料纯属个人爱好，如有不恰当之处敬请指正。本章将解释Scala在语言扩展性方面的特性，这些语言特性可以使得S

2011-10-21 11:32:51 1221

翻译 Actors in Scala（Scala中的Actor）(预打印版) 第二章 Messages All the Way Up (D)

Actors in Scala（Scala中的Actor）(预打印版) 第二章 Messages All the Way Up (D)张贵宾[email protected]注：翻译这些英文书籍资料纯属个人爱好，如有不恰当之处敬请指正。2.5 Asynchronous commun

2011-10-20 16:06:14 1552

原创 Step+by+Step+为+NetBeans+7.0.x+安装Scala语言插件

Step by Step 为 NetBeans 7.0.x 安装Scala语言插件[email protected]张贵宾2011.10.13本文首先一步步介绍如何为NetBeans7.0.x安装Scala语言插件。然而大多数人在第一次安装完

2011-10-14 14:56:38 3831

翻译 Actors in Scala（Scala中的Actor）(预打印版) 第二章 Messages All the Way Up (C)

Actors in Scala（Scala中的Actor）(预打印版) 第二章 Messages All the Way Up (C)张贵宾[email protected]注：翻译这些英文

2011-10-10 20:39:42 1335

翻译 Actors in Scala（Scala中的Actor）(预打印版) 第二章 Messages All the Way Up (B)

Actors in Scala（Scala中的Actor）(预打印版) 第二章 Messages All the Way Up (B)张贵宾[email protected]注：翻译这些英文书籍资料

2011-10-10 15:55:24 1581

翻译 Actors in Scala（Scala中的Actor）(预打印版) 第二章 Messages All the Way Up (A)

Actors in Scala（Scala中的Actor）(预打印版) 第二章 Messages All the Way Up (A)张贵宾[email protected]第二章 Messages A

2011-10-09 23:06:53 1528

翻译 Actors in Scala（Scala中的Actor）(预打印版) 第一章 Concurrency Everywhere (B)

Actors in Scala（Scala中的Actor）(预打印版) 第一章 Concurrency Everywhere (B)[email protected] The indeterministic soda mac

2011-10-08 15:52:49 2477 4

翻译 Actors in Scala（Scala中的Actor）(预打印版) 第一章 Concurrency Everywhere (A)

Actors in Scala（Scala中的Actor）(预打印版) 第一章 Concurrency Everywhere (A)[email protected]写在原文开始翻译之前的一些琐事。本人在2003年结识了J

2011-10-01 11:49:40 2258 2

JMM（Java内存模型）中的核心概念

JMM（Java内存模型）中的核心概念[email protected]在JLS-Java Language Specification的17.4节详细描述了JMM（Java Memory Model），这个文档从语言学和实现JVM的角度讲非常棒，但是对于我们这些应用开发者而言理解其中的细节就有些问题。本文中不再重复spec中那些正式的细节，下面将列出一些重要的原...

2011-09-15 17:49:26 215

ConcurrentHashMap是如何提高并发时的吞吐性能（一）

ConcurrentHashMap是如何提高并发时的吞吐性能（一）[email protected][size=medium]为并发吞吐性能所做的优化[/size]ConcurrentHashMap使用了一些技巧来获取高的并发性能，同时避免了锁。这些技巧包括：[list][*][color=red]为不同的Hash bucket（所谓hash bucket即不...

2011-09-15 15:12:17 342

Java NIO 入门（四）Buffer内部原理

Java NIO 入门（四）Buffer内部原理 [email protected] [size=medium]概述[/size]在这节中，我们将关注NIO的Buffer中两个重要的组件：状态变量和访问方法。状态变量对于前面提到的“内部计数系统”而言相当重要，每次进行完读写之后，Buffer的状态都随之改变。通过记录和跟踪这些改变，Buffer才可以把Buffer...

2011-09-13 16:42:36 250

Java NIO 入门（三）从理论到实践：使用NIO读写

Java NIO 入门（三）从理论到实践：使用NIO读写[email protected][size=medium]概述[/size]读和写是最基础的IO处理。从Channel中读是非常简单的，我们只要创建一个Buffer，然后要求Channel往Buffer中读数据。写也很简单，也需要创建一个Buffer，把要写的数据填充到Buffer中，然后要求Channel把B...

2011-08-26 14:31:26 149

Java NIO 入门（二）Channels and buffers（通道和缓冲）

Java NIO 入门（二）Channels and buffers（通道和缓冲）[email protected][size=medium]概述[/size]Channel和Buffer是NIO中最核心的对象，他们用在几乎每一个NIO的操作上。[b]Channel模拟了老IO包中的流的概念。[/b]所有去任何地方（或者来自任何地方）的数据都必须通过Chann...

2011-08-26 14:31:05 145

原创 Java NIO 入门（一）Input/output: 概述

Java NIO 入门（一）Input/output: 概述[email protected][size=medium]I/O介绍[/size]I/O即输入输出，指的是计算机和世界其他部分的接口，或者是单个程序同计算机其他部分的接口。I/O是计算机系统中的重要元素，并且大量的I/O实际上已经内建到操作系统中了。单独的程序通常都有很多I/O方面的工作要做。[b]...

2011-08-26 14:30:50 266

错误和异常的区别(Error vs Exception)

错误和异常的区别(Error vs Exception)[email protected]今天突然有朋友问了这样一个问题，"Error" 和 "Exception"之间有啥区别？我觉得挺有意思，但是似乎又不能脱口而出。查找了一番资料之后，稍微总结了一下。1) error都是继承自父类java.lang.Error，而exception都继承自java.lang....

2011-08-22 14:00:48 206

Java垃圾回收（java GC）

Java垃圾回收（java GC）[email protected][size=medium]GC的阶段[/size]对每个对象而言，垃圾回收分为两个阶段：finalization和reclamation。[list][*]finalization: 指运行这个对象的finalize的方法。[*]reclamation: 回收被这个对象使用的内存。[/...

2011-07-30 20:41:58 228

JAVA 7 新特性介绍（一）概述

JAVA 7 新特性介绍（一）概述[email protected]将在7月28日发布。今天收到了来自Oracle的新闻快讯，得知Java7即将发布，就顺便去官网看了看，在此将其翻译分享给大家。本文大部分翻译自[url]http://jdk7.java.net/preview/[/url]Java7的预览版在此下载[url]http://jdk7.ja...

2011-07-20 22:23:32 210

AioTrade Investigation (Section E: The logic of TickerServer)

AioTrade Investigation (Section E: The logic of TickerServer)[email protected] AioTrade source code: [url]https://github.com/dcaoyuan/aiotrade[/url]The TickerServer(org.aiotrade.lib.sec...

2011-07-16 20:32:42 170

AioTrade Investigation (Section C: Basic Data Type in AioTrade)

AioTrade Investigation (Section C: Basic Data Type in AioTrade)[email protected] source code: [url]https://github.com/dcaoyuan/aiotrade[/url][size=large]1. TVal[/size][u]org.a...

2011-07-10 16:18:43 127

AioTrade Investigation (Section B: DataContract and Content)

AioTrade Investigation (Section B: DataContract and Content)[email protected] source code: [url]https://github.com/dcaoyuan/aiotrade[/url]The DataContract's source code is locat...

2011-06-26 18:14:59 148

AioTrade Investigation (Section A: DataServer)

AioTrade Investigation (Section A: DataServer)[email protected] source code: [url]https://github.com/dcaoyuan/aiotrade[/url]Note: The DataServer we are talking about is just org...

2011-06-25 09:01:50 120

AVRO文件结构分析

AVRO文件结构分析[email protected]研究了AVRO的规范，比较形象的图形表达了文件中内容布局，仅做参考。详细说明在图形下方。[img]http://dl.iteye.com/upload/attachment/475345/cccf1361-d9f2-3507-8b5e-ecd1cee9e16e.jpg[/img]使用AVRO标准系列化生...

2011-05-04 15:41:46 226

AVRO1.4.1规范－Schema的定义和声明

[size=medium]AVRO1.4.1规范－Schema的定义和声明[/size]（参考自[url]http://avro.apache.org/docs/current/spec.html[/url]）[email protected] 1.4.1规范定义了Avro序列化系统，它即将成为官方规范，Avro的各种实现方式必须遵循该规范。2[size=...

2011-05-02 20:45:08 610

AVRO介绍及同其他序列化系统的比较

AVRO介绍及同其他序列化系统的比较[email protected] AVRO是用来将数据序列化的系统，是apache hadoop的子项目，详情请参考官方网址[url]http://avro.apache.org[/url][size=medium]AVRO介绍[/size]（翻译自[url]http://avro.apache.org/docs/curren...

2011-05-01 10:26:44 238

GIT基本概念和用法总结

GIT基本概念和用法总结[email protected]在日常使用GIT过程中，经常会出错，比如无意间丢失了未提交的数据，回退版本时丢失了工作目录，等等。经过思考发现，所有这些错误都是因为对GIT中一些基本的概念模糊而导致，因为对一些基本概念不清晰，导致对GIT每一条命令将会产生的结果不符合预期。下面我就梳理以下我经常碰到的问题相关的基本概念。[size=lar...

2011-04-24 19:20:22 201

Git基础对象模型介绍

[size=x-large]Git基础对象模型介绍[/size][email protected]本文翻译自[url]http://book.git-scm.com/1_the_git_object_model.html[/url] ，但不是全文翻译，仅供学习参考，不贴切之处敬请指正。[size=medium]Git是什么？[/size]Git是一个快速、[c...

2011-04-23 10:41:15 198

空空如也

空空如也