- 博客(38)
- 资源 (19)
- 收藏
- 关注
RSS订阅原创 elephant-bird的使用示例
elephant-bird的使用示例一、简要概述在近期项目的开发中，由于处理数据量巨大，为了减少HDFS的存储压力以及提高MapReduce的运算效率，故采用了protoc buffer序列化和lzo压缩机制。在项目中采用了这两种机制后，整个集群的存储压力及运算效率得到了明显的改善。但在开发中，我们需要分别根据protobuf的配置文件xxx.proto所定义的消息结构（也就是数据类型
2014-03-27 17:35:50
2837
转载 elephant-bird介绍
elephant-bird介绍 国内基于elephant-bird的资料还太少,除了淘宝搜索技术博客上的一篇网址:http://www.searchtb.com/2010/09/pb-lzo-used-in-hadoop.html，基本就没有了。但这篇也只是介绍如何使用. 其实对于elephant-bird的说明在其Readme.md已经很详细了.网址:htt
2014-03-27 14:37:59
1538
原创 Elephant Bird简介
Elephant Bird AboutElephant Bird is Twitter's open source library of LZO, Thrift, and/or Protocol Buffer-related HadoopInputFormats, OutputFormats, Writables, Pig LoadFuncs, Hive SerDe,
2014-03-27 14:34:33
2393
原创 lzo压缩之配置文件与程序对应关系
lzo压缩之配置文件与程序对应关系1.core-site.xml中的： io.compression.codecs org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.had
2014-03-23 16:05:59
2107
原创 MapReduce输入输出
MapReduce输入输出作业的输入InputFormat 为Map/Reduce作业描述输入的细节规范。Map/Reduce框架根据作业的 InputFormat 来：检查作业输入的有效性。把输入文件切分成多个逻辑 InputSplit 实例， 并把每一实例分别分发给一个 Mapper 。提供 RecordReader 的实现，这个RecordReade
2014-03-23 15:31:23
1164
原创 认识org.apache.hadoop.io.compress解码器/编码器
认识org.apache.hadoop.io.compress解码器/编码器编码器和解码器用以执行压缩解压算法。在Hadoop里，编码/解码器是通过一个压缩解码器接口实现的。因此，例如，GzipCodec封装了gzip压缩的压缩和解压算法。下表列出了Hadoop可用的编码/解码器。 压缩格式 Hadoop压缩编码/解码器DEFLATE
2014-03-23 15:28:14
5463
原创 hadoop中的LzoCodec和LzopCodec
hadoop中的LzoCodec和LzopCodecLzoCodec比LzopCodec更快， LzopCodec为了兼容LZOP程序添加了如 bytes signature, header等信息如果使用 LzoCodec作为Reduce输出，则输出文件扩展名为".lzo_deflate"，它无法被lzop读取；如果使用LzopCodec作为Reduce输出，则扩展名为".
2014-03-23 15:23:47
2625
原创 JNA之Hello World
JNA之Hello World一、简单介绍JNA（Java Native Access ）提供一组Java工具类用于在运行期动态访问系统本地库（native library：如Window的dll）而不需要编写任何Native/JNI代码。开发人员只要在一个java接口中描述目标native library的函数与结构，JNA将自动实现Java接口到native fun
2014-03-23 10:35:23
1023
转载 JNA—JNI终结者
JNA—JNI终结者 介绍给大家介绍一个最新的访问本机代码的Java框架—JNA。JNA(Java Native Access)框架是一个开源的Java框架，是SUN公司主导开发的，建立在经典的JNI的基础之上的一个框架。JNA项目地址：https://jna.dev.java.net/ 非常强大、易用，功能上类似与.NET的P/Invoke。
2014-03-23 10:17:11
1093
转载 深入浅出JNA—快速调用原生函数
深入浅出JNA—快速调用原生函数 本文原名《使用JNA方便地调用原生函数》发表于2009年3月的“程序员”杂志上。感谢程序员杂志的许可，使这篇文章能够成为免费的电子版，发布于网络上。 程序员杂志发表此文时，略有裁剪，因此本文比程序员上的文章内容更多。 JNA的
2014-03-23 10:10:11
1994
原创 java打成jar包
java打成jar包 下面是jar命令的帮助说明：用法：jar {ctxui}[vfm0Me] [jar-file] [manifest-file] [entry-point] [-C dir] files ...选项包括： -c 创建新的归档文件 -t 列出归档目录 -x 解压缩已归档的指定（或所有）文件 -u 更
2014-03-21 17:28:52
3135
原创 git学习笔记(二) git的一些设置和辅助功能
git学习笔记(二) git的一些设置和辅助功能 好记性不如烂笔头,一一记下吧. 方便自己也希望能够方便到别人 #1.用户设置 git config --global user.name "zhu" #设置姓名 git config --global user.emai
2014-03-19 14:16:17
870
原创 git 学习笔记(一)
git 学习笔记(一)网上有很多教程,这里我自己做下整理,省得有时忘记,有道是好记性不如烂博客! 先大概描述下Git的各种命令: git init #初始化 git clone #将远程项目拷贝到本地 git a
2014-03-19 14:14:46
824
原创 送给自己的四句话
送给自己的四句话第一句话你的责任就是你的方向，你的经历就是你的资本，你的性格就是你的命运。 第二句话复杂的事情简单做，你就是专家；简单的事情重复做，你就是行家；重复的事情用心做，你就是赢家。 第三句话美好是属于自信者的，机会是属于开拓者的，奇迹是属于执著者的！ 第
2014-03-18 12:36:33
1342
2
原创 thrift使用示例二
thrift使用示例二1.thrift配置参考：#定义生成代码的命名空间（与你需要定义的package相对应，其中"java"表示如果生产的是Java类，则会在指定的包下生成）namespace java com.zhongying.thrift#创建另一个名称类型(即对i32类型起别名，thrift中的i32对应java中的int，在下面如果要使用i32就可以直接用int代替了
2014-03-18 09:42:58
1359
原创 eclipse中package,source folder,folder区别
eclipse中package,source folder,folder区别 在eclipse下,package,source folder,folder本质上都是文件夹.它们的区别如下: package:package属于source folder，当你在建立一个package,必须建立在source folder下，如果直接建立一个类，则它自动建立到(defa
2014-03-14 17:04:36
2955
原创 postgresql使用参考网址
postgresql使用参考网址官方参考网址：http://www.postgresql.org/docs/9.2/static/index.html非官方（但说的很好，很全）：http://www.yiibai.com/html/postgresql/2013/080116.html
2014-03-14 16:30:59
996
原创 postgresql常用命令
1.createdb 数据库名称产生数据库2.dropdb 数据库名称删除数据库3.CREATE USER 用户名称创建用户4.drop User 用户名称删除用户5.SELECT usename FROM pg_user;查看系统用户信息\du7.SELECT version();查看版本信息8.psql 数据库名打开psq
2014-03-14 16:22:52
2768
原创 postgresql建表示例
postgresql安装及常见错误处理--表名和字段名如果加了双引号，系统会严格区分大小写，如果不加，则不区分大小写/*创建用户者个人消费汇总表：Sta_User_Consume_Of_3Month*/DROP TABLE IF EXISTS public.Sta_User_Consume_Of_3Month;--ID字段自增长主键（int(int4)型CREATE TABLE
2014-03-14 16:09:22
24879
原创 postgresql安装及常见错误处理
postgresql安装一、安装说明本例中安装的postgresql版本为9.3.2，安装环境为Centos-6.4-x64_64。二、安装1.下载postgresql：本例中安装的方式为源码安装，读者可以到官方网址：http://www.postgresql.org/ftp/source/v9.3.2/进行下载2.解压文件：tar -zxvf postgresql
2014-03-14 15:45:33
69347
10
原创 史上最全的中国式鬼话，你肯定中枪90%以上
史上最全的中国式鬼话，你肯定中枪90%以上引导语：鬼话，是假话、套话、废话的统称。我们都知道这些是鬼话，奇怪的是，大多数人不厌恶这套鬼话。鬼话往往是人际交往的必备用语，没有鬼话，社会就不和谐，家庭就不和睦。 日常鬼话 1、吃了吗：谁要是没听说过这句话，他就从来没到世上来过。谁没有说过这句话，他就是哑巴。一句没有任何实际意义的废话。在电梯里
2014-03-13 12:50:34
1427
原创 大气的人，用心做人，用爱做事
大气的人，用心做人，用爱做事（一）养成一个大气的人不要在意别人在背后怎么看你说你，因为这些言语改变不了事实，却可能搅乱你的心。心如果乱了，一切就都乱了。理解你的人，不需要解释；不理解你的人，不配你解释。因为日久不一定生情，但一定见人心。人贵在大气，要学会对自己说。并请相信，真正懂你的人，
2014-03-13 12:49:19
1809
1
转载 程序员该如何逃离困境
程序员该如何逃离困境最近，我招聘一个内核程序员的岗位，几十个人过来面试。这些应聘者都来自优秀的大公司，不是开发芯片的，就是开发内生的操作系统的。其中有些人声称自己在内核上开发的时间至少 10 年！他们的简历美轮美奂，各种完成的项目，各种获得的褒奖。但是绝大多数人都无法回答一个最基本的问题：当我们调用一个标准内存分配函数时，在内核中会发生什么？别惊讶。当我
2014-03-13 12:48:09
1296
原创 XXXX is not in the sudoers file. This incident will be reported解决方法
XXXX is not in the sudoers file. This incident will be reported解决方法假设你用的是Red Hat系列（包括Fedora和CentOS）的Linux系统。当你执行sudo命令时可能会提示“某某用户 is not in the sudoers file. This incident will be reported.”解决
2014-03-12 13:48:09
46619
1
原创 thrift使用
一、thrift介绍1.Thrift概述 Thrift是一个跨语言的服务部署框架，最初由Facebook开发用做系统内部多种语言之间的RPC通信，07年四月开放源码，08年5月进入apache孵化器。Thrift通过一个中间语言(IDL, 接口定义语言)来定义RPC的接口和数据类型，然后通过一个编译器生成PC客户端和服务器通信的不同语言的代码（目前支持C++,Java, Pytho
2014-03-11 16:23:26
2367
原创 java中List、Set、Map集合的遍历方法总结
java中List、Set、Map集合的遍历方法总结一.List集合遍历代码参考如下：public class TraversingList { /** * @author zhuxun * describe： * 定一个List集合并遍历 */ /**定义一个List集合*/ public List getList(){ List li
2014-03-11 10:38:50
17350
1
原创 LOG4J.PROPERTIES配置详解
LOG4J.PROPERTIES配置详解Log4J的配置文件(Configuration File)就是用来设置记录器的级别、存放器和布局的，它可接key=value格式的设置或xml格式的设置信息。通过配置，可以创建出Log4J的运行环境。1. 配置文件Log4J配置文件的基本格式如下：#配置根Loggerlog4j.rootLogger = [ level
2014-03-11 09:30:50
992
原创 eclipse工程中.classpath文件的含义
eclipse工程中.classpath文件的含义 eclipse工程中.classpath文件含义：下面是一个.classpath文件内容：
2014-03-06 18:10:07
1504
原创 Java连接各种数据库的实例
Java连接各种数据库的实例此文中的代码主要列出连接数据库的关键代码，其他访问数据库代码省略 1、Oracle8/8i/9i数据库（thin模式） Class.forName("oracle.jdbc.driver.OracleDriver").newInstance(); String url="jdbc:oracle:thin:@localhost
2014-03-06 10:19:54
923
原创 RMI远程方法调用概述
RRMI远程方法调用概述相关概述RMI是Java的一组拥护开发分布式应用程序的API。RMI使用Java语言接口定义了远程对象，它集合了Java序列化和Java远程方法协议(Java Remote Method Protocol)。简单地说，这样使原先的程序在同一操作系统的方法调用，变成了不同操作系统之间程序的方法调用，由于J2EE是分布式程序平台，它以RMI机制实现程序组
2014-03-06 09:45:37
1081
原创 史上十个经典鬼故事
史上十个经典鬼故事（1）夜遇女鬼` 夜已经很深了，一位出租车司机决定再拉一位乘客就回家，可是路上已经没多少人了。 司机没有目的的开着，发现前面一个白影晃动，在向他招手，本来宁静的夜一下子有了人反倒不自然了，而且，这样的情况不得不让人想起了一种不想想起的东西，那就是鬼！！！`··` 可最后司机还是决定要拉她了，那人上了车，用凄惨而沙哑的声音说：“请到火葬厂。”
2014-03-06 08:01:10
4264
原创 比风水厉害100倍的宇宙规律，你懂多少？
比风水厉害100倍的宇宙规律，你懂多少？ 一天，你开车赶着去会见重要客户，路上看到一对年老夫妇的汽车爆胎了。你因为赶时间不想管，但又觉得必须管，于是你停下车帮他们换轮胎。你把轮胎换好了，老人家想付你一笔钱表示感谢，你婉拒了老人家并且祝他们好运然后你继续上路。 当你赶到约会地点，却发现客户比你来得还晚，而且客户很爽快地就和你签了协议。 你会不会觉得很走运呢？但这
2014-03-06 07:59:34
1005
转载 Java多线程总结之线程安全队列Queue
Java多线程总结之线程安全队列Queue |举报|字号 订阅在Java多线程应用中，队列的使用率很高，多数生产消费模型的首选数据结构就是队列。Java提供的线程安全的Queue可以分为阻塞队列和非阻塞队列，其中阻塞队列的典型例子是BlockingQueue，非阻塞队列的典型例子是ConcurrentLinkedQueue，在实际应用中要根据实际需
2014-03-04 13:55:24
989
原创 java中queue的使用
java中queue的使用 在java5中新增加了java.util.Queue接口，用以支持队列的常见操作。该接口扩展了java.util.Collection接口。Queue使用时要尽量避免Collection的add()和remove()方法，而是要使用offer()来加入元素，使用poll()来获取并移出元素。它们的优点是通过返回值可以判断成功与否，add()和remove(
2014-03-04 13:52:30
3197
原创 ExecutorService线程池的使用
ExecutorService线程池的使用ExecutorService 建立多线程的步骤：1。定义线程类class Handler implements Runnable{}2。建立ExecutorService线程池ExecutorService executorService = Exec
2014-03-04 13:21:54
934
原创 Eclipse常用快捷键
Eclipse常用快捷键编辑相关快捷键 Eclipse的编辑功能非常强大，掌握了Eclipse快捷键功能，能够大大提高开发效率。Eclipse中有如下一些和编辑相关的快捷键。 1. 【ALT+/】 此快捷键为用户编辑的好帮手，能为用户提供内容的辅助，不要为记不全方法和属性名称犯愁，当记不全类、方法和属性的名字时，多体验一下【ALT
2014-03-04 10:15:45
695
原创 全世界只有1%的人才知道这个秘密！
全世界只有1%的人才知道这个秘密！【复利的奇迹】1、今天一次性给你10亿元；2、今天给你1元，接下来连续30天每天都给你前一天2倍的钱。你选哪个？很多人选了1，可是我告诉你，选2的结果是21.47亿。这题目告诉我们，不要期望一夜暴富，起点哪怕低到仅有“1元钱”，但
2014-03-04 09:38:38
1248
原创 读了之后就是经济学本科毕业了
读了之后就是经济学本科毕业了本文以最浅显的道理阐述经济的真相。不会有任何所谓的学术妓女们常用来欺骗人民的深奥的学术理论，还事实清白，真相只有一个，让我们擦亮眼睛，洞观今天发生的一切。本文在以下几方面阐述中国经济真相。1、什么是经济发展？简单的讲经济发展就是有钱，但钱从何来？钱只能印出来。那么到底是什么使印钞机不停的运转？
2014-03-04 09:37:34
948
Hadoop2.6.0配置文件参考.zip
2014-12-23
jna.jar jna
2014-03-23
深入浅出JNA—快速调用原生函数
2014-03-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人