伤心的驴的专栏

转自：https://1byte.io/developer-guide-to-docker-and-kubernetes/早在 Docker 正式发布几个月的时候，LeanCloud就开始在生产环境大规模使用 Docker，在过去几年里 Docker 的技术栈支撑了我们主要的后端架构。这是一篇写给程序员的 Docker 和 Kubernetes 教程，目的是让熟悉技术的读者在尽可能短的时间内...

本文转自 http://www.codelast.com/   本文可以让刚接触pig的人对一些基础概念有个初步的了解。本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的Apache Pig中文教程（由Google搜索可知），文中的大量实例都是作者Darran Zhang（website: codelast.com）在工作、学习中总结的经验或解决的问题，并且添加了较为详

脱离Hadoop的环境下使用Lzo  转自http://heipark.iteye.com/blog/1605721 hadoop lzo动机：希望通过Java API将日志行压缩到lzo文件，然后上传到HDFS。因为kevinweil-hadoop-lzo提供了LzopOutpuStream，所以这一切很容易实现，需要注意的是该jar包依赖native code和lzo本身。

oracle常用经典SQL查询 转自 http://space.itpub.net/13165828/viewspace-6040381、查看表空间的名称及大小 select t.tablespace_name, round(sum(bytes/(1024*1024)),0) ts_sizefrom dba_tablespaces t, dba_data_files d

Kafka消息订阅发布系统设计介绍 转自: http://blog.csdn.net/dahaifeiyu/article/details/6455989Kafka学习总结一、Kafaka简介Kafka是一个分布式的消息发布-订阅系统。它的特性如下：l  通过在O(1)的磁盘数据结构上提供消息持久化，对于即使数以TB的消息存储也能够保持长时间的稳定性能。l  高吞吐

转自http://blog.csdn.net/zyj8170/article/details/70298921 概述 本文档目的在于对namenode中各种关键的数据结构进行剖析和解释，以方便更好的对namenode的各种处理逻辑和代码结构进行理解。其中包 括对namenode中Namenode和FSNameSystem的程序代码结构，FSDirectory，BlocksMap， Corr

转自 http://blog.csdn.net/zyj8170/article/details/6598082一、前提1、gcc的安装：yum install lib* glibc* gcc* 如果lzo编译出错时可能需要安装2、ant的安装：安装略，最好1.8.2及以上版本，并设置好环境变量 在第三步需要用到ant二、lzo的安装wget http://www

转自 http://blog.csdn.net/zyj8170/article/details/60379341：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲

Oracle 索引 详解 本文转自》》 http://blog.csdn.net/tianlesoftware/article/details/5347098一．索引介绍 1.1 索引的创建语法： CREATE UNIUQE | BITMAP INDEX .      ON .           ( |  ASC | DESC,             |

今天，在win7下安装了Cygwin并安装了openssh, 在cygwin下配置并启动sshd，启动成功，但是（ssh localhost）连接时出现： ssh_exchange_identification: Connection closed by remote host  试着访问 ssh 127.0.0.1 也不行，但是访问主机名可以--- ssh 主机名 也不可以

本文转自：http://blog.nosqlfan.com/html/1647.html下面介绍的一篇长文，对NoSQL的各个方面做了系统深入的介绍，提纲明晰，知识量大，非常值得一看。下面是文章索引：1 Core NoSQL1.1 Amazon’s Dynamo1.2 Cassandra — A Decentralized Structu

【转贴】Google的十大核心技术 来源：http://www.chinakdd.com/portal.php?mod=view&aid=125347本系列是基于公开资料对Google App Engine是如何实现的这个话题进行深度探讨。而且在切入Google App Engine之前，首先会对Google的核心技术和其整体架构进行分析，以帮助大家之后更好地理解Googl

hadoop使用lzo压缩文件笔记 (CDH3u1)  转自http://heipark.iteye.com/blog/1172759 博客分类：hadoopLZO性能CompressionFileSize (GB)Compression Time (s)Decompression Time (s)Nonesome_l

本文转自 http://bbs.hadoopor.com/thread-2146-1-1.htmlMap/Reduce中Join查询实现一、背景早在8月份的时候，我就做了一些MR的Join查询，但是发现回北京之后，2个月不用，居然有点生疏，所以今天早上又花时间好好看了一下，顺便写下这个文档，以供以后查阅。二、环境JDK 1.6、Linux操作系统、hadoo

Hadoop Map/Reduce教程目的 先决条件 概述 输入与输出 例子：WordCount v1.0源代码 用法 解释 Map/Reduce - 用户界面核心功能描述Mapper Reducer Partitioner Reporter OutputCollector 作业配置 任务的执行和环境作业的提交与监控作业的控制 作业的输入

大多数较新的系统采用的是xinetd超级服务守护进程。使用“vi /etc/xinetd.d/vsftpd” 看一下它的内容，如下： disable = no socket_type = streamwait = no如果“/etc/vsftpd.conf”中的有选项为“listen=YES”,注销它最后，重启xinetd，命令如下：$ /etc/init.d/

转自：http://coderplay.iteye.com/blog/191188hadoop的reducer输出多个文件 有时候我们想到这样的功能: reducer能根据key(或value)值来输出多个文件，同一key(或value)处于同一个文件中。现在hadoop的0.17.x版本可以重写MultipleOutputFormat的generateFileNameForKeyValu

表或者字段有中文的时候需要修改hive的元数据库的设置。以mysql为例子，当mysql的字符集设置成utf8的时候使用hive会有问题(com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes）所以当h

转自http://blog.csdn.net/jiedushi/article/details/6778521hive中简单介绍分区表hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。下面的语句创建了一个简单的分区表：