2012年06月_magicdreaming

09月 07月 06月 05月

转载 hadoop作业调优参数整理及原理

原地址：http://www.tbdata.org/archives/14701 Map side tuning参数1.1 MapTask运行内部原理当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优

2012-06-18 15:44:54 1039

转载使用Hive读取Hbase中的数据

原地址：http://victorzhzh.iteye.com/blog/972406第一步，启动hadoop，命令：./start-all.sh第二步，启动hive，命令：./hive --auxpath /home/dream-victor/hive-0.6.0/lib/hive_hbase-handler.jar,/home/dream-victor/hi

2012-06-18 14:29:08 2824

转载 Hadoop MapReduce容错性分析

转载自董的博客作者:Dong 网址:http://dongxicheng.org/mapreduce/hadoop-mapreduce-failure-tolerance/本文讲述Hadoop-0.21.0 以及以上版本中MapReduce的容错机制。包括JobTracker，TaskTracker，Job，Task，Record等级别的容错机制。1. JobTracker

2012-06-15 17:09:56 2827

转载关于NoSQL，你必须知道的九件事

翻译：http://blog.nosqlfan.com/html/1535.html原文：NOSQL DB BASICS FOR THE RDBMS-SAVVY本文提到的列表来源于一篇文章，文章标题是关系型数据库使用者必须知道的一些NoSQL知识。其中总结的九点NoSQL与RDBMS的区别联系非常不错。NoSQLFan为大家翻译在此。原文链接：NOSQL DB BASI

2012-06-15 14:48:20 618

转载关于HBase的一些零碎事

原地址：http://www.ningoo.net/html/2011/some_tips_about_hbase.html 目前稳定版本的HBase0.90.2只能基于Hadoop0.20.x系列版本，暂不支持最新的0.21.x。而且官方版本的Hadoop0.20.2（或者0.203.0）缺少一个重要的特性，HDFS不支持sync模式的持久，这样HBase就有较大的丢失数据

2012-06-15 13:14:53 508

转载 Region Server意外退出之后…

原地址：http://www.spnguru.com/2011/04/region-server%E6%84%8F%E5%A4%96%E9%80%80%E5%87%BA%E4%B9%8B%E5%90%8E/早晨上班好好的，突然nagios报出一台regionserver挂了。顿时忙碌起来。上去一看，从log中看到这样一条信息2011-04-08 04:02:22,083

2012-06-15 10:42:05 1413

转载 Linux和开源软件的商业化历程

原地址：http://www.oschina.net/news/19409/linux-opensource-commerceLinux和开源软件的商业化历程大致经历了以下几个阶段。1.萌芽阶段(1995年以前)在1995年以前，开源社区基本上没有考虑过商业化运行的问题。与开源软件有关的商业活动仅限于出售开源软件安装盘、书籍及印有开源软件标志的文化衫等小物品。但是这种商业行为当时

2012-06-14 13:49:35 2073

转载 Hadoop压缩算法说明与选择

原地址：http://yjhexy.iteye.com/blog/565334压缩是否支持多文件和分割：hadoop默认用压缩算法的本地实现===============================邪恶的分割线======================= 压缩是否有本地实现：hadoop的mapReduce算方法需要Splittable的压缩算法支

2012-06-13 10:10:37 2213

转载 Hadoop一些参数以及问题解悉

原地址：http://hi.chinaunix.net/?uid-9976001-action-viewspace-itemid-48380有时候DFSClient 操作hdfs总报连接超时的time out错，不一定都是因为网络原因造成，还有一种比较大的可能性是由于namenode的dfs.namenode.handler.count配置参数太低，默认为10。对hdfs和name

2012-06-13 10:06:34 1847

转载 redis.conf中文版（基于2.4）

原地址：http://my.oschina.net/liuxd/blog/61034?from=20120610# Redis示例配置文件# 注意单位问题：当需要设置内存大小的时候，可以使用类似1k、5GB、4M这样的常见格式：## 1k => 1000 bytes# 1kb => 1024 bytes# 1m => 1000000 bytes# 1mb => 1024*

2012-06-11 09:39:32 849

原创 Hadoop杂解

Hadoop其他开发方法：HadoopStreaming 允许用任何 shell 命令作为 map 或 reduce 函数。libhdfs 是一种基于 JNI 的 C 语言版 API（仅用于 HDFS）。Hadoop Pipes 是一种兼容 SWIG 的 C++ API （非 JNI），用于编写 MapReduce 作业。 Map读入文件不会切割：自己完成InputF

2012-06-08 15:26:00 458

转载写给15岁的女儿

近日，乐嘉在发布一篇长文，题为《写给15岁的女儿》。他在文章中就恋爱、做人、学习、阅读等问题以信件的方式跟女儿交流，原因是“丫头你不知，爹也害羞，有很多话，一直没和你说，今日和你聊聊”。该文章被网友广泛转发和评论，不少网友表示，读了之后泪流满面，“刚读前两段就眼眶发热了”，“那颗慈父心让人感动”。　　文章里，乐嘉以一个正在过37岁生日的父亲的身份，寄语1

2012-06-04 10:46:45 7580

转载配置Hadoop的机架感知

原地址：http://datasearch.ruc.edu.cn/~boliangfeng/blog/?p=525我们都知道Hadoop的拓扑结构是机架感知的，这样在分配、请求数据副本时，可以根据机架感知的拓扑结构取得选取节点进行操作的权重（参考Hadoop拓扑结构中关于距离的定义）。事实上默认Hadoop是没有机架感知的，要想使用它，需要我们额外的配置，配置过程如下：首先修改na

2012-06-04 10:45:19 2339

原创为什么移动计算比移动数据更便宜？

首先我们要先弄清楚什么是移动计算，什么是移动数据。假如你是财务的经理，你手下有两名员工：负责商务的小李与负责研发部门的小王。每月统计各部门财务情况时，会发生以下两种情况：小李与小王是新来的，还不懂业务所有事都需要你来做，小李与小王能作的的工作就是将各部门的帐本每天记录好，并在月底交给你，你算出结果交给BOSS，这就是移动数据小李与小王每个月将自已负责部门的帐本记录好，你抽个时间教会

2012-06-03 23:09:09 3442 2