碧波海天

皓月星空

排序:
默认
按更新时间
按访问量

Firefox无法显示google+图标的问题

悲剧啊,原因是使用goAgent问题,其实只需要在将ssl.gstatic.com加入例外证书即可。 ============================= 新加GreaseMonkey的脚本来解决问题,下载地址:http://download.csdn.net/detail/ma...

2012-09-22 11:01:11

阅读数:1647

评论数:0

ToolRunner与eclipse hadoop 插件的替代品,简化M/R程序的开发

目前开发的时候测试M/R程序有三种方式 1.  直接打成jar包,然后放到服务器中去执行。此方法步骤繁琐,每次都要打包上传。 2.  使用Hadoop的Ecilpse插件,但是对于N多的Hadoop版本总替换插件,是不是也是一种痛苦呢? 3.  使用Hadoop的测试框架...

2012-09-11 12:44:44

阅读数:2308

评论数:0

String.split()方法的一点说明

今天在进行开发时结果总是不正确。调试发现如下内容: 原字符串 valStr="1.txt\\*\\&\\*5" 想拆分成1.txt与5,方法如下 String[] splitVal = valStr.split("\\*\\&\\*&...

2012-07-31 16:23:16

阅读数:547

评论数:0

hbase的replication使用

原地址:http://koven2049.iteye.com/blog/983633 hbase-0.90.0的一个重要改进是引入了replication机制,使它的数据完整性得到了进一步的保障。虽然这一功能还不太完善,但是今后必然会变得更加重要。  hbase的replication机制...

2012-07-06 16:54:23

阅读数:4017

评论数:0

Mongodb VS Hbase

转载:http://hi.baidu.com/i1see1you/blog/item/a8038399d9a777286e068c8a.html 1.Mongodb bson文档型数据库,整个数据都存在磁盘中,hbase是列式数据库,集群部署时每个familycolumn保存在单独的hdfs文件...

2012-07-06 16:23:55

阅读数:29148

评论数:3

hadoop作业调优参数整理及原理

原地址:http://www.tbdata.org/archives/1470 1 Map side tuning参数 1.1 MapTask运行内部原理 当map task开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂...

2012-06-18 15:44:54

阅读数:913

评论数:0

使用Hive读取Hbase中的数据

原地址:http://victorzhzh.iteye.com/blog/972406 第一步,启动hadoop,命令:./start-all.sh 第二步,启动hive,命令: ./hive --auxpath /home/dream-victor/hive-0.6...

2012-06-18 14:29:08

阅读数:2535

评论数:0

Hadoop MapReduce容错性分析

转载自董的博客 作者:Dong  网址:http://dongxicheng.org/mapreduce/hadoop-mapreduce-failure-tolerance/ 本文讲述Hadoop-0.21.0 以及以上版本中MapReduce的容错机制。包括JobTracker,TaskT...

2012-06-15 17:09:56

阅读数:2438

评论数:0

关于NoSQL,你必须知道的九件事

翻译:http://blog.nosqlfan.com/html/1535.html 原文:NOSQL DB BASICS FOR THE RDBMS-SAVVY 本文提到的列表来源于一篇文章,文章标题是关系型数据库使用者必须知道的一些NoSQL知识。其中总结的九点NoSQL与RDBM...

2012-06-15 14:48:20

阅读数:487

评论数:0

关于HBase的一些零碎事

原地址:http://www.ningoo.net/html/2011/some_tips_about_hbase.html         目前稳定版本的HBase0.90.2只能基于Hadoop0.20.x系列版本,暂不支持最新的0.21.x。而且官方版本的Hadoop0.20.2(或者...

2012-06-15 13:14:53

阅读数:411

评论数:0

Region Server意外退出之后…

原地址:http://www.spnguru.com/2011/04/region-server%E6%84%8F%E5%A4%96%E9%80%80%E5%87%BA%E4%B9%8B%E5%90%8E/ 早晨上班好好的,突然nagios报出一台regionserver挂了。顿时忙碌起来。...

2012-06-15 10:42:05

阅读数:1171

评论数:0

Linux和开源软件的商业化历程

原地址:http://www.oschina.net/news/19409/linux-opensource-commerce Linux和开源软件的商业化历程大致经历了以下几个阶段。 1.萌芽阶段(1995年以前) 在1995年以前,开源社区基本上没有考虑过商业化运行的问题。与开源软件...

2012-06-14 13:49:35

阅读数:1181

评论数:0

Hadoop压缩算法说明与选择

原地址:http://yjhexy.iteye.com/blog/565334 压缩是否支持多文件和分割: hadoop默认用压缩算法的本地实现 ===============================邪恶的分割线=======================  ...

2012-06-13 10:10:37

阅读数:1936

评论数:0

Hadoop一些参数以及问题解悉

原地址:http://hi.chinaunix.net/?uid-9976001-action-viewspace-itemid-48380 有时候DFSClient 操作hdfs总报连接超时的time out错,不一定都是因为网络原因造成,还有一种比较大的可能性是由于namenod...

2012-06-13 10:06:34

阅读数:1429

评论数:0

redis.conf中文版(基于2.4)

原地址:http://my.oschina.net/liuxd/blog/61034?from=20120610 # Redis示例配置文件 # 注意单位问题:当需要设置内存大小的时候,可以使用类似1k、5GB、4M这样的常见格式: # # 1k => 1000 bytes # ...

2012-06-11 09:39:32

阅读数:742

评论数:0

Hadoop杂解

Hadoop其他开发方法: HadoopStreaming 允许用任何 shell 命令作为 map 或 reduce 函数。 libhdfs 是一种基于 JNI 的 C 语言版 API(仅用于 HDFS)。 Hadoop Pipes 是一种兼容 SWIG 的 C++ API (非 JNI)...

2012-06-08 15:26:00

阅读数:332

评论数:0

写给15岁的女儿

近日,乐嘉在发布一篇长文,题为《写给15岁的女儿》。他在文章中就恋爱、做人、学习、阅读等问题以信件的方式跟女儿交流,原因是“丫头你不知,爹也害羞,有很多话,一直没和你说,今日和你聊聊”。该文章被网友广泛转发和评论,不少网友表示,读了之后泪流满面,“刚读前两段就眼眶发热了”,“那颗慈父心让人感动”。...

2012-06-04 10:46:45

阅读数:3962

评论数:0

配置Hadoop的机架感知

原地址:http://datasearch.ruc.edu.cn/~boliangfeng/blog/?p=525 我们都知道Hadoop的拓扑结构是机架感知的,这样在分配、请求数据副本时,可以根据机架感知的拓扑结构取得选取节点进行操作的权重(参考Hadoop拓扑结构中关于距离的定义)。 ...

2012-06-04 10:45:19

阅读数:2095

评论数:0

为什么移动计算比移动数据更便宜?

首先我们要先弄清楚什么是移动计算,什么是移动数据。 假如你是财务的经理,你手下有两名员工:负责商务的小李与负责研发部门的小王。每月统计各部门财务情况时,会发生以下两种情况: 小李与小王是新来的,还不懂业务所有事都需要你来做,小李与小王能作的的工作就是将各部门的帐本每天记录好,并在月底交...

2012-06-03 23:09:09

阅读数:2415

评论数:2

M/R的数据源为HBase时须关闭Speculative Execution

在HBase使用Speculative Execution会加重regionserver的load。  因为用Hadoop map/reduce操作HBase的时候,会尽量采用本地原则,即相应的task尽量使用本地的数据。 而如果另起一个task,则会导致数据不在本地,凭空浪费IO和网络资源。 ...

2012-05-30 15:40:04

阅读数:870

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭