2012年06月_awayyao

10月 06月 05月

原创 Hive某些版本在查询多个小文件组成的hive表时时间超长

keywords: hive, slow query, many splits, inputformat level: high evidence: different version hive compare: 1 node, select count(1) from t, time less than 2 nodes, same query (t contains about 10

2012-06-19 17:52:04 566

原创 hadoop在reduce阶段出现DataXceiver数量的报错

keywords: hive query error, reduce phase error, datanote error level: critical evidence: execute large overwrite operation, aborting in reduce phase ==datanote== 2012-06-14 22:42:33,445 ERROR org

2012-06-19 17:50:33 1105

原创 Hadoop Mapreduce作业在reduce阶段出现Too may files 错误

key words: DataXceiverServer, Too many open files, ulimit level: critical evidence: ==datanode== 2012-06-14 04:13:54,011 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(

2012-06-19 17:48:43 683

原创使用sqoop工具进行数据表增量导入

sqoop工具是hadoop环境下连接关系数据库和hadoop存储系统的桥梁，支持多种关系数据源和hive，hbase表格的相互导入。一般情况下，关系数据表存在于线上环境的备份环境，需要每天进行数据导入。如果数据表较大，我们通常不可能每次都进行全表的导入。幸运的是，sqoop提供了增量导入数据的机制。下面就以mysql数据表为例，看一个例子。假设在本地假设了Mysql服务器，我们需要每天从

2012-06-05 17:16:32 5904 1

windows7 天气修复补丁

Windows7 提供了很多很好的桌面小工具，比如时钟，日历。但是当我们使用天气工具时，常常会发现天气小工具不能使用，还会出现这样的提示：该地区的服务无法启用。这是由于天气小工具不能访问国外的网站来获得天气信息造成的。胶囊软件修正了这个程序，并且在此基础上添加了湿度和风向显示。使得这个工具更加完美。下载软件包，直接安装即可解决。

2010-04-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人