- 博客(5)
- 资源 (38)
- 收藏
- 关注
原创 hadoop相关参数对集群的影响
随着HBase的上线带来了一些问题,在调整原来参数的过程中,影响到了之前相关任务的执行过程 其中就有个参数: mapred.reduce.parallel.copies 当初上线的时候,设置是20。由于后面在对hbase做相关批量导入数据时,将此值修改成6。然后脚本在运行时在reduce阶段,Read timeOut的超时现象。
2013-03-21 16:40:42 1377 3
原创 各种方式将数据导入到HBase体验
目前随着HBase的上线,需要将各种零散的数据源陆续导入到HBase中。 根据自己的使用下来的感受,总结导入方式有以下几种: 第一:命令行导入 第二:编写MR程序导入 第三:采用javaAPI的方式导入 第四:使用Sqoop方式导入 第一种很简单。不适合从已存在的数据中导入,就是兼容性不好。 第二种细分为三类:总体来说,数据都是放在HDFS上面。 第一类使用Tab
2013-03-20 10:44:03 1796 2
转载 Linux lsof使用
lsof(list open files)是一个列出当前系统打开文件的工具。在linux环境下,任何事物都以文件的形式存在,通过文件不仅仅可以访问常规数据,还可以访问网络连接和硬件。 在终端下输入lsof即可显示系统打开的文件,因为 lsof 需要访问核心内存和各种文件,所以必须以 root 用户的身份运行它才能够充分地发挥其功能。 [root@master ~]# lsof -p 22
2013-03-12 16:38:00 1065
原创 tune2fs使用
[root@master ~]# tune2fs tune2fs 1.39 (29-May-2006) Usage: tune2fs [-c max_mounts_count] [-e errors_behavior] [-g group] [-i interval[d|m|w]] [-j] [-J journal_options] [-l] [-s sp
2013-03-12 15:25:45 1359
原创 编写MR运行在Hbase上面注意事项
最近很久没写blog了,主要精力在搭建和部署Hbase上面。 因为对Hbase了解不多,以下碰到的问题都是很基础问题: 1、运行MR程序时出现: 13/03/07 14:04:58 INFO mapred.JobClient: Task Id : attempt_201303031058_0325_m_000008_0, Status : FAILED java.lang.RuntimeE
2013-03-07 16:32:06 8403 20
J2EE Connector Architecture and Enterprise Application Integration
2009-03-22
Pattern-Oriented+Software+Architecture_resource.management3
2009-01-03
SWT.The.Standard.Widget.Toolkit.Volume.1
2008-12-09
Pattern-Oriented+Software+Architecture_resource.management
2008-11-22
Java-Concurrency-in-Practice
2010-02-01
iPhone Open Application Development
2010-01-30
Database Porgramming With Jdbc And Java 2nd Edition
2009-11-07
Java™ Performance and Scalability Volume 1
2009-10-08
Pattern.Oriented.Software.Architecture.Volume.4
2009-09-05
Game.Programming.with.Python.Lua.And.Ruby
2009-08-25
Parsing Techniques - A Practical Guide
2009-08-15
Modern Compiler Implementation in Java Second Edition
2009-08-09
Garbage Collection Algorithms For Automatic Dynamic Memory Management
2009-04-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人