收藏
文章平均质量分 70
jingling_zy
这个作者很懒,什么都没留下…
展开
-
如何更有效地学习开源项目的代码
转自:http://sd.csdn.net/a/20111219/309355.html导读:对于开发者来说,社区里丰富的开源代码其实是笔极为宝贵的财富。如果能充分利用好开放源代码的资源,不仅可以掌握多种编程方法,提高实践能力,还能获得好的思想,激发编程灵感。开源代码怎么学以及怎样才能学好是大家经常关注的话题,日前,在问答网站知乎上,有人抛出了“如何更有效地学习开源项目的代码?”的话题,众技术转载 2012-02-16 00:09:16 · 831 阅读 · 0 评论 -
hadoop命令distcp注意事项
地址:http://blog.csdn.net/azhao_dn/article/details/7054286#hadoop distcp命令用于在两个不同的集群间拷贝数据,它的优点在于将数据拷贝操作作为mapred程序来执行,这样就大大提高了拷贝的速度,使用distcp命令时必须注意以下事项: 1)数据源集群 的所有节点必须 知道目标集群所有节点ip和host的转换关系转载 2012-05-10 11:38:44 · 1236 阅读 · 0 评论 -
在多硬盘情况下的Hadoop配置注意项
原文地址:http://blog.csdn.net/dajuezhao/article/details/6797015一、背景1、最近在做hadoop的性能测试,采用了自带的Terasort的方式,但是在运行的过程中发现如果数据量过大,对硬盘I/O需求不小(通过Ganglia监控发现),因此,打算找找看是否有合适的配置来解决这样一类的问题,所以才有了这篇记录的文档。2、在做修改之前转载 2012-04-23 20:04:55 · 1353 阅读 · 0 评论 -
source 1.3 中不支持泛型 解决办法
原文地址:http://greenlight.blog.51cto.com/3159513/687547maven打包时始终出现以下提示: 1、-source 1.3 中不支持泛型(请使用 -source 5 或更高版本以启用泛型)List userList= new ArrayList(); 2、-source 1.3 中不支持注释(请使用 -source 5转载 2012-05-02 20:19:07 · 12341 阅读 · 0 评论 -
hadoop 各类key value分隔符参数
原文地址:http://wingmzy.iteye.com/blog/1260570hadoop中的map-reduce是处理这样的键值对,故指定的分割符等参数可以分成三类:map输出时分割符分桶时的分隔符reduce输出时的分割符下面分别叙述:1. map输出时分割符参数:stream.map.output.field.sepa转载 2012-04-15 21:40:33 · 5473 阅读 · 0 评论 -
低效的7个习惯
原文地址:http://wenku.baidu.com/view/d4ba5fbd960590c69ec3769d.html呵呵,看了这篇文章,很过关于自己工作效率的问题,都得到了答案,这里也分享一下,一是提醒自己,另外也是给跟我一样因效率困惑的人提供参考。--------------------------以下是原文--------------------------就像寻找转载 2012-03-30 12:54:07 · 869 阅读 · 0 评论 -
NoSuchMethodException: org.apache.hadoop.io.ArrayWritable.<init>问题解决总结
今天写了一个map reduce程序,在map端输出是ArrayWritable类型的,可是到了reduce里报出了NoSuchMethodException: org.apache.hadoop.io.ArrayWritable.的问题。在网上分别看了两篇文章:http://groups.google.com/group/nosql-databases/browse_thread/threa原创 2012-03-27 17:30:14 · 4117 阅读 · 2 评论 -
基于HDFS的FTP
原文地址:http://blog.sina.com.cn/s/blog_3dbab2840100w2be.html一家公司使用apache的ftpserver开发框架开发了针对hadoop的hdfs文件系统的ftp服务器,当然是开源的.站点:http://www.hadoop.iponweb.net/Home/hdfs-over-ftp安装过程非常简单,本人只是在linux下安装过,w转载 2012-03-27 10:32:04 · 6493 阅读 · 1 评论 -
MapReduce Map数 reduce数设置
JobConf.setNumMapTasks(n)是有意义的,结合block size会具体影响到map任务的个数,详见FileInputFormat.getSplits源码。假设没有设置mapred.min.split.size,缺省为1的情况下,针对每个文件会按照min (totalsize[所有文件总大小]/mapnum[jobconf设置的mapnum], blocksize)为大小来转载 2012-03-05 18:11:32 · 12001 阅读 · 0 评论 -
hadoop集群崩溃恢复记录
转载:http://www.blogjava.net/badqiu/archive/2011/12/14/366178.html一.崩溃原因搭建的是一个hadoop测试集群,所以将数据备份参数设置为dfs.replication=1,这样如果有一台datanode损坏的话,数据就会失去。但不幸的是,刚好就有一台机器由于负载过高,导致数据操坏。进而后面需要重启整个hadoop集群,重转载 2012-02-29 19:35:24 · 2770 阅读 · 0 评论 -
HBase在淘宝主搜索的Dump中的性能调优
目前HBase已经运用于淘宝主搜索的全量和增量的数据存储,有效的减低的数据库的压力,增强了业务扩展的能力。Dump系统的特点是要求在短时间内处理大量数据,对延时要求高。在实施这个项目过程中,我们积累了一些优化的实践,抛砖引玉,供大家参考。环境:Hadoop CDH3U4 + HBase 0.92.11、 尽可能用LZO数据使用LZO,不仅可以节省存储空间尤其是可以提高传输的效率,因为转载 2012-08-04 09:50:51 · 900 阅读 · 0 评论