hadoop
domenic00
这个作者很懒,什么都没留下…
展开
-
source name ugi already exists
强行关机或hadoop意外中断会出现这种错误: not start task tracker because java.io.IOException: Failed to set permissions o f path: \app\hadoop\tmp\mapred\local\ttprivate to 0700 source name ugi already exists ...原创 2012-04-26 10:03:03 · 210 阅读 · 0 评论 -
hadoop NOSQL 还是oracle, sql server, mysql...???
不知道哪天开始了, hadoop nosql开始不停的闯入眼帘,对hadoop充满了好奇与神往,最近有点闲功夫,于是弄了下hadoop, 不弄不知道,一弄吓一跳,不停的折腾worcount, wordcount,终于明白了MR, 原来hadoop差点把我带进沟里去了!!其实我最初的想法不是MR, 而是分布式存储于计算,我更加关心hadoop dfs -copyFromLocal 这样的命令是怎么实...原创 2012-04-28 09:24:43 · 313 阅读 · 0 评论 -
hadoop讨论
雪候鸟 9:46:08 hadoop只是降低了分布式开发的门槛,只需要调用map reduce接口,就能写一个在一个很大数据集上跑的分布式程序,但它效率并不高,一个进程动辄占几个G。这也是为什么百度自己实现一套hadoop。但它还是可以满足大多数公司处理大数据的需要,我觉得结合业务设计一个好的mr很重要,也很难。 乄信念ヤ(244985220) 9:47:22 pig的mapreduce...原创 2012-04-28 10:21:46 · 128 阅读 · 0 评论 -
hadoop name node 双机热备
参考:http://touch-123.iteye.com/blog/1493594 以前Hadoop版本中,NameNode是HDFS集群的单点故障(single point of failure,SPoF),SPoF指系统中这个部件失效或停止运转将会导致整个系统不能工作。而这在下面两种情况出现: (1) 意外事件如机器crash,集群直到重启NameNode...原创 2012-04-28 12:40:09 · 114 阅读 · 0 评论 -
还想做2件事情
没什么奢求了,把曾经做过的2件事情争取做完美就心满意足了,问题的核心是怎么做成大众易用的产品。 1. 网站竞争力指标分析。核心还是日志分析,可以通过网站的日志或者通过注册后的脚本注入生成日志。 突然发现,淘宝量子那么多人在做,还不是我10年前做的事情,而且做的很好啊,我觉得也没那么神秘,现在大数据可以用hadoop就搞定,分析来分析去还是那些指标而已。看看webtrends吧,技术不是王...原创 2012-05-03 09:19:38 · 77 阅读 · 0 评论