hadoop
文章平均质量分 55
zhaoguoxian12345
这个作者很懒,什么都没留下…
展开
-
facebook realtime hadoop
Realtime Apache Hadoop at Facebook PPT读后感和摘录. 标签:HBaseFacebookFacebook Realtime Hadoop:英文原版PPT微盘: SIGMODRealtimeHadoopPresentation.pdf为什么选择Hadoop/HBase:Problem: MySQL:转载 2012-02-19 19:30:59 · 1272 阅读 · 0 评论 -
facebook实时hadoop
别人的东西记录一下 留着以后查: Facebook 在今年六月 SIGMOD 2011 上发表了一篇名为“Apache Hadoop Goes Realtime at Facebook”的会议论文 (pdf),介绍了 Facebook 为了打造一个实时的 HBase 系统使用到的独门秘技。由于该论文提到的应用场景与小弟负责的系统要解决的问题域有相似之处,因而抽时间仔细阅读了这篇论转载 2012-02-19 19:29:05 · 782 阅读 · 0 评论 -
hadoop端口号列表
Hadoop缺省端口列表50030 mapred.job.tracker.http.address 描述:JobTracker administrative web GUI JOBTRACKER的HTTP服务器和端口50070 dfs.http.address 描述:NameNode administrative web GUI NAMENODE的HTTP服务器和端口原创 2012-04-23 18:38:11 · 4273 阅读 · 0 评论 -
storm集群安装及zk集群安装
1 zk集群安装:1)下载zk(zookeeper-3.3.3.tar.gz) 2)配置:tickTime=2000 dataDir=/tmp/zookeeperclientPort=2181initLimit=10syncLimit=5server.1=【host1】:2555:3555server.2=【host2】:2556:3556原创 2012-07-09 15:02:26 · 2165 阅读 · 0 评论 -
Storm安装Leiningen 指南
1 下载lein脚本(在github上)chmod 755 lein mv lein /usr/bin/2 export HTTP_CLIENT="wget --no-check-certificate -O" 为了从github能够下载到文件3 lein self-install4 Leiningen is a tool for working with Clojure p原创 2012-07-10 15:33:29 · 1521 阅读 · 1 评论 -
hadoop调优记录--001
因为集群资源紧张,导致集群在使用的时候原来粗放示的任务已经极为耗集群的资源,于是进行调整,把原来有mapreduce的jar任务和hive任务进行组合的任务进行修正,全部改成由jar包任务的任务模式,但是在调整的过程中发现 1 reduce会卡在一个阶段不能向下运行,于是调整两个方式,1) 原来变量累增的记录全部改为有longwritable的类型2) 增加combiner逻辑原创 2012-07-24 16:00:33 · 611 阅读 · 0 评论