2014年03月_小狼_百度

12月 10月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Controlling User Logging in Hadoop

Imagine that you’re a Hadoop administrator, and to make things interesting you’re managing a multi-tenant Hadoop cluster where data scientists, developers and QA are pounding your cluster. One day you

2014-03-31 11:59:09 733

转载 hadoop集群默认配置和常用配置

获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default

2014-03-31 11:30:19 720

转载 Hadoop的TaskTracker黑名单机制

Note：这里描述的黑名单是指jobtracker网页summary表格中显示的”Blacklisted Nodes"，称之为集群黑名单. 在HADOOP-4305之前，Hadoop中每个job会维护一个TaskTracker黑名单，这里称之为job黑名单。简单来讲就是当一个job中有4个task曾经在某个tasktracker上失败过，则该job就将这个tasktracker加入自

2014-03-31 10:30:18 807

转载文档型数据库CouchBase应用实践

在移动互联网时代，我们面对的是更多的客户端，更低的请求延迟，这当然需要对数据做大量的 Cache 以提高读写速度。现有 Cache 系统的特点目前业界使用得最多的 Cache 系统主要是 memcached 和 redis。这两个 Cache 系统都有都有很大的用户群，可以说是比较成熟的解决方案，也是很多系统当然的选择。不过，在使用 memcached 和 redis 过程

2014-03-27 15:24:07 1462

转载 Kafka命令行常用命令说明

基于0.8.0版本。##查看topic分布情况kafka-list-topic.shbin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 （列出所有topic的分区情况）bin/kafka-list-topic.sh --zookeeper 192.168.197.

2014-03-26 17:05:52 114621 2

转载 ZooKeeper监控

在公司内部，有不少应用已经强依赖zookeeper，zookeeper的工作状态直接影响它们的正常工作。目前开源世界中暂没有一个比较成熟的zookeeper-monitor, 于是开始zookeeper监控这块工作。目前zookeeper-monitor能做哪些事情，讲到这个，首先来看看哪些因素对zookeeper正常工作比较大的影响：用于zookeeper写日志的目录要有足够大小，并

2014-03-21 17:57:07 31964 3

转载 Hive修改表语句

0x01：重命名表1ALTER TABLE table_name RENAME TO new_table_name;上面这个命令可以重命名表，数据所在的位置和分区都没有改变。0x02：改变列名/类型/位置/注释1ALTER TABLE table_name CHANGE

2014-03-20 17:57:53 56837

转载 rpm安装总结

在RedHat Linux和Mandrake等兼容RedHat的发行版中，整个发行版都是利用RPM安装的。所以安装新软件的最好方法是从网络上下载rpm包。1）用RPM安装软件包，最简单的命令如下：# rpm -ivh foo-1.0-l.i386.rpm （这里讲的软件包是foo-1.0-l.i386.rpm，以下都是）foo####################

2014-03-20 14:42:05 781

转载结合使用 Hadoop 和 Couchbase

Hadoop 和数据处理Hadoop 将许多重要特性结合在一起，这使 Hadoop 对于将大量数据分解为更小、实用的数据块非常有用。Hadoop 的主要组件是 HDFS 文件系统，它支持将信息分布到整个集群中。对于使用这种分布格式存储的信息，可以通过一个名为 MapReduce 的系统在每个集群节点上进行单独处理。MapReduce 进程将存储在 HDFS 文件系统中的信息转换为更

2014-03-18 11:39:21 1260 1

转载 ZooKeeper Notes 9】ZooKeepr日志清理

转载请用注明：@ni掌柜 [email protected] 在使用zookeeper过程中，我们知道，会有dataDir和dataLogDir两个目录，分别用于snapshot和事务日志的输出（默认情况下只有dataDir目录，snapshot和事务日志都保存在这个目录中，关于这两个目录的详细说明，请看《ZooKeeper管理员指南》）。正常运行过程中，ZK

2014-03-13 19:12:47 16165

转载 HBase优化案例分析：Facebook Messages系统问题与解决方案

HDFS设计的初衷是为了存储大文件（例如日志文件），面向批处理、顺序I/O的。然而架设在HDFS之上的HBase设计的初衷却是为了解决海量数据的随机读写的请求。把这两种设计初衷截然相反的组件怎么揉在一起的呢？这种分层的结构设计主要是为了使架构更清晰，HBase层和HDFS层各司其职；但是却带来了潜在的性能下降。在很多业务场景中大家使用HBase抱怨最多的两个问题就是：Java GC相关的问题和随机

2014-03-11 21:13:37 1754

转载配置hadoop 使用fair scheduler调度器

hadoop版本为cloudera hadoop cdh3u3配置步骤为1. 将$HADOOP_HOME/contrib/fairscheduler/hadoop-fairscheduler-0.20.2-cdh3u3.jar拷贝到$HADOOP_HOME/lib文件夹中2. 修改$HADOOP_HOME/conf/mapred-site.xml配置文件

2014-03-03 21:53:40 3301