2013年10月_sadxhy

10月 02月 01月

转载 Hadoop集群中增加新节点

Hadoop集群中增加新节点向一个正在运行的Hadoop集群中增加几个新的Nodes1. 新节点上部署java/hadoop程序，配置相应的环境变量2. 新节点上增加用户，从master上拷贝id_rsa.pub并配置authorized_keys3. 新节点上设置host，需要有集群中各节点的host对应4. 新节点上建立相关的目录，并修改属主

2013-10-01 00:42:03 1192

转载在Hive中创建索引

create table TBL_FACT_SYMBIAN_PACKET(PROVICE_FK INT,DATE_FK INT,MODEL_FK INT,COUNTRY_FK INT,NETWORK_FK INT,OSLAG_FK INT,OS_FK INT,NQ_SOFTWARE_VER INT,SUBCOOP_FK INT,NQ_SOFTWARE_TYPE_FK INT

2013-10-01 00:21:52 680

转载 Hive 中的日志

日志记录了程序运行的过程，是一种查找问题的利器。Hive中的日志分为两种1. 系统日志，记录了hive的运行情况，错误状况。2. Job 日志，记录了Hive 中job的执行的历史过程。系统日志存储在什么地方呢？在hive/conf/ hive-log4j.properties 文件中记录了Hive日志的存储情况，默认的存储情况：hive.root.log

2013-10-01 00:21:25 646

转载 Hive中的数据分区

首先认识什么是分区Hive 中的分区就是分目录，把一个大的数据集根据业务需要分割成更下的数据集。1. 如何定义分区，创建分区 hive> create table test(name string,sex int) partitioned by (birth string, age string);Time tak

2013-10-01 00:20:28 712

转载 hadoop数据迁入到hive

由于很多数据在hadoop平台，当从hadoop平台的数据迁移到hive目录下时，由于hive默认的分隔符是\,为了平滑迁移，需要在创建表格时指定数据的分割符号，语法如下： create table test(uid string,name string)row format delimited fields terminated by '\t'；通过这种方式，完成分隔符的指定。

2013-10-01 00:19:31 1075

转载 hive使用mysql保存metastore

Hive 将元数据存储在 RDBMS 中，有三种模式可以连接到数据库： 1）ingle User Mode：此模式连接到一个 In-memory 的数据库 Derby，一般用于 Unit Test。 2）Multi User Mode：通过网络连接到一个数据库中，是最经常使用到的模式。 3）Remote Server Mode：用于非 Java 客户端访问元数据库，在服务器端启动一个

2013-10-01 00:16:07 761

转载 Scribe+HDFS日志收集系统安装方法

1、概述Scribe是facebook开源的日志收集系统，可用于搜索引擎中进行大规模日志分析处理。其通常与Hadoop结合使用，scribe用于向HDFS中push日志，而Hadoop通过MapReduce作业进行定期处理，具体可参见日文日志：http://d.hatena.ne.jp/tagomoris/touch/20110202/1296621133其安装非常复杂，主

2013-10-01 00:13:13 660