weixin_39610040的博客

Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.94.0 中，日志传输

1上传文件到root用户下的tmp目录下，然后使用root用户解压[root@h101 tmp]$ tar -zxvf flume-ng-1.2.0-cdh3u5.tar.gz -C /usr/local/授权：chown hadoop.hadoop /usr/local/flume-ng-1.2.0-cdh3u5切换用户： su - hadoop[hadoop@h101 ~]$ vi .bash

1.hive小文件合并输出合并合并输出小文件。输出时，若是太多小文件，每个小文件会与一个block进行对应，而block存在的意义是为了方便在namenode中存储，那么过多的block将会充斥namenode的表中，待集群规模增大和运行次数增大，那么维护block的表将会过大，严重降低namenode性能。set hive.merge.mapfiles = true #在Map-only的任务结

1.创建复杂类型的表（array）create table qq1(id int,name string,xingge array)row format delimited fields terminated by ' 'collection items terminated by ',';2.数据源101 zs haha,hehe,heihei102 ls haha,gaga,wawa3.载入数

关系数据库里有表（table），分区，hive里也有这些东西，这些东西在hive技术里称为hive的数据模型。今天本文介绍hive的数据类型，数据模型以及文件存储格式。这些知识大家可以类比关系数据库的相关知识。　　首先我要讲讲hive的数据类型。　　Hive支持两种数据类型，一类叫原子数据类型，一类叫复杂数据类型。　　原子数据类型包括数值型、布尔型和字符串类型，具体如下表所示：基本数据类型类型描述

-e filename 如果 filename存在，则为真-d filename 如果 filename为目录，则为真-f filename 如果 filename为常规文件，则为真-L filename 如果 filename为符号链接，则为真-r filename 如果 filename可读，则为真-w filename 如果 filename可写，则为真-x filename 如果 file

进入hive shell#hive或者hive --service cliHive 的启动方式:hive  命令行模式，直接输入/hive/bin/hive的执行程序，或者输入 hive –service clihive  web界面的启动方式，hive –service hwi  hive  远程服务 (端口号10000) 启动方式，hive --service hiveserverhive  

一、Hive的几种常见的数据导入方式（插入过程中，不做源数据检测，即：什么数据都可以插入，只是查询时会报空值）这里介绍四种：（1）从本地文件系统中导入数据到Hive表；（2）从HDFS上导入数据到Hive表；（3）从别的表中查询出相应的数据并导入到Hive表中；（4）在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中[hadoop@h91 hive-0.9.0-bin]$ bin/h

一、关系运算：1. 等值比较: =语法：A=B操作类型：所有基本类型描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE举例：hive>select 1 from lxw_dual where 1=1;12. 不等值比较: 语法: A 操作类型: 所有基本类型描述: 如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A与表达式B不相等，则为TRUE；否则为FAL

1.hive只需要安装在 hadoop主节点上root用户安装，并授权2.[root@h91 ~]# vi /etc/profile（需要reboot重启虚拟机）或者可以 [hadoop@h91 ~]$ vi .bash_profile （切换用户再切换回来即可）添加export HIVE_HOME=/usr/local/hive-0.7.1-cdh3u5export HADOOP_HOME=/u