RZH_long的博客

flume的安装比较简单，在以后的hadoop环境上安装一台发送到其他机器上去即可tar -zxvf flume-ng-1.6.0-cdh5.14.0.tar.gz -C /export/servers/cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin/confcp flume-env.sh.template flume-env.shvimflume-env.shexport JAVA_HOME=/export/servers/...

1.fetch抓取select * from A;这种语句可以直接读取文件，不走MR程序会快很多；不走MR程序的情况：在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal，该属性修改为more以后，在全局查找、字段查找、limit查找等都不走mapreduce。设置conversion参数后再执行sql:hive (default)> set hive.fetch.task.

行存储的特点：查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。列存储的特点：因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的；ORC和PARQUET是基于列式存储的（实际生产一般用这两种和sn...

压缩格式jar包目录一览表 压缩格式 对应的编码/解码器 DEFLATE org.apache.hadoop.io.compress.DefaultCodec gzip org.apache.hadoop.io.compress.GzipCodec bzip2 org.apache.hadoop.io.compress.BZip2Codec

maven导入jar包<repositories><repository><id>cloudera</id><url>https://repository.cloudera.com/artifactory/cloudera-repos/</url></repository></repositories><dependencies>...

select的语法概述(掌握每个关键字的含义和使用):SELECT [ALL | DISTINCT] select_expr, select_expr, ...FROM table_reference[WHERE where_condition][GROUP BY col_list [HAVING condition]][CLUSTER BY col_list| [DISTRIBUTE BY col_list] [SORT BY| ORDER BY col_list] ]...

--------------------------------------------数据导入--------------------------------------------------1.直接向分区表中插入数据（强烈不推荐使用，会调用MR程序，非常慢）insert into table score3 partition(month ='201807')values ('001','002','100');2.通过load方式加载数据load data local inpath .

-----------------------------创建数据库表语法(熟悉关键字)-----------------------------------------CREATE [EXTERNAL] TABLE[IF NOT EXISTS] table_name[(col_name data_type [COMMENT col_comment], ...)][COMMENT table_comment][PARTITIONED BY(col_name data_t...

--------------------------------------hive的交互:--------------------------------------------------1.Hive交互shell(不常用)cd/export/servers/hive-1.1.0-cdh5.14.0bin/hive2.第二种交互方式：Hive JDBC服务（一般后台启动输出日志到文件，常用）启动服务端，客户端进行连接。前台启动cd /export/servers/hi..

JSONObject 转 JSON 字符串JSONObject jsonObject = new JSONObject(); jsonObject.put("name", "wjw"); jsonObject.put("age", 22);jsonObject.put("sex", "男");jsonObject.put("school", "商职");String jsonStr = JSONObject.toJSONString(jsonObject);System.out.pr..

1、解压hivecd /export/softwarestar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/直接启动bin/hivecd ../servers/cd hive-1.1.0-cdh5.14.0/bin/hivehive> create database mytest;缺点：多个地方安装hive后，每一个hive是拥有一套自己的元数据，大家的库、表就不统一；使用mysql共享hive元数据..

package com.cn.demo_groupTopN;import org.apache.hadoop.io.WritableComparable;import org.apache.hadoop.io.WritableComparator;/** * 继承WritableComparator类，重写compare 方法 相同的订单ID认为相同 */public class MyGroupCompactor extends WritableComparator { /*.

package com.cn.demo_outputformat;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hado.

package com.cn.demo_xwjhb;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.BytesWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.mapreduce.InputSplit;import org.apache.hadoop.mapreduce.JobContext;import org.apa.

------------------------------------reduce端join-------------------------------package demo06.reducejoin;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Map.

文件压缩有两大好处，节约磁盘空间，加速数据在网络和磁盘上的传输在重新编译过hadoop的c源码后才可以用谷歌的snappy压缩。我们可以使用bin/hadoop checknative 来查看我们编译之后的hadoop支持的各种压缩，如果出现openssl为false，那么就在线安装一下依赖包//查看压缩支持情况 bin/hadoop checknative//在线安装 yum install openssl-devel这种压缩对应的java类 压缩格式 ...

package demo04.flow;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Partitioner;/** * 分区继承于这个类，重写getPartition方法返回数字根据数字分到各个reduce,此处传入的是K2,V2 */public class FlowPartion extends Partitioner<Text, FlowNum> { @Override.

package demo05.flowOrder;import demo04.flow.FlowNum;import org.apache.hadoop.io.WritableComparable;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;/** * 排序和序列化要实现WritableComparable这个接口,重写compareTo和write，readFields方法.

import org.apache.hadoop.io.WritableComparable;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;/** * 序列化和比较： * 序列化实现:Writable * 比较实现:Comparable * 既序列化又比较实现:WritableComparable 后面要加泛型 */public class SortWritable i.

package com.a.b.partion_demo;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Partitioner;public class MyPartioner extends Partitioner<Text,NullWritable> { @Override public in.