2018年09月_LousenJay

12月 11月 10月 09月 08月 07月 06月

原创 HBase入门详解（三）

个人博客原文链接环境：centos7+hadoop3.0.3+hbase2.0.1+jdk8HBase的MapReduce操作注意事项：* Map继承TableMapper* Reduce继承TableReducer* 最后Reduce输出的value的类型是Mutation* 通过TableMapReduceUtil来设置相关信息实例：统计行键并添加到指定列族public cl...

2018-09-25 19:58:40 460

原创 HBase入门详解（二）

个人博客原文链接环境：centos7+hadoop3.0.3+hbase2.0.1+jdk8HBase开发测试代码准备 Configuration conf = null; ExecutorService pool = null; Connection conn = null; Admin admin = null; Table table = nul...

2018-09-25 11:56:48 1095 1

原创 HBase入门详解（一）

个人博客原文链接简介什么是HBaseHBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。HBASE是Google Bigtable的开源实现，但是也有很多不同之处。比如：Googl...

2018-09-19 22:22:31 547

原创 Hive入门详解（三）

个人博客原文链接内置函数UDF和内置运算符取随机数rand()select rand() from t_product;求a的阶乘factorial(INT a)select factorial(10) from t_product;求最大值greatest(T v1, T v2, …)select greatest(10,123,53,34,1,23,502,120...

2018-09-18 23:11:12 311

原创 Hive入门详解（二）

个人博客原文链接Hive的DDL操作创建表（四种表）内部表创建产品表create table t_product(id int,name string,price double,category string)row format delimitedfields terminated by ','stored as textfile;导入数据(从本地)load data ...

2018-09-18 23:10:14 360

原创 Hive入门详解（一）

个人博客原文链接简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能安装Hive将hive安装到hadoop的同级目录下tar -zxvf apache-hive-2.3.3-bin.tar.gz -C /home/hadoop/apps/配置环境变量vi ~/.bash_profile增加export HIVE_...

2018-09-18 09:02:16 276

原创 MapReduce入门详解（三）

个人博客原文链接join操作左外连接(map)-JoinMapSideMR问题描述：将两个文件中每行的内容拼接到一个文件中思路分析：准备好两个map，firstMapper和joinMapper，firstMapper负责获取文件内容，joinMapper负责拼接文件内容。利用Job开启两个firstMapper任务，获取到两个文件的内容，然后再开启一个joinMapp...

2018-09-07 09:06:08 438

原创 MapReduce入门详解（二）

个人博客原文链接MapReduce实践攻略超详细入门级-WordCount问题描述：统计一个文件中，各种单词出现的次数思路分析： 1. 在map阶段，对每行数据调用一次map方法，对读取到的每行数据按空格进行切割，将分割得到的每个单词作为key，value的值给定为1传递给reduce 2. 在reduce阶段，从map接收到传递过来的key和value，key值相同的...

2018-09-03 11:46:50 657