大数据学习
aubergines
在攀登新的高峰上不断努力,个人博客http://www.aubergine.cc/
展开
-
Hadoop学习
前言Hadoop是使用Java编写,允许分布在集群,使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展,每个机器都可以提供本地计算和存储Hadoop的安装安装JDK:因为Hadoop是使用Java编写的,所以Hadoop的运行环境是依赖JDK,关于JDK的安装,请看之原创 2017-10-08 14:36:10 · 362 阅读 · 0 评论 -
Hive Beeline 的使用
前言:官方文档这样来说HiveServer2HiveServer2 (introduced in Hive 0.11) has its own CLI called Beeline. HiveCLI is now deprecated in favor of Beeline, as it lacks the multi-user, security, and other capabilities...原创 2018-03-21 11:21:46 · 3156 阅读 · 0 评论 -
使用druid管理Hive的连接池
前言:HiveServer2可以使用多种语言作为客户端,连接改服务,进行Hive数据的查询与处理,之前使用的是自己的维护的连接池,后来做了一下改进,使用的了阿里的druid维护这个连接池,我使用的是Maven,下面就介绍一下我的整个项目的配置pom.xml文件的配置 <dependency> <groupId>org.springframework.boo...原创 2018-03-21 12:25:02 · 12024 阅读 · 11 评论 -
Spring Boot集成Swagger2生成RESTful API文档
前言:使用Swagger2的思路: 1. 使用Maven引入Swagger的jar包 2. 对Swagger2进行配置:Swagger2.java 3. 使用Swagger的API对类(@Api)、方法(@ApiOperation)、参数(@ApiImplicitParam)进行注解。 4. 打开浏览器验证API文档是否能够正常显示1、添加Swagger...原创 2018-03-25 23:05:38 · 620 阅读 · 0 评论 -
Hive外表的使用
前言:Hive创建关联hbase表有2种形式,第一是建立hive内表,指向Hbase,第二是建立Hive外表,引用Hbase中已经存在的一张表在Hbase中创建表,创建一个表名称为hive_hbase_test,列族名称为f的Hbase表 create 'hive_hbase_test','f'在Hive创建外联表,关联Hbase中对应的表 create external table ...原创 2018-04-16 19:24:22 · 3092 阅读 · 0 评论 -
Hive表的几种操作
前言:针对Hive的表,我基本会有如下的操作情况,汇总整理一下创建表创建Hive内部表 sql CREATE TABLE test ( customer_id BIGINT, resource_id BIGINT, resource_name STRING, resource_type INT, browse_time BIGINT, browse_num ...原创 2018-08-28 08:54:10 · 266 阅读 · 0 评论 -
Hive的连接池-HikariCP
前言:之前分享过一篇使用druid管理Hive的连接池,因为我们的大部分的项目是用的都是druid,所以到Hive这块,第一个想到的也是druid,不过作为一个喜欢不断折腾的小青年,最近又尝试了HikariCP,使用起来比druid要简单多了,而且性能上比druid也要强一些。先看一下我的pom文件,因为我们的spring-cloud使用的是Edgware.SR3这个版本,spring默认使用...原创 2018-11-28 13:47:07 · 7795 阅读 · 2 评论 -
Hadoop安装与配置
前言Hadoop是使用Java编写,允许分布在集群,使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展,每个机器都可以提供本地计算和存储Hadoop的安装安装JDK:因为Hadoop是使用Java编写的,所以Hadoop的运行环境是依赖JDK,关于JDK的安...原创 2018-12-01 17:09:13 · 300 阅读 · 0 评论