- 博客(14)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 通过Hive读/写 HBase中的表
写在前面一：本文将Hive与HBase整合在一起，使Hive可以读取HBase中的数据，让Hadoop生态系统中最为常用的两大框架互相结合，相得益彰。<ignore_js_op style="word-wrap: break-word; color: rgb(68, 68, 68); font-family: Tahoma, 'Microsoft Yahei', Simsun;"> ...
2016-05-26 22:47:15
178
原创 jdbc连接HIVE
在hive上启动service hive --service hiveserver在eclipse中进行开发导入需要的jar包（我这个导入的是udf和jdbc连接hive需要的jar包，基本是最简的了） 我的代码，hive的语法就不说了，大家可以修改例子中的sql来进行自己的业务。我的hive没有设置用户名，密码。所以12...
2016-05-26 22:04:09
104
原创 hbase增删改
package com.cfnet.hadoop.hbase; import java.io.IOException; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.Cell...
2016-05-24 15:42:25
137
原创 freemarker整理
copy自http://demojava.iteye.com/blog/800204 以下内容全部是网上收集： FreeMarker的模板文件并不比HTML页面复杂多少,FreeMarker模板文件主要由如下4个部分组成: 1,文本:直接输出的部分 2,注释:<#-- ... -->格式部分,不会输出 3,插值:即${...}或#{...}格式的部分,将使用数据模型中的部分替代输出 4...
2016-05-19 17:15:48
103
原创 web service
Web服务（Web Service）是基于XML和HTTPS的一种服务，其通信协议主要基于SOAP，服务的描述通过WSDL，通过UDDI来发现和获得服务的元数据
2016-05-19 12:31:45
102
原创 Hive:用Java代码通过JDBC连接Hiveserver
我们可以通过CLI、Client、Web UI等Hive提供的用户接口来和Hive通信，但这三种方式最常用的是CLI；Client 是Hive的客户端，用户连接至 Hive Server。在启动 Client 模式的时候，需要指出Hive Server所在节点，并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。今天我们来谈谈怎么通过HiveServer来操作Hiv...
2016-05-19 12:30:04
498
原创 Hive表与外部表
今天我们要探讨的话题是Hive的里面的表与外部表两个概念，以及如何在Hive里面创建表和外部表，它们之间有什么区别等话题。在本博客的《Hive的数据存储模式》文章里面我们谈到了Hive的数据存储模式，里面简单的说到Hive中表以及外部表的简单概念，相信很多读者对这些概念还不是很了解，今天就给大家科普一下，希望对大家有所帮助。 相信很多用户都用过关系型数据库，我们可以在关系型数据库里面创建表（...
2016-05-19 12:29:36
127
原创 Hive几种数据导出方式
在本博客的《Hive几种数据导入方式》文章中，谈到了Hive中几种数据的导入方式，不同的数据导入方式用途不一样。今天我们再谈谈Hive中的几种不同的数据导出方式。可以根据导出的地方不一样，将这些方式分为三种：（1）、导出到本地文件系统；（2）、导出到HDFS中；（3）、导出到Hive的另一个表中。为了避免单纯的文字，我将一步一步地用命令进行说明。 一、导出到本地文件系统...
2016-05-19 12:29:13
116
原创 Hive的数据存储模式
Hive的数据分为表数据和元数据，表数据是Hive中表格（table）具有的数据；而元数据是用来存储表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。下面分别来介绍。 一、Hive的数据存储 在《Hive到底是什么》博文中我们提到Hive是基于Hadoop分布式文件系统的，它的数据存储在Hadoop分布式文件系统中。Hive本身是没有专门的数据存储格式，也没...
2016-05-15 15:05:09
141
原创 hive数据导入方式
好久没写Hive的那些事了，今天开始写点吧。今天的话题是总结Hive的几种常见的数据导入方式，我总结为四种：（1）、从本地文件系统中导入数据到Hive表；（2）、从HDFS上导入数据到Hive表；（3）、从别的表中查询出相应的数据并导入到Hive表中；（4）、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。我会对每一种数据的导入进行实际的操作，因为纯粹的文字让人看起来很枯燥，...
2016-05-15 14:55:38
112
原创 hive概述
1. Hive是什么Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这些特性。这是来自官方的解释。简单来说，Hive就是在Hadoop上架了一层SQL接口，可以将SQL翻译成MapReduce去Hadoop上执行，这样就使得数据开发和分析人员很方便的使用SQL来完成海量数据的统计和...
2016-05-15 07:56:59
101
原创 数据存储的演进路线以及原因
作者：邵兵链接：https://www.zhihu.com/question/21677041/answer/22393192来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。1. RDBMS让数据集保持在一台单一的机器上是RDBMS提供ACID特性和丰富查询模型的最好方式。但数据集变大时，垂直扩展（scaling up）带来诸多限制。企业慢慢发现，通过增加多节点的服务...
2016-05-15 07:56:56
432
原创 hive
转载请注明出处： http://blog.fens.me/hadoop-hive-intro/前言Hive是Hadoop一个程序接口，Hive让数据分析人员快速上手，Hive使用了类SQL的语法，Hive让JAVA的世界变得简单而轻巧，Hive让Hadoop普及到了程序员以外的人。从Hive开始，让分析师们也能玩转大数据。目录Hive的安装Hive的基本使用:CRU...
2016-05-14 17:41:53
395
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人