博客专栏  >  云计算/大数据   >  Hive大数据下的数据仓库

Hive大数据下的数据仓库

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,十分适合数据仓库的统计分析。

关注
7 已关注
15篇博文
  • Hive正则表达式对数据过滤

    正在做的一个项目中,由于数据量比较大,所以数据的内容比较乱,比如说mac地址,这个地址有的数据中存在,有的数据中不存在,当通过hive进行导出数据的时候,如果存在些非法的类型的数据会造成NoSuchE...

    2017-03-09 21:44
    3365
  • Hbase与Hive整合

    Hbase版本0.96.2 Hive版本0.13 在整合的时候需要将Hbase的部分以Hbase开头的包导入到Hive的lib中,并且,尤其注意一个htrace-core-2.04.jar这个ja...

    2016-12-20 15:29
    4026
  • Hive数据仓库--Hive导出至Mysql中文乱码问题

    也是目前遇到的比较棘手的问题之一,虽然最终解决的时候,并没有修改过多的东西,但是在这个过程中也折磨了近两天的时间。不过这个过程中,查阅了网络上以及书上等等的资料,对于Sqoop导出Hive数据到Mys...

    2016-11-15 16:24
    1928
  • Hive数据仓库--HiveUDF异常解析与其中的坑

    使用Hive进行分析的过程中遇到了这个异常的信息,一开始看到比较惊讶,因为感觉代码并没有什么不太合理的地方,不过还是抛出了一堆的异常信息,我把日志信息读了一下,发现导致最终异常的是FastJson在封...

    2016-11-11 16:43
    1742
  • Hive数据仓库--UDF自定义函数以及其中的坑

    一个简单的问题折腾了接近半天的时间,不过最终发现了问题出在哪里了,UDF这个是用户自定义函数,和sum等这种函数类似,主要作用是输入一个值,然后通过适当的处理后返回一个值。UDF倒是很简单的,基本上就...

    2016-10-31 23:22
    1536
  • Hive数据仓库--Java代码JDBC方式访问Hive中表的数据

    通过Java中jdbc的方式去操作Hive表中的数据,这个方式和之前web中使用的jdbc方式访问数据库是一致的。基本流程:1. 加载驱动程序。2. 建立连接。3. 预编译sql语句。4. 提交执行获...

    2016-10-28 13:46
    2665
  • Hive数据仓库-Sqoop导入数据注意事项

    注意事项一按照整张表导入的时候,是按照原来数据库中列的顺序进行赋值的,也就是说如果数据库中A,B两列的数据,在Hive中导入数据的表是B,A两列,这个时候B中实际存储的值仍然是数据库A中的值,而A中存...

    2016-10-27 12:28
    1923
  • Hive数据仓库-Sqoop将数据从Mysql导入Hive中

    Sqoop是一个实现在关系型数据库和Hive进行数据交换的工具。主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如...

    2016-10-26 17:37
    4368
  • Hive数据仓库--HiveQL视图和索引

    上篇文章中讲完了查询的相关操作,接下来就是视图与索引了,Hive中的视图的作用总的来说就是为了简化查询语句,是一个逻辑上的视图,而不是物化的视图。索引则是加快查询速度的比较重要的手段,之前的Mysql...

    2016-09-29 21:51
    2301
  • Hive数据仓库--HiveQL查询

    之前的博文中已经介绍过了,Hive的原理、Hive的数据定义、Hive的数据插入的相关知识,接下来学习下Hive的数据查询,总体来说感觉查询部分和Mysql相差并不是很大,当然并不是说没有差别的,个别...

    2016-09-29 20:16
    3043
  • 大数据时代--Hive技术原理解析

    本文旨在讲解Hive的运行原理,帮助使用者更好的了解在使用的过程中它做了些什么工作,深入的理解他的工作机制,提高开发人员理论层面的知识。后面会逐渐推出Hive使用、Hbase原理与使用等大数据专题类文...

    2016-01-23 21:34
    9238
  • 大数据时代--Hive数据操作之insert操作

    前面文章中讲解了Hive的数据定义语言,接下来就是数据操作语言,数据定义语言主要包含了Hive表结构的一些操作:包含创建表、删除表、修改表的结构、增加列等等一系列操作。数据操作语言主要是对表中的数据的...

    2016-09-23 22:01
    1914
  • 大数据时代--Hive数据定义

    Hive中数据库的相关操作 数据库的创建、删除 hive (default)> create database if not exists wyTest; OK Time taken: 0.69 ...

    2016-09-14 17:32
    1492
  • 大数据时代--Hive实战之Hive命令

    接下来几天,先重温下Hive的基本命令,然后再以某个场景为前提进行一定的开发与设计。本文作为自己温故知新的文章,同时希望看到的朋友可以从中学到些Hive的基础知识,达到入门的目的。 设置变量 set ...

    2016-08-25 21:27
    1130
  • 大数据时代--Hive之开始动手(导入数据、查询、删除)

    最近在忙于大数据的相关知识的学习,SpringMVC的源码也有在读,希望关注的朋友不要着急,后面我会尽快的推出,因为源码这东东着实比较高深,得反复的去琢磨才好,我如果直接读一点写一点感觉写出来的博文没...

    2016-08-24 21:04
    1222
img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部