Hive学习篇2

原创 2015年11月21日 21:07:45

WordCount单词统计

在开始学习编程时都要写一个Hello World程序,学习hive也一样,也要做一个wordcount单词统计。
为了做这个wordcount单词统计,我找了一篇英语短文来做测试。

首先现在hive中建一个words表,用来存储英语短文,字段自己设置,数据类型为string。



然后将英语短文内容存入words表中。



查询一下表的内容。



创建一个wordcount表,用来存储分割字符串后的单词。



将words表中的数据插入到wordcount表中,并分割字符串,在这里hive将hql解析成MapReduce任务。





hive将hql解析成MapReduce任务计算。



最后结果


深入浅出数据仓库中SQL性能优化之Hive篇

摘要:Hive查询生成多个map reduce job,一个map reduce job又有map,reduce,spill,shuffle,sort等多个阶段,所以针对hive查询的优化可以大致分为...
  • sinat_20292295
  • sinat_20292295
  • 2017年02月09日 16:39
  • 105

Hive官方手册学习(二)Hive数据定义语言DDL

一、数据库相关操作(DATABASE)1.1 创建数据库(create)CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT databas...
  • haoyutiangang
  • haoyutiangang
  • 2016年03月21日 21:07
  • 1308

MyCat - 源代码篇(2)

数据库路由中间件MyCat - 源代码篇(2)2. 前端通信模块Created with Raphaël 2.1.0MySql连接建立以及认证过程clientclientMySqlMySql1.TCP...
  • zhxdick
  • zhxdick
  • 2016年02月17日 17:51
  • 7165

我的2014个人总结——学习篇、工作篇、生活篇

2013的个人总结在我印象当中是写过的,2014已成为过去,当我想回过头来看看我2013年的总结时,奈何我已不知它的踪迹了,所以决定以后的个人总结还是以博客的形式记录吧!平静下来,该是好好总结这一年各...
  • qq710262350
  • qq710262350
  • 2015年01月18日 10:09
  • 1493

Hive学习路线

前言 Hive是Hadoop家族中一款数据仓库产品,Hive最大的特点就是提供了类SQL的语法,封装了底层的MapReduce过程,让有SQL基础的业务人员,也可以直接利用Hadoop进行数据的操作...
  • Gold_Spring
  • Gold_Spring
  • 2015年04月11日 21:34
  • 470

hive sql详细学习

hive sql详细学习 1、准备数据 emp.txt 7369 SMITH CLERK 7902 1980-12-17 800.00 20 7499 ALLEN SALESMAN 7698 ...
  • u010220089
  • u010220089
  • 2015年10月19日 22:08
  • 1412

hive性能优化

数据倾斜 数据倾斜是指,map /reduce程序执行时,reduce节点大部分执行完毕,但是有一个或者几个reduce节点运行很慢,导致整个程序的处理时间很长,这是因为某一个key的条数比其他key...
  • textboy
  • textboy
  • 2016年03月21日 15:56
  • 643

学习Hadoop第三十课(Hive简单入门)

上节课我们一起学习了用Java来对HBase的表进行增、删、改、查操作。这节课我们开始步入Hive的学习阶段        我们先来看一下Hive的简介,如下图所示,Hive是一个数据仓库,它部署在H...
  • u012453843
  • u012453843
  • 2016年11月05日 14:40
  • 4491

Hive第一课配置安装

Hive简介:     基于Hadoop的一个数据仓库工具,构建于hadoop的hdfs和mapred之上,用于管理和查询结构化/非结构化数据的数据仓库。可以将结构化的数据文件映射为一张数据库表,并...
  • ydcun
  • ydcun
  • 2016年04月14日 10:38
  • 8136

Python 学习 基础篇

http://chars.tech/2017/04/22/python-basic-knowledge/?utm_source=tuicool&utm_medium=referral ...
  • u011001084
  • u011001084
  • 2017年06月06日 15:39
  • 152
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hive学习篇2
举报原因:
原因补充:

(最多只允许输入30个字)