利用Hive实现WordCount(一句sql搞定）

最新推荐文章于 2024-05-07 07:00:00 发布
最新推荐文章于 2024-05-07 07:00:00 发布
阅读量1.3k 收藏 15
点赞数 2
分类专栏： 大数据 技术开发 文章标签： Hadoop 大数据 hive mapreduce spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/paul250670/article/details/100304955
版权
本文介绍了如何使用Hive通过简单的SQL语句实现WordCount，对比MapReduce的繁琐过程，Hive提供了更简便的方法。Hive是一个SQL解析引擎，将SQL转化为MapReduce任务在Hadoop上执行。在理解Hive的基本原理和实现流程后，文章展示了一个具体的WordCount示例，强调了好SQL的重要性并鼓励读者进一步学习sql开发。
摘要由CSDN通过智能技术生成

背景

前面我们利用MapReduce实现了单词统计，但是比较的繁琐和复杂，要实现Map和Reduce方法。
我们来看看Hive是怎么实现单词统计的呢，一条sql语句搞定。

Hive是什么

  • Hive是一个SQL解析引擎，将SQL语句转化成MR Job，然后在Hadoop平台上运行。
  • Hive不存储数据，完全依赖HDFS和MapReduce。
  • Hive中的表是纯逻辑表，就只是表的定义等，本质就是Hadoop的目录和文件。

Hive基本原理

  • 执行sql语句
  • Hive把sql语句转化成MR Job提交给Hadoop
  • Hadoop开始执行MR Job

Hive的实现流程

  • 准备好数据，格式如下
hadoop apache spark
hadoop linux linux spark
hadoop apache hadoop spark
linux linux spark spark
  • 在hive中创建words表
create table
最低0.47元/天 解锁文章
paul250670
关注
  • 2
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
用Hive实现wordcount
Today_2018的博客
06-21 567
一、实验内容：用hive实现wordcount 二、实验步骤： 1.准备数据 首先利用vi编辑器，编写一个word.txt文件，内容如下图所示： 2.创建测试数据库，命名test,输入如下命令，如图所示 create database test; 3.在test数据库中创建表wordcount create table wordcount(rowdata string); 4.加载数据 代码如下 load data local inpath '/home/hadoop/word.txt' .
hive sql + left join 数据缺失
02-29
### Hive SQL Left Join 数据缺失问题解析 #### 一、问题背景 在大数据处理场景中，Hive 是一种广泛使用的工具，用于对存储在 Hadoop 文件系统中的数据进行数据汇总、查询和分析。随着Hive版本的不断更新，部分用户...
SQL、Hive SQL等SQL血缘解析工具
01-14
// 测试用例如下 // 设置元数据服务 Delegate.getDelegate().setMetaColumnService(new IMetaColumnService() { @Override public List<String> queryMetaColumn(String dbName, String tableName) { return Collections.emptyList(); } @Override public boolean clearMetaColumnCache() { return true; } }); // 设置通知服务 Delegate.getDelegate().setNoticeService(s->{}); // 具有子查询的sql String hql = "select id,name from (select id from table_1 where id={p0}) t1 inner join (select name --this is name\n from table_2) t2"; // 获取id字段的血缘 LineageNode idNode = Delegate.getDelegate().getLineage(hql, "id"); // 获取name字段的血缘 LineageNode nameNode = Delegate.getDelegate().getLineage(hql, "name"); // 打印血缘 Utils.printLineage(idNode,nameNode);
Hive实现wordcount统计
qq_48288251的博客
07-09 484
Hive实现wordcount统计 创建一个数据库 1. hive> create database wordcount 创建表 1. hive> create table docs(line string) 准备数据 将数据加载到 docs 表中 • 将准备的数据添加到docs 表中 • 1. hive> load data inpath (local inpath为本地路径)’/user/hadoop/input/pg20417.txt’ into table docs； •
Hive--实现WordCount
qq_46893497的博客
12-07 229
select tmp.word ,count(1) as counts from (select explode(split(line, '\\s+')) word from t_wc) tmp group by tmp.word;
HiveSQL实现WordCount
边看边学
07-03 200
先把句子拆成单个单词，再行专列，再利用子查询做聚合。 select word, count(1) as cnts from (select explode(split(sentence, ",")) as word from table) t group by word order by cnts desc;
Hive wordcount
qq_34382453的博客
10-24 405
如何使用hive进行wordcount统计 如下图，我们先在hive中建一张名为wc的表，里面只有一个字段，包含以逗号隔开的数据 然后使用函数split , explode,count,group by进行统计 1、 先使用split将每行数据切开，这里是用逗号分隔 select split(tence,',') from wc; 2、再用explode函数将每个数据处理成一行，即每行只有一条...
Hive实现wordCount程序
TURING.DT
04-13 5144
Hive实现wordCount程序 a. 创建一个数据库，如 create database word; b. 建表 create external table word_data(line string) row format delimited fields terminated by '\n' stored as textfile location '/home/hadoop
大数据hive数据倾斜，hive-sql优化
08-17
在大数据处理中，Hive是一个非常重要的工具，然而在实际应用中，数据倾斜和性能优化问题经常会出现。为了解决这些问题，我们需要了解Hive的性能调优、数据模型设计、数据倾斜判断和解决方法等知识点。 Hive性能调优...
Hive经典面试实操sql题
01-03
在Hive面试中，SQL题目通常是考察应聘者对大数据处理能力的重要部分。以下是一些基于Hive SQL的经典面试题及解析，旨在帮助你理解和准备相关的面试。 1. **数据加载与查询** ```sql create table t1(team string,...
Hive实现WordCount详解
weixin_30273931的博客
07-31 284
一、WordCount原理 初学MapReduce编程，WordCount作为入门经典，类似于初学编程时的Hello World。WordCount的逻辑就是给定一个/多个文本，统计出文本中每次单词/词出现的次数。网上找的一张MapReduce实现WordCount的图例，基本描述清楚了WordCount的内部处理逻辑。本文主要是从Hive使用的角度处理WordCount，就不赘述，...
hive实现WordCount
sjw2020的博客
05-27 276
一、WordCount原理 初学MapReduce编程，WordCount作为入门经典，类似于初学编程时的Hello World。WordCount的逻辑就是给定一个/多个文本，统计出文本中每次单词/词出现的次数。网上找的一张MapReduce实现WordCount的图例，基本描述清楚了WordCount的内部处理逻辑。本文主要是从Hive使用的角度处理WordCount，就不赘述，之前的一篇博文...
【hive】在hive中实现WordCount算法
xiaoyi1212的博客
04-24 3700
这里以词频统计为例： 1、准备好自己需要词频统计的文件 我这里以《西游记》为例 2、启动hive hive 查看所有数据库 show databases； 使用想要使用的数据库 use hive； 查看数据库hive下有哪些数据表和视图 show tables； 3、创建一个表docs create table docs(line st...
hive版本wordcount
Cumu Blog
08-19 3299
1. wordcount程序相当于hadoop MapReduce的一个helloworld程序吧，纯的MR代码如下：     a.
HIVE统计WordCount
最新发布
2301_77836489的博客
05-07 872
HIVE统计wordcount
使用hive实现wordcount
WYH19951220的博客
05-16 309
1.创建数据 cd data vi wc 2.上传数据 hdfs dfs -put wc /usr/ 3.创建外部表（先有数据后有表） 4.创建结果表 5.写结果 6.查询结果
在hive中实现wordcount算法
yh1009的博客
05-14 344
在Java和hive中均能进行wordcount算法，但在hive中更为简便，接下来就是在hive中实现wordcount算法的简便步骤：
hive实现递归查询sql
09-07
下面是一个示例，演示如何在Hive中实现递归查询SQL。 首先，创建一个自定义函数： ``` CREATE FUNCTION my_recursive_function(input STRING) RETURNS STRING ``` 然后，编写递归函数的代码： ``` public class ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值