hadoop完全分布+hive数据分析

最新推荐文章于 2022-02-13 14:50:31 发布
最新推荐文章于 2022-02-13 14:50:31 发布
阅读量926 收藏 5
点赞数 4
分类专栏： 大数据-Hapood
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44642379/article/details/107201638
版权

 

 

 

hadoop搭建基础：

Hadoop：

有道云笔记：http://note.youdao.com/noteshare?id=6afacf1ae14aef32ea32b1c361771eea&sub=832AC6E58A8F4E72B12E4C6A020A5520

hive+mysql搭建：


有道云笔记：http://note.youdao.com/noteshare?id=332ed266d16a8b50dca48d1c6e0e4624&sub=3FE5A57DCC394D73B2187610CF03AA91

flume搭建：


有道云笔记：http://note.youdao.com/noteshare?id=d6f8928a8e813980054b3a785f98de10&sub=6A004440061B4675AB75EE534BF03B03

flume基础应用：


有道云笔记：http://note.youdao.com/noteshare?id=7918e87ddc8a1f8d806be13804463a15&sub=13E6C1DCD231448AB0AF6981426F7C67

spark安装：


有道云笔记：http://note.youdao.com/noteshare?id=ef3a676af0e2f8b4be6dc3ddb2757353&sub=5D2CFF72B3964AE392B1212EF96C0871

 

一，爬取数据：

1，scrapy爬取智联招聘和中华英才网

有道云链接：http://note.youdao.com/noteshare?id=5edad3cccfc222f91bda2b5499df8806&sub=029090D747894803ABE1D6AD1E496AAD

 

二、flume传输数据：

 

flume配置文件

#name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /home/data/job.txt #监控data目录下
a1.sources.r1.channels = c1

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.channel = c1
a1.sinks.k1.hdfs.path =hdfs://hadoop01:9000/flume/tailout/%y-%m-%d/%H-%M/ #把数据收集到hdfs目录下
a1.sinks.k1.hdfs.filePrefix = log-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
a1.sinks.k1.hdfs.rollInterval = 3
a1.sinks.k1.hdfs.rollSize = 20
a1.sinks.k1.hdfs.rollCount = 5
a1.sinks.k1.hdfs.batchSize = 1
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#生成的文件类型，默认是Sequencefile，可用DataStream，则为普通文本
a1.sinks.k1.hdfs.fileType = DataStream

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100


启动flume；

flume-ng agent -c conf -f shixun.conf -n a1 -Dflume.root.logger=INFO,console

将文件放到/home/tailout ，就会将数据传到hdfs上

 

三、hive数据处理

 

有道云笔记：http://note.youdao.com/noteshare?id=f4207943f87a4f8946afd38bef6396b8&sub=0E74436F444B4742B3C1F8998D28A884

1，编写hql语句，创建数据库，创建表，处理数据

fenxi.hql

create database fenxi;
use fenxi;
create table shuju(id string,dates string, jobtitle string, pay string,unit string , exp string ,edu string ,site string) row format delimited fields terminated by '\t';
load data local inpath '/home/sofware/hive-2.3.6/data/fenxi.txt' into table shuju;
create table shuju2 as select substr(jobtitle,13) as jobtitle, substr(pay,8) as pay ,substr(site,9,2) as site ,substr(exp,15) as exp,substr(dates,10,5) as dates from shuju  group by jobtitle,pay,site,exp,dates;
create table basis  as select regexp_replace(jobtitle, '"', '') as jobtitle, regexp_replace(pay, '"', '')as pay,regexp_replace(site, '"', '')as site ,regexp_replace(exp, '"', '')as exp from shuju2;

create table shuju1y as select jobtitle as jobtitle,regexp_replace(pay, '千/月', '')as pay from basis where pay like '%千/月' ;
create table shuju1yw as select jobtitle as jobtitle,regexp_replace(pay, '万/月', '')as pay from basis where pay like '%万/月' ;
create table shuju1n as select jobtitle as jobtitle,regexp_replace(pay, '万/年', '')as pay from basis where pay like '%万/年';
 create table shuju2y as select jobtitle as jobtitle,split(pay,'-')[0]*1000 as min ,split(pay,'-')[1]*1000 as max ,(split(pay,'-')[0]+split(pay,'-')[1])/2*1000 as avg from shuju1y;
insert into shuju2y select jobtitle as jobtitle,split(pay,'-')[0]*10000 as min ,split(pay,'-')[1]*10000 as max ,(split(pay,'-')[0]+split(pay,'-')[1])/2*10000 as avg from shuju1yw;
insert into shuju2y select jobtitle as jobtitle,split(pay,'-')[0]*10000/12 as min ,split(pay,'-')[1]*10000/12 as max ,(split(pay,'-')[0]+split(pay,'-')[1])/2*10000/12 as avg from shuju1n;
create table gzs as select min(min) as min,max(max) as max,avg(avg) as avg from shuju2y;
drop table shuju1y;
drop table shuju1yw;
drop table shuju1n;

insert overwrite table basis select * from basis where exp regexp '1年经验|2年经验|3年经验|1-2年经验|1-3年经验|2-3年经验|无需经验' ;
create table shuju1y as select jobtitle as jobtitle,regexp_replace(pay, '千/月', '')as pay from basis where pay like '%千/月' ;
create table shuju1yw as select jobtitle as jobtitle,regexp_replace(pay, '万/月', '')as pay from basis where pay like '%万/月' ;
create table shuju1n as select jobtitle as jobtitle,regexp_replace(pay, '万/年', '')as pay from basis where pay like '%万/年';
 create table shuju2s as select jobtitle as jobtitle,split(pay,'-')[0]*1000 as min ,split(pay,'-')[1]*1000 as max ,(split(pay,'-')[0]+split(pay,'-')[1])/2*1000 as avg from shuju1y;
insert into shuju2s select jobtitle as jobtitle,split(pay,'-')[0]*10000 as min ,split(pay,'-')[1]*10000 as max ,(split(pay,'-')[0]+split(pay,'-')[1])/2*10000 as avg from shuju1yw;
insert into shuju2s select jobtitle as jobtitle,split(pay,'-')[0]*10000/12 as min ,split(pay,'-')[1]*10000/12 as max ,(split(pay,'-')[0]+split(pay,'-')[1])/2*10000/12 as avg from shuju1n;
create table wages as select min(min) as min,max(max) as max,avg(avg) as avg from shuju2y;
drop table shuju1y;
drop table shuju1yw;
drop table shuju1n;


create table kgwei as select site, count(site) from basis where site regexp '上海|成都|北京|深圳|广州' group by site;


drop table shuju;
drop table shuju2;
drop table shuju2s;
drop table shuju2y;

kaifa.hql

create database kaifa;
use kaifa;
create table shuju(id string,dates string, jobtitle string, pay string,unit string , exp string ,edu string ,site string) row format delimited fields terminated by ',';
load data  inpath '/lmq/trains/kaifa' into table shuju;
create table shuju2 as select substr(jobtitle,13) as jobtitle, substr(pay,8) as pay ,substr(site,9,2) as site ,substr(exp,15) as exp,substr(dates,10,5) as dates from shuju  group by jobtitle,pay,site,exp,dates;
create table basis  as select regexp_replace(jobtitle, '"', '') as jobtitle, regexp_replace(pay, '"', '')as pay,regexp_replace(site, '"', '')as site ,regexp_replace(exp, '"', '')as exp from shuju2;

create table shuju1y as select jobtitle as jobtitle,regexp_replace(pay, '千/月', '')as pay from basis where pay like '%千/月' ;
create table shuju1yw as select jobtitle as jobtitle,regexp_replace(pay, '万/月', '')as pay from basis where pay like '%万/月' ;
create table shuju1n as select jobtitle as jobtitle,regexp_replace(pay, '万/年', '')as pay from basis where pay like '%万/年';
 create table shuju2y as select jobtitle as jobtitle,split(pay,'-')[0]*1000 as min ,split(pay,'-')[1]*1000 as max ,(split(pay,'-')[0]+split(pay,'-')[1])/2*1000 as avg from shuju1y;
insert into shuju2y select jobtitle as jobtitle,split(pay,'-')[0]*10000 as min ,split(pay,'-')[1]*10000 as max ,(split(pay,'-')[0]+split(pay,'-')[1])/2*10000 as avg from shuju1yw;
insert into shuju2y select jobtitle as jobtitle,split(pay,'-')[0]*10000/12 as min ,split(pay,'-')[1]*10000/12 as max ,(split(pay,'-')[0]+split(pay,'-')[1])/2*10000/12 as avg from shuju1n;
create table gzs as select min(min) as min,max(max) as max,avg(avg) as avg from shuju2y;
drop table shuju1y;
drop table shuju1yw;
drop table shuju1n;

insert overwrite table basis select * from basis where exp regexp '1年经验|2年经验|3年经验|1-2年经验|1-3年经验|2-3年经验|无需经验' ;
create table shuju1y as select jobtitle as jobtitle,regexp_replace(pay, '千/月', '')as pay from basis where pay like '%千/月' ;
create table shuju1yw as select jobtitle as jobtitle,regexp_replace(pay, '万/月', '')as pay from basis where pay like '%万/月' ;
create table shuju1n as select jobtitle as jobtitle,regexp_replace(pay, '万/年', '')as pay from basis where pay like '%万/年';
 create table shuju2s as select jobtitle as jobtitle,split(pay,'-')[0]*1000 as min ,split(pay,'-')[1]*1000 as max ,(split(pay,'-')[0]+split(pay,'-')[1])/2*1000 as avg from shuju1y;
insert into shuju2s select jobtitle as jobtitle,split(pay,'-')[0]*10000 as min ,split(pay,'-')[1]*10000 as max ,(split(pay,'-')[0]+split(pay,'-')[1])/2*10000 as avg from shuju1yw;
insert into shuju2s select jobtitle as jobtitle,split(pay,'-')[0]*10000/12 as min ,split(pay,'-')[1]*10000/12 as max ,(split(pay,'-')[0]+split(pay,'-')[1])/2*10000/12 as avg from shuju1n;
create table wages as select min(min) as min,max(max) as max,avg(avg) as avg from shuju2y;
drop table shuju1y;
drop table shuju1yw;
drop table shuju1n;


create table kgwei as select site, count(site) from basis where site regexp '上海|成都|北京|深圳|广州' group by site;

drop table shuju;
drop table shuju2;
drop table shuju2s;
drop table shuju2y;

cji.hql

create database cji;
use cji;
create table shuju(id string,dates string, jobtitle string, pay string,unit string , exp string ,edu string ,site string) row format delimited fields terminated by ',';
load data  inpath '/lmq/trains/cji' into table shuju;
create table shuju2 as select substr(jobtitle,13) as jobtitle, substr(pay,8) as pay ,substr(site,9,2) as site ,substr(exp,15) as exp,substr(dates,10,5) as dates from shuju  group by jobtitle,pay,site,exp,dates;
create table basis  as select regexp_replace(jobtitle, '"', '') as jobtitle, regexp_replace(pay, '"', '')as pay,regexp_replace(site, '"', '')as site ,regexp_replace(exp, '"', '')as exp from shuju2;

create table shuju1y as select jobtitle as jobtitle,regexp_replace(pay, '千/月', '')as pay from basis where pay like '%千/月' ;
create table shuju1yw as select jobtitle as jobtitle,regexp_replace(pay, '万/月', '')as pay from basis where pay like '%万/月' ;
create table shuju1n as select jobtitle as jobtitle,regexp_replace(pay, '万/年', '')as pay from basis where pay like '%万/年';
 create table shuju2y as select jobtitle as jobtitle,split(pay,'-')[0]*1000 as min ,split(pay,'-')[1]*1000 as max ,(split(pay,'-')[0]+split(pay,'-')[1])/2*1000 as avg from shuju1y;
insert into shuju2y select jobtitle as jobtitle,split(pay,'-')[0]*10000 as min ,split(pay,'-')[1]*10000 as max ,(split(pay,'-')[0]+split(pay,'-')[1])/2*10000 as avg from shuju1yw;
insert into shuju2y select jobtitle as jobtitle,split(pay,'-')[0]*10000/12 as min ,split(pay,'-')[1]*10000/12 as max ,(split(pay,'-')[0]+split(pay,'-')[1])/2*10000/12 as avg from shuju1n;
create table gzs as select min(min) as min,max(max) as max,avg(avg) as avg from shuju2y;
drop table shuju1y;
drop table shuju1yw;
drop table shuju1n;

insert overwrite table basis select * from basis where exp regexp '1年经验|2年经验|3年经验|1-2年经验|1-3年经验|2-3年经验|无需经验' ;
create table shuju1y as select jobtitle as jobtitle,regexp_replace(pay, '千/月', '')as pay from basis where pay like '%千/月' ;
create table shuju1yw as select jobtitle as jobtitle,regexp_replace(pay, '万/月', '')as pay from basis where pay like '%万/月' ;
create table shuju1n as select jobtitle as jobtitle,regexp_replace(pay, '万/年', '')as pay from basis where pay like '%万/年';
 create table shuju2s as select jobtitle as jobtitle,split(pay,'-')[0]*1000 as min ,split(pay,'-')[1]*1000 as max ,(split(pay,'-')[0]+split(pay,'-')[1])/2*1000 as avg from shuju1y;
insert into shuju2s select jobtitle as jobtitle,split(pay,'-')[0]*10000 as min ,split(pay,'-')[1]*10000 as max ,(split(pay,'-')[0]+split(pay,'-')[1])/2*10000 as avg from shuju1yw;
insert into shuju2s select jobtitle as jobtitle,split(pay,'-')[0]*10000/12 as min ,split(pay,'-')[1]*10000/12 as max ,(split(pay,'-')[0]+split(pay,'-')[1])/2*10000/12 as avg from shuju1n;
create table wages as select min(min) as min,max(max) as max,avg(avg) as avg from shuju2y;
drop table shuju1y;
drop table shuju1yw;
drop table shuju1n;


create table kgwei as select site, count(site) from basis where site regexp '上海|成都|北京|深圳|广州' group by site;


drop table shuju;
drop table shuju2;
drop table shuju2s;
drop table shuju2y;

qushi.hql

create database qushi;
use qushi;
create table shuju(id string,dates string, jobtitle string, pay string,unit string , exp string ,edu string ,site string) row format delimited fields terminated by ',';
load data local inpath '/home/sofware/hive-2.3.6/data/shuju.txt' into table shuju;
create table shuju2 as select substr(jobtitle,13) as jobtitle, substr(dates,10,5) as dates from shuju  group by jobtitle,dates;
create table qushi as select  regexp_replace(jobtitle, '"', '') as jobtitle,regexp_replace(dates, '"', '') as dates from shuju2  group by jobtitle,dates;

 

1.2、启动hive，并执行hql命令

hive> source /home/sofware/hive-2.3.6/data/fenxi.hql;
hive> source /home/sofware/hive-2.3.6/data/cji.hql;
hive> source /home/sofware/hive-2.3.6/data/kaifa.hql;
hive> source /home/sofware/hive-2.3.6/data/qushi.hql;

 

 

 

执行后得到表

 

 

 

将处理后的数据使用sqoop传到mysql上

2，在MySQL上创建表

工资表

 create table gz(min varchar(200),max varchar(200),avg varchar(200));

1-3年工资

 create table wages(min varchar(200),max varchar(200),avg varchar(200));

每个城市岗位数

create table gwei(city varchar(200),counts varchar(200));

趋势

create table qushi(title varchar(200),dates varchar(200));

 

3，sqoop将hive的数据导入到mysql

sqoop export --connect jdbc:mysql://192.168.204.133:3306/shixun --username root --password 'lmq12345L@'  --table wages --export-dir '/user/hive/warehouse/shixun.db/wages' --input-fields-terminated-by '\001'
sqoop export --connect jdbc:mysql://192.168.204.133:3306/shixun --username root --password 'lmq12345L@'  --table gz --export-dir '/user/hive/warehouse/fenxi.db/gzs' --input-fields-terminated-by '\001'
sqoop export --connect jdbc:mysql://192.168.204.133:3306/shixun --username root --password 'lmq12345L@'  --table gwei --export-dir '/user/hive/warehouse/fenxi.db/kgwei' --input-fields-terminated-by '\001'
sqoop export --connect jdbc:mysql://192.168.204.133:3306/shixun --username root --password 'lmq12345L@'  --table qushi --export-dir '/user/hive/warehouse/qushi.db/qushi' --input-fields-terminated-by '\001'

 

 

 

 

四、可视化图

1,工资

2，岗位数

3，经验是1-3年的工资

4，趋势图

 

 

 

 

满天飞鱼
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop大数据分析及数据挖掘 读书笔记（1）
lzx704的博客
03-23 2万+
前言 阅读时间：20180318-20180322 来源：Kindle 数据挖掘基础 数据挖掘的概念： 从数据中“淘金”，从大量数据（文本）中挖掘出隐含的、未知的、对决策有潜在的关系、模型和趋势，并用这些知识和规则建立用于决策支持的模型，提供预测性决策支持的方法、工具和过程，这就是数据挖掘。 它是利用各种分析工具在大量数据中寻找其规律和发现模型与数据之间关系的过程，是统计学、数...
Hadoop环境中使用Hive实现对产品和用户的数据分析
weixin_55759540的博客
06-09 1491
一、背景 某电商平台为了合理的投入人力物力创造更大的销售利润，现对已有的销售数据进行用户分析，提出合理的促销计划。 围绕产品和用户两大方面展开为电商平台制定策略提供分析及建议。 二、需求 用户分析：从性别、年龄、 职业、城市、居住年限，婚姻状况等维度找到高质量用户，并查看高质量用户人群的占比，为其提供高价值消费品 (定位高价值消费品以销售金额评估）。针对其他的用户，主要引导用户进行购买，多推荐一些热销的商品(定位热销产品) 产品分析：从销量、销售额都高的产品并以二八法则找到高贡献的一级产品类目 三、数据介绍
Hadoop完全分布式安装Hive
weixin_34090643的博客
11-14 349
应用场景 当我们按照hadoop完全分布式集群搭建博客搭建了hadoop以后，发现这是一个空的hadoop，只有YARN，MapReduce，HDFS，而这些实际上我们一般不会直接使用，而是需要另外部署Hadoop的其他组件，来辅助使用。比如我们把数据存储到了hdfs，都是...
hadoop数据匹配及分析_Hadoop数据分析之Hive
weixin_39885166的博客
01-30 249
“Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张表。并提供类SQL查询功能。其本质是将SQL转换为MapReduce的任务进行运算。”01—Hive：是什么？Hive与数据库的区别Hive 具有 SQL 数据库的外表，但应用场景完全不同。Hive 只适合用来做海量离线数据统计分析，也就是数据仓库优缺点优点操作接口采用类SQL语法，提供快速开发的能力(简单、容...
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
Hive是基于Hadoop的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。通过Hive，用户无需编写Java MapReduce程序，就能对大数据进行分析。在搭建Hive时，需要设置Hive metastore、...
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
在构建大数据处理环境时，Hadoop、HBase、Spark和Hive是四个核心组件，它们协同工作以实现高效的数据存储、处理和分析。本教程将详细介绍如何在Ubuntu系统上搭建这些组件的集群。 1. **Hadoop**：Hadoop是Apache...
毕业设计，基于Hadoop+Spark+Hive+Sqoo开发的奥运会奖牌变化大数据分析，内含Java完整源代码，数据库脚本
最新发布
01-25
毕业设计，基于Hadoop+Spark+Hive+Sqoo开发的奥运会奖牌变化大数据分析，内含Java完整源代码，数据库脚本 基于Hadoop/Spark奥运会奖牌变化大数据分析实现 开发技术：Hadoop + Spark + Hive + Sqoop + Flask + ...
hadoop+hive+finebi笔记.rar
05-21
内容概要：让初学者能高效、快捷掌握Hadoop必备知识，大大缩短Hadoop离线阶段学习时间。 适合人群：具备一定编程基础人员 能学到什么： HDFS+MapReduce+Hive ...Hadoop生态综合案例 ——陌陌聊天数据分析
eclipse集成hadoop+spark+hive开发源码实例
05-02
通过这些例子，你可以学习如何创建数据处理项目，如何在Spark中运行SQL查询，以及如何在Hive中创建表和执行数据分析任务。 总之，Eclipse集成Hadoop、Spark和Hive提供了一个高效的数据开发环境，让你能够利用大数据...
Hadoop全分布模式环境搭建[超详细]
12-03
自己总结的Hadoop全分布模式环境搭建。
【多维分析系列】大数据下的数据分析:Hadoop架构解析
三少GG
11-24 2851
大数据下的数据分析:Hadoop架构解析 2011-8-30 14:39| 发布者: joejoe0332| 查看: 5850| 评论: 0|原作者: 谢超|来自: 程序员 摘要: 　　随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一
Hadoop: Data Analysis Hadoop数据分析教程 Lynda课程中文字幕
lyndacn的博客
11-12 227
Hadoop: Data Analysis 中文字幕 Hadoop数据分析教程 中文字幕Hadoop: Data Analysis Hadoop是数据科学家用来在大数据上执行高度并行操作的云计算平台 如果你已经探索过Hadoop，你可能已经发现它有很多复杂性 在熟悉基础知识之后，您已准备好了解如何使用其他框架和工具集 在本课程中，软件工程师和数据科学家Jack Dintruff超越了Hadoop...
Hadoop-hdfs读写流程
学习小天地
12-06 1212
HDFS写流程     写详细步骤： 客户端向NameNode发出写文件请求。 检查是否已存在文件、检查权限。若通过检查，直接先将操作写入EditLog，并返回输出流对象。 （注：WAL，write ahead log，先写Log，再写内存，因为EditLog记录的是最新的HDFS客户端执行所有的写操作。如果后续真实写操作失败了，由于在真实写操作之前，操作就被写入EditLog中了，...
数据分析师眼中的大数据和Hadoop
真新镇的涅法雷姆
05-21 2496
一、前言 大数据这个概念不用我提大家也听过很多了，前几年各种公开论坛、会议等场合言必及大数据，说出来显得很时髦似的。有意思的是最近拥有这个待遇的名词是“人工智能/AI”，当然这是后话。 众所周知，大数据的发展是来源于Google三驾马车，分别是： Google File System（GFS） —2003 MapReduce —2004 Bigtable —2006 不得不说，Goog...
大数据：基于Hadoop的数据仓库Hive的基本理论简介（附通俗说明
大数据小白有点黑的博客
05-19 2346
数据仓库Hive Hive：是基于hadoop的一个数据仓库用于：存储数据集合，在进行数据分析（既然分析了，那就肯定有结果，结果肯定有实际用途：为公司运营规划做支撑）【存储、分析】说详细了就是：将结构化的数据文件（如id time address area的网页访客） 映射为一张数据表，提供HQL的查询语句，转化为MapReduce在hadoop上执行 为什么用Hive：1.操作接口是类似SQL语...
hadoop 3.0新特性简单介绍
一亩三分地
07-27 9674
过去十年，Apache Hadoop从无到有，从理论概念演变到如今支撑起若干的生产集群。接下来的十年，Hadoop将继续壮大，并发展支撑新一轮的更大规模、高效和稳定的集群。 本文将向大家全面介绍即将到来的Apache Hadoop 3.0新版本——从版本发布状态、背后的故事，到如HDFS erasure coding、YARN federation、NN k-safety等全新的...
Hive分布式数据仓库
小k要加油的博客
02-13 2234
简介 Hive是基于静态批处理Hadoop的一个数据仓库工具，通过Hive可以实现将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，同时将sql语句转换为MapReduce任务进行运行，所以其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计。Hive具有sql数据库的外表，但应用场景完全不同，Hive 适合高延迟的查询，Hive并不提供实时的查询和基于行级的数据更新操作，所以Hive 的最佳使用场合是大数据集的批处理作业，例如，网络日志分析 Hive特性
Hive 是基于Hadoop 构建的一套数据仓库分析系统
人工智能曾小健
11-10 1241
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需 要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语言查询，汇总，分析数据。而mapreduce开发人员可以把 己写的mapper 和reducer 作为插件来支持H.
hadoop+hive+spark+zookeeper
10-02
综上所述，Hadoop用于分布式存储和计算，Hive用于数据仓库和查询分析，Spark用于高性能的集群计算，而Zookeeper用于分布式协调和通信。这四个技术在大数据领域中扮演着不可替代的角色，相辅相成，共同构建了现代...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值