Hadoop
岱宗夫如何?齐鲁情未了。
造化钟神秀,阴阳割昏晓。
荡胸生层云,决眦入归鸟。
会当凌绝顶,一览众山小。
Hey 锡瑞
这个作者很懒,什么都没留下…
展开
-
一篇文章带你全面了解什么是Hive
一、Hive查看表的分区信息(1)查询某个表的分区信息:SHOW PARTITIONS employee;(2)查看某个表是否存在某个特定分区键SHOW PARTITIONSemployee PARTITION(country='US')DESCRIBE EXTENDEDemployee PARTITION(country='US')(3)查询表信息:DESCRIBE EXTENDEDemployee;(4)查询结构化的表信息:DESCRIBE FORMATTED...原创 2020-08-22 14:40:36 · 636 阅读 · 0 评论 -
一篇文章带你全面了解什么是Hbase
一、Hbase介绍1.1、Hbase简介Hadoop Database(Hbase): 是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库;利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务;主要用来存储非结构化和半结构化的松散数据(列存 NoSQL 数据库)1.2、HBase 数据模型(1)ROW KEY决定一行数据 按照字典顺序排序的。 Row key.原创 2020-07-06 10:12:09 · 749 阅读 · 0 评论 -
Hadoop学习(9)——Hive优化
(1)核心思想:把Hive SQL 当做Mapreduce程序去优化(2)以下SQL不会转为Mapreduce来执行select仅查询本表字段 where仅对本表字段做条件过滤(3)Explain 显示执行计划:EXPLAIN [EXTENDED] query(4)Hive抓取策略:Hive中对某些情况的查询不需要使用MapReduce计算(5)抓取策略 :Set hive.fetch.task.conversion=none/more;(6)Hive运行方式:本地模式、集群模式转载 2020-07-06 09:44:13 · 203 阅读 · 0 评论 -
Hadoop学习(8)——Hive高级应用(2)
一、Hive Lateral View (1)什么是hive Lateral View / 作用Lateral View用于和UDTF函数(explode、split)结合来使用。首先通过UDTF函数拆分成多行,再将多行结果组合成一个支持别名的虚拟表。主要解决在select使用UDTF做查询过程中,查询只能包含单个UDTF,不能包含其他字段、以及多个UDTF的问题(2)语法LATERAL VIEW udtf(expression) tableAlias AS columnAlia转载 2020-07-05 22:50:26 · 217 阅读 · 0 评论 -
Hadoop学习(6)——Hive SQL(3)高级用法
一、Hive分区(1)Hive 分区partition:必须在表定义时指定对应的partition字段a、单分区建表语句:create table day_table (id int, content string) partitioned by (dt string);单分区表,按天分区,在表结构中存在id,content,dt三列。以dt为文件夹区分b、 双分区建表语句:create table day_hour_table (id int, content string) pa.转载 2020-07-03 19:14:25 · 514 阅读 · 0 评论 -
Hadoop学习(5)——Hive SQL(2)语法
一、基础命令1.1、数据库操作 show databases; # 查看某个数据库 use 数据库; # 进入某个数据库 show tables; # 展示所有表 desc 表名; # 显示表结构 show partitions 表名; # 显示表名分区 show create table_name; # 显示创建表的结构1.2、表结构修改 use xxdb; create table xxx; # 内部表 create table xxx like xxx;转载 2020-07-03 17:31:25 · 567 阅读 · 0 评论 -
Hadoop学习(4)——Hive(1)数据仓库介绍
一、Hive简介1.1、什么是Hive(1)从概念上来看Hive是基于Hadoop的一个数据仓库工具,它是MapReduce的一个封装,底层就是MapReduce程序; Hive可以将结构化的数据文件(eg:按照各字段分类的数据)映射成一张虚表,并提供类SQL查询功能; 有了Hive后我们就不用再写麻烦的MapReduce程序了。(2)从本质来看Hive就是把sql语句转化为MapReduce程序。 Hive没有服务端,它本质是Hadoop或者说是HDFS的一个客户端,对HDFS的数转载 2020-07-03 15:05:57 · 777 阅读 · 0 评论 -
大数据-Hadoop学习链接
1.HDFS介绍:https://blog.csdn.net/RuiKe1400360107/article/details/1070800842.MapReduce介绍:https://blog.csdn.net/RuiKe1400360107/article/details/1070888813.MapReduce案例分析:https://blog.csdn.net/RuiKe1400360107/article/details/107098766原创 2020-07-03 15:05:38 · 237 阅读 · 0 评论 -
Hadoop学习(2)——分布式计算框架MapReduce
一、分布式计算框架MapReduce介绍(计算向数据移动)1.1、为什么叫MapReduceMR原语:map + reduce(MapTask & ReduceTask)输入(格式化k,v)数据map映射成一个中间数据集(k,v)reduce (sql)“相同”的key为一组,调用一次reduce方法,方法内迭代这一组数据进行计算 (类似的sql)1.2、计算框架MR(wordcount 单词统计)Hadoop 1.x -- mr 1.x(1)Map:读懂数据 映射为K.转载 2020-07-02 17:30:16 · 458 阅读 · 0 评论 -
大数据Hadoop全家桶学习1:分布式文件存储系统HDFS
一、Hadoop组件介绍1.1、分布式存储系统HDFS(1)存储模型:字节文件线性切割成块(Block):偏移量 offset ;Block分散存储在集群节点中,单一文件Block大小一致,文件与文件可以不一致;Block可以设置副本数,副本无序分散在不同节点中(副本数不要超过节点数量);文件上传可以设置Block大小和副本数,已上传的文件Block副本数可以调整,大小不变;–只支持一次写入多次读取,同一时刻只有一个写入者;–可以append追加数据。(2)架构模型:.原创 2020-07-02 11:40:35 · 988 阅读 · 0 评论