HIVE（上）

最新推荐文章于 2024-09-20 09:25:59 发布

xi4m00

最新推荐文章于 2024-09-20 09:25:59 发布

阅读量594

点赞数

文章标签：大数据 hive

本文链接：https://blog.csdn.net/xi4m00/article/details/51887081

版权

什么是HIVE，为什么HIVE应用最广泛

基于Hadoop的数据仓库

可以将结构化数据映射为表，并提供SQL语言接口

最终将SQL转化为MapReduce执行

HIVE同样具有高可靠性，可扩展

HIVE体系结构

MetaStore：存储和提供HIVE数据字典服务

HiveServer2：提供HIVE接口服务

HIVE中MetaStore的选择和优化

MetaStore支持Mysql，Postgresql，Oracle

数据库参数的优化：OLTP

对CPU，内存要求多一些

HIVE项目中角色实例的部署

MetaStore部署到闲的实例上

跟MetaStore Database部署在同一节点上

HIVE操作接口

Hive命令行：hive

JAVA JDBC;10000，jdvc:hive://jdbc:hive2://

Hive Server提供的Thrift服务，可供多语言调用

Hue

什么是Hue

Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口

可以通过图形界面查询hive，impala

可以浏览HDFS

可以查看MapReduce JOB情况

可以运行PIG等

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

xi4m00

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

数据仓库以及Hive的使用总结

JavaChaoCo的博客

03-19

6409

数据仓库以及Hive的使用总结

Hive 查询

阿极的博客

01-02

671

1.掌握Hive的普通查询、别名查询、限定查询与多表联合查询。 2.掌握Hive的多表插入、多目录输出以及使用Shell脚本查看Hive中的表。

参与评论您还未登录，请先登录后发表或查看评论

Spark 操作 Hive

weixin_45417821的博客

11-15

4365

文章目录内置Hive外部的 Hive代码操作 Hive运行 Spark SQL CLI运行 Spark beeline Apache Hive 是 Hadoop 上的 SQL 引擎，Spark SQL 编译时可以包含 Hive 支持，也可以不包含。包含 Hive 支持的 Spark SQL 可以支持 Hive 表访问、UDF (用户自定义函数) 以及 Hive 查询语言(HiveQL/HQL)等。需要强调的一点是，如果要在 Spark SQL 中包含Hive 的库，并不需要事先安装 Hive。一般来说，最好

hive 查看在hive中输入的所有历史命令

热门推荐

不是一枚开发

06-29

7万+

查看在hive中输入的所有历史命令：（1）进入到当前用户的根目录（2）查看. hivehistory文件

检查hive上的数据分区

薇酱的博客

04-01

9537

在hive上，检测分区是否产生的方法很简单: show partitions db.table 数据库名.表名即可当然也可以以如下的方式展开： use db; show parttions table 很多时候，我们生成分区的程序和后面根据分区成功进行的其他操作的程序并不是在一起的，如果分区不成功就继续下面的任务，会导致最后的结果不正确或是不存在。那如何检测你想要的分区是否生

Hive 获取上一年同月，今年本月，上一个月

fljinge的博客

09-13

4344

-- 本月 select tabb.current_month from (select substr(add_months(FROM_UNIXTIME(UNIX_TIMESTAMP(),'yyyy-MM-dd HH:mm:ss'), 0 ) ,1, 7) current_month) tabb -- 上一个月 select tabb.last_month from (select substr(add_months(FROM_UNIXTIME(UNIX_TIMESTAMP(),'yyyy-MM-d.

hive中上个月第一天,最后一天

macfei的博客

08-19

8423

每个月的第一天 trunc() 查看该函数的详细用法 desc function extended trunc; 上个月第一天 select trunc(add_months(current_date(),-1),'MM'); 结果: 2021-07-01 每年第一天 select trunc(current_date(),'YY'); 结果: 2021-01-01 每个月的最后一天 last_day() 上个月的最后一天 select date_format(last_day(add_m

【Hive】基本建库、建表操作

懂得一千零一种,赋予你失败的方法！

03-06

7869

文章目录一、Hive 数据仓库的操作1、创建数据仓库2、查看 db 数据仓库的信息及路径3、删除 db 数据仓库二、Hive 数据表的操作1、创建内部表2、创建内部表3、修改表结构4、删除表5、创建同结构表三、Hive 中数据的导入导出环境准备 Hadoop 完全分布式（一主两从即可） MySQL环境、Hive环境一、Hive 数据仓库的操作验证 hadoop 集群、mysql服务均已启动：在 Hive 安装目录下的 bin 目录下启动： ./hive : [root@serve..

Hive 数据同步ClickHouse

lwei_998的专栏

02-09

6813

需求：按条件筛选Hive表中的数据同步到ClickHouse中方法一：按照ClickHouse 官方文档提供的方法，在ClickHouse 中创建HDFS引擎表，读取Hive的数据，将读取的数据插入到ClickHouse本地表中。缺点： 1.需要在clickhouse中创建两张表 2.如果Hadoop集群压力比较大，在读取HDFS数据的时候会出现超时的情况方法二：在能直接读取HDFS数据的主机上安装clickhouse-client，读取HDFS数据后直接插入ClickHouse。 #!/bin/

Hive

weixin_44524441的博客

11-20

3万+

Hive基本概念是一个基于hadoop的数据仓库工具，可以将结构化数据映射成一张数据表，并提供类SQL的查询功能。 Hive的意义是什么背景：hadoop是个好东西，但是学习难度大，成本高，坡度陡。意义（目的）：降低程序员使用hadoop的难度。降低学习成本。 Hive可以对数据进行存储与计算存储使用HDFS存储计算使用MapReduce进行计算。 Hive的特性 ...

Hive表生成工具，Hive表生成工具Hive表生成工具

03-10

Hive表生成工具，Hive表生成工具Hive表生成工具

将csv文件放到hive对应的服务器上

04-13

1、问题描述将“數倉數據提供與報表流程開發\码表导入\TY”中csv内容导入hive的码表当中。...2、将csv文件放到hive对应的服务器上 hadoop服务器：10.176.153.32 1、将sfc_b_phase.csv放在32的root目录下。

hive上亿级别的表关联调优

chimoren0700的博客

07-05

3004

将oracle的数据导入到hive上进行查询统计分析类的工作

abc5582的博客

02-11

1463

简介此文档完成的操作是：将oracle的数据导入到hive上进行查询统计类的工作Oracle数据导出使用PLSQL工具查询导出tsv文件。导出时使用‘#’来讲列拼接起来，用于hive表加载数据文件用将文件上传至装了Hive的slave1服务器。连接hive数据仓库首先ssh登录到master服务器输入一下命令：（hive装在了slave1节点上所以注意连接jdbc连接字符串服务器是slave1...

在hive上创建数据

m0_47605847的博客

12-26

1468

hive将元数据存储在metastore上，将数据存储在hdfs上；二者怎么关联呢? 准备基础 1.Hadoop安装，hdfs集群启动 2. hive安装 3. 用jps命令查看各客户端的启动情况；如下：数据准备我们想要上传的数据内容如下：先创建一个 testdata.txt touch testdata.txt { "name": "songsong", "friends": ["bingbing" , "lili"] , "children": { "xiao song": 18 ,

大数据技术原理与应用

最新发布

m0_74161592的博客

09-20

389

1、大数据时代的特征，并结合生活实例谈谈带来的影响。（一）特征1、Volume 规模性：数据量大。2、Velocity高速性：处理速度快。数据的生成和响应快摩尔定律：每两年，数据量增加一倍1秒定律：响应时间时间控制在1秒以内3、Variety多样化：数据种类繁多。大数据是由结构化、非结构化、半结构化数据组成的，结构化数据仅占10%左右；非结构化数据，它们与人类信息密切相关；4、Value价值性：价值密度低。价值密度低，商业价值高；通过各类大量数据中挖掘有价值的信息；

阿里1688一面总结

weixin_44804108的博客

09-19

196

发布-订阅模式，即当实验发生变更时，就发出一个变更事件，然后，每台机器感知到这个变更事件后，清空本地缓存，触发reload操作。为了避免大量请求打到DB，可以对查询请求进行加锁，保证相同的实验只有一个线程去查，然后更新到缓存中，其他的请求，走缓存查询结果。运维团队将扩缩容事件投递在kafka中，容量平台起一个线程去订阅变更事件，当有事件时，更新公共缓存中的数据。kafka单broker的消息是可以保证顺序性的，但是kafka集群的消息实际是无序的。首先，面试官进行对业务进行介绍，然后，候选人进行自我介绍。

中间件知识点-消息中间件（Kafka）二

willard_z的博客

09-15

1557

消息中间件知识点

RabbitMQ Spring客户端使用

lixiaotao_1的博客

09-17

359

java自带序列化工具类，将java对象序列化为字节数组，用于网络传输。jdk序列号存在缺陷，（不安全，占用空间大等）注解声明式队列和交换机。

H3上的报错，hive上正常执行

06-09

如果在 H3 平台上执行 Hive 查询时出现错误，而在 Hive 平台上却没有问题，可能是由于环境配置或版本差异引起的。首先，你可以检查 H3 上的 Hive 版本是否与 Hive 平台上的版本相同。如果版本不同，你需要更新或切换到相同版本的 Hive。其次，你可以检查 H3 上的环境配置是否与 Hive 平台上的相同。确保在 H3 上设置的环境变量、Hive 配置文件、JVM 参数等与 Hive 平台上的相同。另外，你可以尝试在 H3 上重新执行 Hive 查询，确认是否仍然出现相同的错误。如果错误持续存在，你可以在日志中查找更多的错误信息，以便更好地定位和解决问题。