Hive设置本地模式

最新推荐文章于 2023-11-20 20:07:02 发布
最新推荐文章于 2023-11-20 20:07:02 发布
阅读量881 收藏 4
点赞数 1
文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_68225554/article/details/125088026
版权 
set hive.exec.mode.local.auto=true;

sunnyGoGoGo
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive性能调优总结
ronaldo1994的博客
11-11 657
1.fetch抓取 hive.fetch.task.conversion=more 在某些情况下不必要使用MR计算。 hive默认是minimal，该属性修改为more以后，在全局查找、字段查找、limit查找等都不走mapreduce。 2.本地模式 hive在进行集群作业时多台机器上协调运行，解决了大数据量查询的问题。但当数据量比较小时，没必要使用分布式查询，可以使用本地模式来执行mr job，只在单台机器上执行效率高很多。 set hive.exec.mode.local.auto=true ...
hive-engine-dex:Hive Engine DEX界面
05-06
Tribaldex Tribaldex的代码库。 安装/设置 要在本地运行，您将需要安装Node.js。 安装Node.js的最简单的方法是通过官方网站节点上下载安装。 这是唯一的先决条件（除了计算机之外）。 克隆此仓库 显而易见，但必不可少。 您需要克隆或下载此仓库才​​能在本地运行。 安装Aurelia CLI DEX是使用构建的，因此，CLI是正确运行和捆绑应用程序的要求。 要安装它，只需打开终端窗口并运行npm install aurelia-cli -g即可全局安装它。 安装软件包 默认情况下，Node.js随NPM（节点程序包管理器）一起安装以安装Node模块。 如果使用像Yarn这样的其他程序包管理器，则过程基本相同。 实际上，Yarn是推荐使用DEX的软件包管理器，但不是硬性要求。 npm install 运行应用程序（主网） 要以开发模式在本地运行应用程序，只需打
hive实验报告.docx
03-14
完成Hive工具的安装和配置 Hive工具能够正常启动运行 Hive控制台命令能够正常使用 够正常操作数据库，表，数据
Hive优化（提高hive运行速度）
01-20
文章目录一、Hive使用本地模式执行操作（Hive使用资源大于20M的时候还是会采用集群yarn的方式运行）具体设置方法1、设置临时的2、修改hive配置文件（hive-site.xml），永久有效二、 一、Hive使用本地模式执行操作（Hive使用资源大于20M的时候还是会采用集群yarn的方式运行） 将hive的job交给yarn执行太慢，hive支持本地模式 設置本地模式之前的，耗時 9.068 設置本地模式之后的，耗時 0.29 具体设置方法 1、设置临时的 在每次执行hql语句之前 都要先执行下面这句话 set hive.exec.mode.local.auto=true;
大数据Hive数仓开发精讲到企业级实战应用
04-10
├─01.视频 │  │      02--数据仓库基础理论--场景互动：数仓为何而来.avi │  │      04--数据仓库基础理论--OLTP、OLAP系统.avi │  │      05--数据仓库基础理论--数据仓库、数据库区别.avi │  │      06--数据仓库基础理论--数据仓库、数据集市区别.avi │  │      07--数据仓库基础理论--数仓分层思想与架构（ODS、DW、DA）.avi │  │      09--场景分析案例--美团点评酒旅数仓建设实践.avi │  │      14--Apache Hive--Hive和MySQL的对比.avi │  │      20--Apache Hive--安装部署--本地模式--Hive安装配置.avi │  │      21--Apache Hive--安装部署--远程模式安装与metastore服务启动.avi │  │      25--Apache Hive--初体验1--Hive使用起来和MySQL差不多吗？.avi │  │       │  
Hive用户指南(Hive_user_guide)_中文版.pdf
01-14
1. HIVE结构 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数 据提取转化加载 （ETL），这是一种可以存储、 查询和分析存储在 Hadoop 中的大规模数据的 机制。 Hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据。 同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理 内建的 mapper 和 reducer 无法完成的复杂的分析工作。 1.1HIVE 架构 Hive 的结构可以分为以下几部分： 用户接口：包括 CLI, Client, WUI 元数据存储。通常是存储在关系数据库如 mysql, derby 中 6 解释器、编译器、优化器、执行器 Hadoop：用 HDFS 进行存储，利用 MapReduce 进行计算 1、 用户接口主要有三个： CLI，Client 和 WUI。其中最常用的是 CLI ， Cli 启动的时候， 会同时启动一个 Hive 副本。 Client 是 Hive 的客户端，用户连接至 Hive Server 。 在启动 Client 模式的时候， 需要指出 Hive Server 所在节点，并且在该节点启动 Hive Server 。 WUI 是通过浏览器访问 Hive 。 2、 Hive 将元数据存储在数据库中，如 mysql 、 derby 。 Hive 中的元数据包括表的名字， 表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 3、 解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及 查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有 MapReduce 调用执行。 4、 Hive 的数据存储在 HDFS 中，大部分的查询由 MapReduce 完成（包含 * 的查询，比 如 select * from tbl 不会生成 MapRedcue 任务）。 1.2Hive 和 Hadoop 关系 Hive 构建在 Hadoop 之上， HQL 中对查询语句的解释、优化、生成查询计划是由 Hive 完成的 所有的数据都是存储在 Hadoop 中 查询计划被转化为 MapReduce 任务，在 Hadoop 中执行（有些查询没有 MR 任 务，如： select * from table ） Hadoop和 Hive 都是用 UTF-8 编码的 7 1.3Hive 和普通关系数据库的异同 Hive RDBMS 查询语言 HQL SQL 数据存储 HDFS Raw Device or Local FS 索引 无 有 执行 MapReduce Excutor 执行延迟 高 低 处理数据规模 大 小 1. 查询语言。由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计 了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开 发。 2. 数据存储位置。 Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中 的。而数据库则可以将数据保存在块设备或者本地文件系统中。 3. 数据格式。 Hive 中没有定义专门的数据格式，数据格式可以由用户指定，用户定义数 据格式需要指定三个属性：列分隔符（通常为空格、” t ”、” x001″）、行分隔符 （” n”）以及读取文件数据的方法（ Hive 中默认有三个文件格式 TextFile ， SequenceFile 以及 RCFile ）。由于在加载数据的过程中，不需要从用户数据格式到 Hive 定义的数据格式的转换，因此， Hive 在加载的过程中不会对数据本身进行任何修 改，而只是将数据内容复制或者移动到相应的 HDFS 目录中。而在数据库中，不同的数 据库有不同的存储引擎，定义了自己的数据格式。所有数据都会按照一定的组织存储， 因此，数据库加载数据的过程会比较耗时。 4. 数据更新。由于 Hive 是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。 因此， Hive 中不支持对数据的改写和添加，所有的数据都是在加载的时候中确定好的。 而数据库中的数据通常是需要经常进行修改的，因此可以使用 INSERT INTO ... VALUES 添加数据，使用 UPDATE ... SET 修改数据。 5. 索引。之前已经说过， Hive 在加载数据的过程中不会对数据进行任何处理，甚至不会 对数据进行扫描，因此也没有对数据中的某些 Key 建立索引。 Hive 要访问数据中满足 条件的特定值时，需要暴力扫描整个数据，因此访问延迟较高。由于 MapReduce 的引 入， Hive 可以并行访问数据，因此即使没有索引，对于大数据量的访问， Hive 仍然 可以体现出优势。数据库中，通常会针对一个或者几个列建立索引，因此对于少量的特 定条件的数据的访问，数据库可以有很高的效率，较低的延迟。由于数据的访问延迟较 高，决定了 Hive 不适合在线数据查询。 6. 执行。 Hive 中大多数查询的执行是通过 Hadoop 提供的 MapReduce 来实现的（类似 select * from tbl 的查询不需要 MapReduce）。而数据库通常有自己的执行引擎。
hive-本地模式设置
weixin_44896621的博客
05-01 4045
前言 当在hive上提交mapreduce任务时，常见的管理引擎有yarn与local，默认使用集群模式yarn进行执行。当执行任务计算的文件大小与文件数相对较小时，可以开启本地模式进行执行，效率相对集群模式会更高。 查看当前hive的本地模式情况 查看本地模式是否开启：set hive.exec.mode.local.auto; 查看启用本地模式允许的最大输入文件数：set hive.exec.mode.local.auto.input.files.max; 查看启用本地模式允许的最大文件大小：set
hive设置本地执行方式
qq_43759478的博客
07-05 1793
假如hive中的SQL语句执行时间太长，可以设置本地执行方式，设置本地执行模式可以优化执行速度，数据量小的时候，使用本地模式：。以上这些配置，都可以写在 hive 的conf 下的 .hiverc 文件中，当hive启动的时候，就会加载。在hive的配置文件 hive-env.sh中将一些配置注释解开。
hive使用本地模式
热门推荐
wisgood的专栏
12-17 3万+
hive使用本地模式
Hive安装配置 - 本地模式
最新发布
howard2005的专栏
11-20 474
在Hadoop分布式集群上安装配置本地模式的Hive
Hive开启本地模式的命令
夜归人的博客
06-01 2168
Hive开启本地模式的命令 SET hive.exec.mode.local.auto=true; 自动开启本地模式的方式 1、在hive的配置文件目录下，创建 .hiverc ，默认所有用户都可以使用这个配置，更改hive配置会影响此文件 路径 ： /etc/hive/conf 2、将set hive.exec.mode.local.auto=true; 这个设置增加到你的$HOME/.hiverc配置文件中 3、远程模式时间消耗长的原因？ #大多数的Hadoop job是需要hadoop提供的完整的可
Hive（十）Hive性能调优总结
dengshuabi6933的博客
08-12 3618
一、Fetch抓取 1、理论分析 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。 在hive-default.xml.template文件中hive.fetch.task.conv...
Hive部署本地模式
千锋教育
05-31 656
使用mysql替换derby进行元数据的存储，hive的相关进程都是在同一台机器上，即本地模式。mysql因为是独立的进程，所以mysql可以和hive在同一机器上，也可以在其他机器上。注意:在hive-site.xml的第3215行有一个特殊的字符,由于编码,执行程序时不识别,需要手动修改(删除就可以了)通常使用关系型数据库来进行元数据存储（mysql、oracle等执行带jdbc驱动的数据库）注意：hive的元数据在mysql库里创建的数据库hive的编码最好设置成latin1。启动MySQL的服务。
hive数据操作
vic868的专栏
10-04 246
什么情况下hive可以避免使用mapreduce select * from employees; 在这种情况下可以简单的读取employees对应的存储目录下的文件，然后输出到格式化后的内容到控制台 对于where语句中的过滤条件只是分区字段这种情况（无论是否使用Limit语句限制输出记录数），也无需mapreduce过程的 select * from employees whe
Hive单机版配置永久本地模式
guihua55的博客
07-03 1万+
网上很多在说在hive命令行里直接输入： set hive.exec.mode.local.auto=true; 这个配置只适合此命令行hive终端为本地模式，但是重新进就会失效 所以在配置单机模式的hive时，在conf下的hive-site.xml里配置如下就会永久变成本地模式 <property> <name>hive.exec.mode.local.auto</name> <value>true</value>...
Hive本地模式安装（详细）
阿极的博客
12-01 2518
本地模式安装采用外部数据库存储元数据，该模式不需要单独开启Metastore服务，因为本地模式使用的是和Hive在同一个进程中的Metastore服务。
Hive-企业级调优(表的优化)
weixin_43586713的博客
10-20 316
表的优化小表大表Join(MapJOIN)案例实操大表 Join 大表空 KEY 过滤空 key 转换 小表大表Join(MapJOIN) 将 key 相对分散，并且数据量小的表放在 join 的左边，可以使用 map join 让小的维度表先进内存。在 map端完成 join。 实际测试发现：新版的 hive 已经对小表 JOIN 大表和大表 JOIN 小表进行了优化。小表放在左边和右边已经没有区别。 案例实操 1）需求介绍 测试大表 JOIN 小表和小表 JOIN 大表的效率 2）开启 MapJoin
Hive调优之 本地模式
哈
03-02 1409
大多数的Hadoop Job是需要Hadoop提供完整的可扩展性来处理数据的。不过，有时Hive的输入数据量是非常小的。在这种情况下，为查询而触发执行任务消耗的时间可能会比实际job的执行时间要多的多。 对于大多数这种情况，Hive可以通过本地模式在单台机器上处理所有的任务。 本地模式对于小数据集，执行时间可以明显被缩短。 用户可以通过设置hive.exec.mode.local.auto的值为t...
Hive执行的本地模式
weixin_34041003的博客
10-23 1091
2019独角兽企业重金招聘Python工程师标准>>> ...
hive关闭本地模式命令
05-09
如果你正在使用Hive的本地模式，可以使用以下命令关闭本地模式： ``` set mapreduce.framework.name=yarn; set hive.execution.engine=tez; ``` 这样就会将Hive的执行引擎切换为Tez，并将MapReduce框架的执行引擎...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值