2021-10-20

最新推荐文章于 2024-09-05 12:30:40 发布
最新推荐文章于 2024-09-05 12:30:40 发布
阅读量118 收藏
点赞数
分类专栏： 数据仓库学习 学习 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43119740/article/details/120868365
版权

文章目录

hive企业级调优

hive调优学习

一、explain

1、explain
2、explain extened

二、fetch

设置是否走mr

三、本地模式

set.hive.exec.mode.local.auto=true

四、表优化

1、小表 join 大表 （map join）

2、大表 join 大表

  • Left、right join等 空key过滤，inner join不需要
  • 空key赋值随机数，随机数保证不符合join条件
  • SMB(sort Merge Bucket join)

3、GROUP BY 数据倾斜

  • map端预聚合操作

4、COUNT(DISTINCT)

  • grouby 嵌套子查询去重

5、避免笛卡尔积

6、分区、分桶

7、过滤非必要数据

8、小文件合并

9、合理设置map、reduce的任务数量

10、任务阶段无依赖并行执行

11、严格模式

  • 开启严格模式，查询分区必须添加分区过滤条件
  • 开启limit限制，查询时必须添加limit数量
  • 关闭笛卡尔积，查询时不许添加join条件

五、JVM重用

小文件时使用

六、引擎优化

tez：优化不完全依赖于磁盘

qq_43119740
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2021-01-10
qq_22667507的博客
01-10 996
jupyter notebook中直接安装python的第三方库。 例如安装pymysql ： ! pip install pymysql。 升级pip：
IllegalArgumentException: Parameter value [2021-10-20] did not match expected type [java.util.Date (
qq_44209563的博客
10-20 2623
问题 在使用JPA时， 数据库表的日期字段city_date数据类型为 date 数据库表对应类的属性cityDate 类型为Date 使用jpa的方法查询，但是以cityDate的值作为查询条件时，参数类型定义成了String 使用到该方法进行查询时，显示错误 IllegalArgumentException: Parameter value [2021-10-20] did not match expected type [java.util.Date (n/a)] 解决 把方法的参数类型从Str
CVE-2021-36934复现
江左盟的博客
07-24 1万+
漏洞简介 微软在7月20日发布紧急安全公告，公开了一个Windows提权漏洞。由于对多个系统文件（包括安全帐户管理器 (SAM) 数据库）的访问控制列表 (ACL) 过于宽松，攻击者可读取SAM，SYSTEM，SECURITY等文件内容，进而获取用户NTLM Hash值，从而通过解密Hash值或Hash传递等方法造成特权提升漏洞。成功利用此漏洞的攻击者可以使用 SYSTEM 权限运行任意代码。 影响范围 微软确认此问题会影响 Windows 10 版本 1809 和更新的操作系统，其他版本还在确认中。 环境
CVE-2021-3156 漏洞复现笔记
weixin_46483787的博客
07-01 1万+
CVE-2021-3156复现笔记
CVE-2021-4034：Linux Polkit 权限提升漏洞复现及修复
热门推荐
一只爱吃橙子的羊
01-27 2万+
本文仅为验证漏洞，在本地环境测试验证，无其它目的 CVE 编号： CVE-2021-4034 漏洞说明： 近期，国外安全研究团队在 polkit 的 pkexec 中发现存在的本地权限提升漏洞（CVE-2021-4034） 关于 Polkit pkexec for Linux Polkit（以前称为 PolicyKit）是一个用于在类 Unix 操作系统中控制系统范围权限的组件。它为非特权进程与特权进程通信提供了一种有组织的方式。也可以使用 polkit 执行具有提升权限的命令，使用命令 pkexec 后
2021-10-20 python安装第三方库，报错Failed to build
bailian的博客
10-20 7684
python安装第三方库，报错Failed to build prophet 系统：WIN10 软件：Anaconda Prompt 起因与问题 执行 pip install prophet 或 python -m pip install prophet 安装失败,报错有点长， Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple Collecting prophet Using cached https://pypi.tuna.t
CVE-2021-31166 漏洞复现
miko's blog
10-25 1389
CVE-2021-31166漏洞复现漏洞导读漏洞版本漏洞复现总结 CVE-2021-31166 Exploit https://github.com/ConMiko/CVE-2021-31166-exploit 官方补丁 https://msrc.microsoft.com/update-guide/en-us/releaseNote/2021-May 漏洞导读 CVE-2021-31166 (HTTP Protocol Stack Remote Code Execution Vulnerabilit
时间类型转换的问题“2021-01-20T10:09:11Z”
JavaWHD的博客
02-22 6383
关于新手碰到时间类型转换的问题： 拿到的时间为字符串，格式为：“2021-01-20T10:09:11Z”。 容易理解的解决方法： 先将该字符串转换为Date类型： SimpleDateFormat sdf = new SimpleDateFormat(“yyyy-MM-dd’T’HH:mm:ss’Z’”); Date applyDate = sdf.parse(“2021-01-20T10:09:11Z”); 再将Date类型转换为需要的字符串类型： SimpleDateFormat sdf1 = new
CVE-2021-40116|CVE-2021-34783等——Cicso多个安全漏洞
LiBai'S BLOG
11-14 6793
漏洞复现漏洞概述影响版本漏洞复现漏洞详情处置建议 漏洞概述 2021年10月27日，Cisco发布安全公告，修复了Cisco Firepower 威胁防御 (FTD)、Cisco思科自适应安全设备 (ASA)和Firepower 管理中心 (FMC)中的多个安全漏洞。 CISCO ASA远程任意文件读取 Cisco Adaptive Security Appliance (ASA)是思科的一种防火墙设备。 Cisco Adaptive Security Appliance (ASA)防火墙设备以及Ci
域内提权 (CVE-2021-42278 & CVE-2021-42287) 漏洞利用
Captain_RB的博客
07-03 3140
2021年11月，Microsoft 曝出了两个关于 Windows AD 域提权的漏洞：CVE-2021-42278 & CVE-2021-42287，CVSS V3.1评分均为8.8，两个漏洞组合可导致域内普通用户提升至域管权限，文章主要对漏洞利用使用的两种自动化脚本进行介绍。...............
2021-10-20Dll.zip
10-26
标题 "2021-10-20Dll.zip" 提示我们这是一个包含DLL文件的压缩包，可能是一个由C#编写的动态链接库（Dynamic Link Library），并且这个DLL是为跨平台使用设计的，既支持Delphi也支持C#进行调用。描述中提到的“调用...
log-aggregated-2021-10-20-080516.0005.ips
10-26
log-aggregated-2021-10-20-080516.0005.ips
2021-2022收藏的精品资料2021-2022年20xx年度XX公司全国市场营销计划书.docx
09-16
- 20xx年产量：10万吨。 - **市场表现**： - 在惠州市场占有率：50%。 - 直销网点数量：27家。 - 销售网络覆盖地区：广东、湖南、福建、海南、北京等。 - 在广州、深圳大米市场占有率：约4%，处于新品牌认知...
山东省烟台市2021-2022学年高一上学期期末统考化学试题 扫描版含答案.docx
02-15
- **第10题**：考查化合物性质，正确答案是A。 ### 二、简答题及实验题解析 #### 1. 第17题解析 - **第17题**： - **(1)** 考察了氮的氧化物之间的转化，包括硝酸的生成反应和氮氧化物与氨气的反应。 - **3NO2 +...
Hive 安装
qq_45115959的博客
09-02 1355
原因在于 Hive 默认使用的元数据库为 Derby。Derby 数据库的特点是同一时间只允许一个客户端访问。如果多个 Hive 客户端同时访问，就会报错。由于在企业开发中，都是多人协作开发，需要多客户端同时访问 Hive，怎么解决呢？我们可以将 Hive 的元数据改为用 MySQL 存储，MySQL 支持多客户端同时访问。，体会 Hive 与 Hadoop 之间的关系。（2）source 一下。观察 HDFS 的路径。
Java Servlet
小小前端转型中
09-01 713
/</</</</</</注意：servlet-name是自己任意命名的，url-pattern也是的5. 在网页中访问即可输入自己定义的url-pattern即可。
[Hive]五、Hive 源码编译
weixin_44428807的博客
09-02 1013
G:\Bigdata\2.hive\大数据技术之Hive源码编译。
数仓工具—Hive语法之URL 函数
09-05 152
URL 的解析函数，在我们进行流量分析的时候其实非常有用，否则的话我们可能需要借助正则匹配来完成这样的功能。
Hive数据库与表操作全指南
最新发布
qq_45115959的博客
09-05 972
创建一个数据库，不指定路径注：若不指定路径，其默认路径为创建一个数据库，指定路径创建一个数据库，带有。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值