![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
调优
做一只精致IT小白
这个作者很懒,什么都没留下…
展开
-
MaxCompute —【存储_压缩操作】
压缩方案 说明:压缩前后请务必进行数据测试对比,确保数据压缩前后一致。 对比工具:https://datacompare.alibaba-inc.com/#/home 原理说明 在默认情况夏,数据是按照写入时间顺序存储的,这样物理上相邻的数据其实相似性并不高。在当前列存储当道的大背景下,如果让某个人/设备的数据在物理上相邻,就能够用20%的代价达到80%的数据存储优化效果。【desc extended <table_name>;】 ...原创 2020-11-12 12:01:23 · 795 阅读 · 0 评论 -
Hive —【order by/sort by】
Order by Order by会对输入做全局排序,因此只有一个reduce(多个reduce无法保证全局有序) 只有一个reduce,会导致当前输入规模较大时,需要较长的计算时间。 Set hive.mapred.mode=nonstrict;(default value/默认值) Set hive.mapred.mode=strict; Order by 和数据库中的order by功能一致,按照某一项&几项排序输出。与数据库中的order by的区别在于hive.mapred.mode=原创 2020-11-11 00:33:51 · 472 阅读 · 0 评论 -
Python - MySQL数据库相关对象及优化操作
Python数据库的Connection、Cursor两大对象 Python数据库图解流程 参数优化 url 在url后加上参数rewriteBatchedStatements=true表示MySQL服务开启批次写入,此参数是批次写入的一个比较重要参数,可明显提升性能 batchsize DataFrame writer批次写入MySQL的条数,也为提升性能的参数 isolationLeve...原创 2019-11-20 16:49:09 · 220 阅读 · 0 评论 -
Hive(一)调优
Hive-调优 HiveQL是一种声明式语言,用户会提交声明式的查询,而Hive会将其转化为MapReduce job。 Hive-1 使用Explain(解析Hive如何转化为MapReduce) 一个Hive任务包含有一个或多个stage,不同的stage之间会存在着依赖关系。一个stage可以是一个MapReduce,也可以是【抽样、合并、limit限制】 Hive-2 使用Explain ...原创 2019-09-17 14:08:20 · 194 阅读 · 0 评论