![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
sql
Alwaysdazz
puge
展开
-
MySQL 数据库优化
数据库优化一方面是找出系统的瓶颈,提高MySQL数据库的整体性能,而另一方面需要合理的结构设计和参数调整,以提高用户的相应速度,同时还要尽可能的节约系统资源,以便让系统提供更大的负荷.1、优化一览图2、优化笔者将优化分为了两大类,软优化和硬优化,软优化一般是操作数据库即可,而硬优化则是操作服务器硬件及参数设置.2.1 软优化2.1.1 查询语句优化1、首先我们可以用EXPLAIN或DE...原创 2019-10-31 17:26:12 · 53 阅读 · 0 评论 -
hive explain详解
HiveQL是一种声明式语言,用户会提交声明式的查询,而Hive会将其转化成Mapreduce job。大多数情况下,用户不需要了解Hive内部是如何工作的,不过,当用户对于hive具有越来越多的经验后,学习下Hive背后的理论知识以及底层的一些实现细节,会让用户更加高效地使用Hive。要了解HIVE是如何工作的,第一个步骤就是了解EXPLAIN的功能,它能帮助我们学习hive如何将查询转化成M...原创 2019-10-23 15:07:18 · 514 阅读 · 0 评论 -
数据库的四种隔离级别
首先来看一个事务性操作,下面例举一个经典的银行例子从Jane的支票账户转200美元到他的储蓄账户这一个过程1.检查支票是否高于200美元2.更新支票减掉200美元3.更新储蓄账户增加200美元start transaction;selece balance from checking where uid =Jane;update checking set balance =bala...原创 2019-08-25 16:30:37 · 76 阅读 · 0 评论 -
高性能MYSQL(查询优化)
1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:select id from t ...原创 2019-08-25 17:09:56 · 95 阅读 · 0 评论 -
什么是ETL
前言:数据清洗, 是整个数据分析过程中不可缺少的一个环节,其结果质量直接关系到模型效果和最终结论。在实际操作中,数据清洗通常会占据分析过程的50%—80%的时间。预处理阶段预处理阶段主要做两件事情:一是将数据导入处理工具。通常来说,建议使用数据库,单机跑数据搭建MySQL环境即可。如果数据量大(千万级以上),可以使用文本文件存储+Python操作的方式。二是看数据。这里包含两个部分:一是...转载 2019-08-26 17:07:21 · 159 阅读 · 0 评论 -
spark-sql createOrReplaceTempView 和createGlobalTempView区别
在讲解 createOrReplaceTempView 和createGlobalTempView的区别前,先了解下Spark Application 和 Spark Session区别关系明细一个Appliction可以包含多个SparkSession,但是一个Appliction只能有一个SparkContext,RDD是Spark计算的最小单元Spark Application...原创 2019-09-03 20:10:57 · 6413 阅读 · 0 评论 -
mysql的limit问题
问题:在mysql中取数据使用limit的时候,发现一个很奇怪的现象,现在有一个百万行记录的表,然后用select * 与 select id 查询出来的id是不一致的。原因:在使用limit的时候没有对字段进行排序的时候,用查id走的是索引,按索引存储位置取数据,*是查全表,按表记录存储位置取结果,一样近视巧合而已。所以在不使用order by 排序时出现的结果不同的。limit分页优化:...原创 2019-09-19 17:42:22 · 918 阅读 · 0 评论