调优
weixin_43662454
这个作者很懒,什么都没留下…
展开
-
mysql调优查询缓存
show global status like ‘qcache%’;Qcache_free_blocks:缓存中相邻内存块的个数。数目大说明可能有碎片。FLUSH QUERY CACHE 会对缓存中的碎片进行整理,从而得到一个空闲块。Qcache_free_memory:缓存中的空闲内存。Qcache_hits:每次查询在缓存中命中时就增大Qcache_inserts:每次插入一个查询时就增大。命中次数除以插入次数就是不中比率。Qcache_lowmem_prunes:缓存出现内存不足并且必须原创 2022-04-18 09:21:52 · 234 阅读 · 0 评论 -
SQL的select 语句的执行顺序
SQL的select 语句的执行顺序SQL的select 语句的执行顺序2022-04-06 17:01·张念初蛇姐镇楼SQL的select 语句的执行顺序标准SQL的解析顺序为:(1)from 子句, 组装来自不同数据源的数据(2)where子句, 基于指定的条件对记录进行筛选(3)group by 子句, 将子句划分为多个分组(4)使用聚合函数进行计算(5)使用having子句筛选分组(6)计算所有的表达式(7)使用order by 对结果集进行排序上述未有select语句,为原创 2022-04-16 18:03:50 · 439 阅读 · 0 评论 -
logstash处理解析失败的数据,不写入数据库或elasticsearch
filter { dissect{ mapping => { "message" => "%{clientip} - - [%{time_local}] %{request} %{url} " } } if "_dissectfailure" in [tags] { drop {} } }使用dissect做解析匹配或者grok解析失败写入数据源,...原创 2019-11-26 17:07:05 · 2041 阅读 · 0 评论 -
postgres如何不插入重复的值
用一句sql语句搞定INSERT INTO pm (metric, objectname, c_md5, e_md5) SELECT 'oracle', 'OR' ,'4', '7' WHERE NOT EXISTS(SELECT id FROM pm WHERE metric='oracle' AND objectname='OR');pm为数据库的表名metric, objectna...原创 2019-11-07 16:39:31 · 1624 阅读 · 0 评论 -
spark的资源参数调优
1.num-executors参数说明:该参数用于设置spark作业总共要用多少个Executor,建议每个spark作业运行一般设置50~100个左右的Executor进程比较合适2.executor-memory参数说明:该参数用于设置每个executor进程的内存,executor内存的大小,很多时候度决定了spark作业的性能,常见jvm oom异常建议每个executor内存设...原创 2018-12-04 16:52:24 · 203 阅读 · 0 评论 -
spark的程序开发调优
原则一:避免创建重复的RDD,对于同一份数据,只应该创建一个RDD.原则二:尽可以复用同一个RDD,对于类似这种多个RDD的数据有重叠或者包含的情况,我们应该尽量复用一个RDD,尽量减少RDD的数量,从而尽可能减少算子执行的次数原则三:对多次使用的RDD进行持久化,对多次进行操作的算子使用persist持久化算则四:尽量避免使用shuffle类算子,尽量避免使用reducebykey...原创 2018-12-04 16:58:31 · 81 阅读 · 0 评论 -
idea如何读取配置properties文件以及加载外部文件目录下的配置
如何去读properties结尾的文件,方便程序的灵活配置参数首先建立`PropertiesReader类一般放在util包下面public class PropertiesReader {/** * 读取配置文件 */private Properties getProperties(){ Properties p = null; try{ // 读取...原创 2019-07-11 09:55:42 · 2186 阅读 · 0 评论 -
Hive的十四种调优方式:
Hive的十四种调优方式:第一种调优方式:fetch(hive可以避免MapReduce)对于hive可以简单地读取employee对应的储存目录下的文件,然后输出查询结果到控制台.修改hive.fetch.task.conversion默认是more,老版本为minimal,修改为more即可第二种:本地模式(在hive输入数据量是非常小的情况下,可以通过本地模式处理单台机器上所有的任务,...原创 2019-07-01 09:57:41 · 1127 阅读 · 1 评论