- 博客(42)
- 收藏
- 关注
RSS订阅原创 elasticsearch因磁盘空间不足出现故障
基于磁盘容量的shard分配策略（Disk-based shard allocation）默认就是开启的，其机制也非常简单，主要就是3条非常重要的分水线（watermark）：low watermark：默认值是85%。磁盘使用超过这个阈值，就认为“危险”快来了，这个时候就不会往该节点再分配replica shard了，但新创建的索引的primary shard还是可以分配。特别注意必须是新创建的索引（什么是“老的”？比如再平衡时其它节点上已经存在的primary shard就算老的，这部分也是不能够迁
2022-02-21 16:18:32
2153
原创 python中内存分析
Pympler用于测量、监控和分析正在运行的python应用程序中python对象的内存行为，完全由python编写，仅支持3.6以上版本安装pip install Pympler第一步：定位内存泄漏from pympler import trackertr = tracker.SummaryTracker()接口返回处打印内存差异，观察内存是否有泄漏tr.print_diff() # 本次内存和上次内存块的差异然后我们访问接口，多触发几次，不用看前两次，等输出稳定后，
2022-01-19 09:20:56
1553
原创 python代码性能分析cProfile、line_profiler
性能分析1.cProfile官方文档：https://docs.python.org/zh-cn/3.8/library/profile.html?highlight=cprofile#module-cProfile说明：https://juejin.cn/post/6844903474250022919cProfile是一种确定性分析器，只测量CPU时间，并不关心内存消耗和其他与内存相关联的信息####django扩展库确实强大 django-cprofile-middleware-dmw
2022-01-18 10:59:08
733
原创 demjson从使用到放弃
为了处理可能出现不规则数据是选用了demjson, 当数据量小时没有什么问题，当处理大量数据时cpu飙升甚至有时程序会被强制退出，这也导致了处理时间很长。最终改回了标准库,处理时间、性能都正常了。从gitbub上看到这个开源库已经5年没有维护了，Python标准库能实现的尽量不要去选择三方库尤其是一年以上没有维护的。...
2021-04-07 19:17:59
548
原创 Windows10升级后导致的mysql无法连接
错误：2003-Can't connect to server on 'localhost'(10038）不要去试图修改或者重装mysql，耗时又耗力，最简单的办法就是卸载最近的windows更新最后不要忘了关闭windows自动更新
2020-10-16 22:17:36
840
原创 pycharm设置图标
官方pycharm在linux的桌面快捷设置，一条命令就可以搞定：$ sudo ln -s /opt/pycharm-2017.1.3/bin/pycharm.sh /usr/bin/pycharm注意:/opt/pycharm-2017.1.3是 pycharm 文件的路径,这个要根据自己pycharm文件位置进行相应更改.在搜索框下输入pycharm:接下就把图标拖拽到桌面或者任务栏就可以了...
2020-10-09 16:11:30
1844
原创 docker pull镜像慢的问题
这个和pip是一个一样的，改为国内的源就快了第一步修改/etc/docker/daemon.json 文件中添加以下参数（没有该文件则新建），没有权限的话添加权限{ "registry-mirrors": ["https://9cpn8tt6.mirror.aliyuncs.com"]}第二步重启配置和dockersystemctl或service daemon-reloadsystemctl或service restart docker...
2020-08-26 13:50:50
177
原创 记录一个h5页面打开很慢的问题
公司的移动端有一个新闻栏目，前端请求之后进行渲染。线上存在一个问题，有些新闻打开的时候可能要等待几十秒，这是不能容忍的。下面是问题排查过程1. 作为后端先是抓包查看了接口请求时间，发现不是接口返回慢，排除后端原因2. 定位到问题可能出现在前端加载上，抓包查看请求了哪些文件，发现有有一个unkonw的js文件一直在加载，问题就是它了，这个js文件跨域了，这个文件的加载时间要15秒以上，失败后重新加载，就这样直达成功为止，这丢包这么严重吗需要多次加载?。在ping过这个js地址后发现有丢包的频率...
2020-07-19 17:25:39
1845
原创 django+celery定时任务
settingsp配置：CELERY_ENABLE_UTC = TrueCELERY_TIMEZONE = TIME_ZONE# 任务队列配置CELERY_ACCEPT_CONTENT = ['application/json', ]CELERY_RESULT_BACKEND = f'redis://{REDIS_HOST}:{REDIS_PORT}/{REDIS_DB}'CELER...
2020-07-09 13:43:14
685
1
转载 python多继承---C3算法
一、基本概念1. mro序列MRO是一个有序列表L，在类被创建时就计算出来。通用计算公式为：mro(Child(Base1，Base2)) = [ Child ] + merge( mro(Base1), mro(Base2), [ Base1, Base2] )（其中Child继承自Base1, Base2）如果继承至一个基类：class B(A)这时B的mro序列为 mro( B ) = mro( B(A) ) = [B] + merge( mro(...
2020-06-23 14:19:32
446
原创 mysql中两个时间运算（获得相差天数、小时、分钟、秒）
方法1: DATE_ADD() 函数向日期添加指定的时间间隔。 语法：DATE_ADD(date,INTERVAL expr type) 参数说明: date:起始日期或者起始时间 expr:指定的是一个间隔值,在起始时间中增加或者减少,注意:expr是一个字符串.对于负值间隔,可以以"-"开头 unit:表示的是一个单位,比如,加上的是1天还是一个...
2020-04-11 21:26:37
14752
原创 celery因为redis意外挂了的问题MISCONF Redis is configured to save RDB snapshots
解决办法：有两种修改方法：1）是通过redis命令行修改命令行修改方式示例：127.0.0.1:6379> config set stop-writes-on-bgsave-error no2）是直接修改redis.conf配置文件修改redis.conf文件：vi打开redis-server配置的redis.conf文件，然后使用快捷匹配模式：/stop-write...
2020-04-10 21:21:08
214
原创 单例的应用---mysql数据库连接
import pymysqlfrom DBUtils.PooledDB import PooledDBfrom .tools import *from django.conf import settingsfrom functools import wrapsconf = settings.DBPOOL_CONFIG#DBUtils是一套Python数据库连接池包，并允许对非线程安...
2020-01-09 14:00:06
202
转载 ubantu桥接模式无法联网问题
我在win7上安装了VMware虚拟机，虚拟机上安装了Ubuntu，但是我发现Ubuntu不能上网了。在VMware的“虚拟网络编辑器”中，我想把VMnet0设置为桥接，可是弹出提示——无法将网络更改为桥接状态：没有未桥接的主机网络适配器。搜了一波，问题已经解决。步骤如下：一、卸载虚拟网卡的驱动在【设备管理器】的【网络适配器】中，卸载所有虚拟网卡的驱动，如下图二、在虚拟网...
2020-01-09 12:02:12
605
原创 python sql中 like %格式化问题
sql=SELECT * FROM ticket_ticketrecord WHERE workflow_id = 14 AND creator LIKE '%%{}%%'.format(name)
2019-10-21 16:51:00
1378
原创 mysql去除字段中空格
update nm_user set nickname=TRIM(Replace(Replace(Replace(nickname,'\t',''),'\n',''),'\r',''))
2019-09-25 14:25:29
667
原创 grep查看日志
1.基本语法grep [参数] 关键字 文件 1) 参数选项：-n 结果显示行号-c 关键字匹配的行次数-i 关键字忽略大小写-v 反向选择-e 后跟一个正则表达式-m10 查找到10次就停止继续查找-A10 显示关键字所在行和后10行-B10 显示关键字所在行和前10行-C10 显示关键字所在行和前后10行--color=auto 关键字高亮显示（多个参数一起使...
2019-09-24 18:09:57
4838
原创 更改pip源为豆瓣源
在主目录下创建.pip文件夹,然后在该目录下创建pip.conf文件 mkdir ~/.pip vim ~/.pip/pip.conf pip.conf文件编写如下内容（更换为清华大学镜像源）：[global]index-url = https://pypi.tuna.tsinghua.edu.cn/simple保存退出即可。...
2019-08-15 10:51:51
1584
原创 linux查看端口占用情况
1.使用lsoflsof -i:端口号2.使用netstatnetstat -anp|grep 端口号netstat -tunlp|grep 端口号netstat -tunlp 查看所有端口
2019-07-19 17:31:09
135
转载 pycharm （比较全面，一篇足够）
工欲善其事必先利其器，PyCharm 是最popular的Python开发工具，它提供的功能非常强大，是构建大型项目的理想工具之一，如果能挖掘出里面实用技巧，能带来事半功倍的效果。我在 Windows 平台下的默认KeyMap设置，在 Mac 也是类似的。1、快速查找文件 Ctrl + ECtrl + E 可打开最近访问过的文件Ctrl + Shift + E 打开最近编辑过...
2019-07-15 11:32:55
818
转载 pycharm快捷键及一些常用设置
1、编辑（Editing）Ctrl + Space 基本的代码完成（类、方法、属性）Ctrl + Alt + Space 快速导入任意类Ctrl + Shift + Enter 语句完成Ctrl + P 参数信息（在方法中调用参数）Ctrl + Q 快速查看文档Shift + F1 外部文档Ctrl + 鼠标 简介Ctrl + F1 显示错误描述或警告信息Alt + Inser...
2019-04-28 10:05:05
112
转载 Navicat的安装及破解步骤（附下载链接）
https://blog.csdn.net/jsnhux/article/details/80921454
2019-04-26 14:26:04
2492
原创 sql分页总页数
我用的pythontotal_pages = int((total_count + PAGE_SIZE - 1) / PAGE_SIZE)
2019-04-19 15:17:44
2238
转载 mac去除dmg密码操作到编程
由于使用osx 系统，经常会访问到网站http://xclient.info/s/?_=a05fc4a0d4599abedc164b50509cf321但是这个网站下载的dmg都会有密码xclient.info，每次操作起来还是挺麻烦的。所以我们得去除这个密码，毕竟作为一个开发者不管是写代码还是电脑使用都得高效。一、打开diskimage.png二、打开菜单栏里的转换...
2019-04-18 18:55:49
3312
转载 Mac安装软件时提示已损坏的解决方法
开篇语第一次在简书写文章就献给了技术相关，想想内心还是非常激动的，谁让DaKunn儿时梦想就是来中关村组装电脑呢（长大了才知道这行学名叫IT）。着手准备这个文集已经有段日子了，平时在公司经常帮同事解决电脑软硬件问题，DaKunn发现对于设计师而言，技术方面是最大短板，遇到软件装不上、文件打不开等问题，会大大影响工作效率。因此决定开通这个专栏，帮助设计师自己搞定常见的电脑问题，拒绝做技术...
2019-04-18 18:53:44
10276
1
转载 Cornerstone 使用详解
1、⾸首先打开Cornerstone2、然后如下图所⽰示:3、选择对应的仓库,如下图所⽰示4、然后Import完成之后,就把本地的⽂文件提交到SVN服务器上了,如下图所⽰示,另外如果你想要使⽤用SVN进⾏行版本控制的话,那么需要把服务器上的⽂文件Check Out到本地,这样的话本地Check Out下来的⽂文件就和服务器上对应的⽂文件建⽴立了关联,这样本地⽂...
2019-04-18 18:50:06
1318
原创 linux替换rm命令
1. 在/home/username/ 目录下新建一个目录，命名为：.trash2.. 在/home/username/tools/目录下，新建一个shell文件，命名为： remove.shPARA_CNT=$#TRASH_DIR="/home/username/.trash"for i in $*; doSTAMP=`date +%s`fileName=`basename $...
2019-04-05 15:22:43
475
转载 git merge与rebase
看不到git远程分支fetch会把远程服务器上所有的更新都拉取下来git之 分支切换时相互影响的问题接触git有一小段时间，期间有过不少疑问，幸得看了很多大神博客，收获颇丰。自己也写点东西，算是省得以后自己忘啦，如果同样有人从零开始，希望本篇博客可以略有帮助。本篇博客主要讲git使用过程中，本地仓库分支（branch）切换过程中的影响。内容不多，但因为自己也是菜鸟明白那种心情，会写...
2019-04-01 22:09:01
91
转载 git常用命令
一般配置 git --version //查看git的版本信息 git config --global user.name //获取当前登录的用户 git config --global user.email //获取当前登录用户的邮箱 登录git /* 如果刚没有获取到用户配置，则只能拉取代码，不能修改 要是使用git，你要告诉git是谁在使用*/ ...
2019-03-31 15:57:08
75
原创 python中的魔法方法
__call__()方法：在类中实现这一方法可以使得类的实例对象像函数一样被调用__dict__方法：是用来存储对象属性的一个字典__getatrr__方法：使用.获取属性的时候，如果该属性存在就输出其值，如果不存在则会去找__getatrr__,我们可以通过重写该方法可以实现动态属性的操作（如果只允许添加指定的属性需要用__solts__函数控制，这里不做详细讲解）__setatrr...
2019-03-31 14:11:43
114
原创 celery原理及遇到的问题
1. Celery 简介Celery是一个自带电池的基于Python开发的分布式异步消息任务队列，它非常易于使用。通过它可以轻松的实现任务的异步处理， 如果你的业务场景中需要用到异步任务，就可以考虑使用Celery。它主要适用于两大类场景：异步： 有的任务执行时间较长，你不想让程序一直等待结果返回，可以先将改任务放入celery任务队列中，并从Celery获取一个任务ID。后续通过询问C...
2019-03-27 12:03:54
1440
原创 redis击穿和雪崩问题
Redis缓存的使用，极大的提升了应用程序的性能和效率，特别是数据查询方面。但同时，它也带来了一些问题。其中，最要害的问题，就是数据的一致性问题，从严格意义上讲，这个问题无解。如果对数据的一致性要求很高，那么就不能使用缓存。另外的一些典型问题就是，缓存穿透、缓存雪崩和缓存击穿。目前，业界也都有比较流行的解决方案。本篇文章，并不是要更加完美的解决这三个问题，也不是要颠覆业界流行的解决方案。而是，...
2019-03-27 10:54:07
522
原创 linux查找文件命令
在使用linux时，经常需要进行文件查找。其中查找的命令主要有find和grep。两个命令是有区的。 区别：(1)find命令是根据文件的属性进行查找，如文件名，文件大小，所有者，所属组，是否为空，访问时间，修改时间等。 (2)grep是根据文件的内容进行查找，会对文件的每一行按照给定的模式(patter)进行匹配查找。 一.find命令...
2019-03-21 10:54:03
35965
原创 mysql数据库调优
数据库设计：适度的反范式：基于三范式建立的模型是最有效保存数据的方式, 也是最容易扩展的模式, 早开发设计数据库时要最大程度的遵守三范式, 特别是对于OLTP型的系统. 三范式最大的问题就是查询时通常要join很多表, 导致查询效率低, 有时基于性能考虑下需要有意违反三范式 选取最适用的字段属性： MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也...
2019-03-19 22:37:51
76
原创 mysql索引原理及优缺点
索引的定义：MySQL官方对索引的定义为：索引（Index）是帮助MySQL高效获取数据的数据结构。提取句子主干，就可以得到索引的本质：索引是数据结构。索引的实现原理实现的原理就要说到mysql的引擎以及相对应索引的数据结构B-Tree与B+TreeMyISAM 索引实现MyISAM 引擎使用 B+Tree 作为索引结构,叶节点的 data 域存放的是数据记录的地址InnoDB ...
2019-03-13 21:57:54
521
原创 数据库自增主键的优缺点
自增主键这种方式是使用数据库提供的自增数值型字段作为自增主键，它的优点是：数据库自动编号，速度快，而且是增量增长，按顺序存放，对于检索非常有利； 数字型，占用空间小，易排序，在程序中传递也方便； 能够保证独立性，程序可以在不同的数据库间迁移，效果不受影响。 保证生成的ID不仅是表独立的，而且是库独立的，这点在你想切分数据库的时候尤为重要。缺点 ：因为自动增长，在手动要插入...
2019-03-12 23:27:52
11978
原创 Werkzeug之Local、LocalStack和LocalProxy
在我们使用Flask以及Werkzeug框架的过程中，经常会遇到如下三个概念：Local、LocalStack和LocalProxy。尤其在学习Flask的Request Context和App Context的过程中，这几个概念出现的更加频繁，另外很多Flask插件都会使用这三个概念对应的技术。那么这三个东西到底是什么？我们为什么需要它们？以及如何使用呢？本篇文章主要就是来解答这些问题。Lo...
2019-03-12 13:30:13
906
1
转载 并行分布式框架celery
Celery 官网：http://www.celeryproject.orgCelery 官方文档英文版：http://docs.celeryproject.org/en/latest/index.htmlCelery 官方文档中文版：http://docs.jinkan.org/docs/celerycelery配置：http://docs.jinkan.org/docs/celery/...
2019-03-12 12:21:11
171
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人