- 博客(553)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 17年结婚了！
今年最重要的事情就是 结婚, 圆满落幕。4月12号回沈阳，在老婆家里办了婚前宴，我爸妈第二次去沈阳，上次在沈阳市里溜达一圈，这次在辽中溜达一圈。没有举行什么仪式，就是吃了个 溜碗。4.19 日请了婚嫁，然后跟老婆去沈阳转了几天，看了看楼盘，发现房价被炒的可以，涨了好几千，浑南很多地方还有烂尾楼，老城区房价还行，设施各方面也不错，就是房子有点旧。4.26 回到淮北，买衣服，买结婚需要的东西，29号
2017-05-05 18:56:21
947
原创 Python 处理微信网页版消息中的emoji表情在命令行中显示
找了一个基于微信网页版API的微信机器人，主要在命令行中使用，然后发现消息中的表情都变成了 html的标签啊，然而想让表情正常在控制台显示，就有了下面的代码。问题因为我的微信名称中有emoji表情，收到的消息是这样的 4739723278617112577 orangleliu<span class="emoji emoji1f4d6"></span> -> orangleliu<span cla
2017-04-07 21:11:47
6887
原创 django 中 MySQL: "Field 'id' doesn't have a default value" 错误
有一个比较老的表，使用innodb引擎，但是之前的表设计中没有使用自增ID，而是使用了类似UUID的字段作为主键，后来导致整个索引碎片很严重，影响查询效率。 新上线的系统也用了这个表，由于表已经存在了就通过 Alter 语句直接删除了原来的UUID主键，新建了一个自增ID主键。 结果在修改之后出现了如下的错误 （django1.8, python2.7, mysql5.6.27)错误日志...
2017-03-29 16:24:50
4179
原创 Python string中删除(过滤)掉emoji表情字符
最近做了一个需求，把公众号的用户信息同步到服务端，发现很多用户的昵称里面都有表情符号(emoji), 一般的处理方式是把MySQL的编码改成 utf8mb4，后来讨论了下，这些表情也没什么用，入库的时候直接删除就好了。Python怎么过滤 emoji表情符号呢？ 下面是剔除表情字符串的代码片段 python2.7 下测试import reemoji_pattern = re.compile(
2017-03-28 10:25:36
29428
原创 [问答]Python 打开多个文件怎么使用 "with open"
来源 osf How can I open multiple files using “with open” in Python?python 中比较 pythonic 打开文件的方法是用 with open，如果一次打开多个文件，怎么写比较优雅呢？python2.7 和之后的版本中，例如同时打开文件a 和 文件b，可以像下面这样写with open('a', 'w') as a, open('b
2017-03-24 22:14:01
8504
1
原创 关键词分析和查找工具
这两天 微信指数 上线了，终于有了一个官方渠道来查看关键词趋势了。不管是个人站长还是网站运营，还是做 网络营销 等等，对于关键词的查找，挖掘，分析都是非常重要的技能。 关键词选择的好坏对产品的推广，传播也有非常重要的影响。下面就列出一些收集的工具指数类一种是排行榜，类似百度风云榜，看看现在哪些是热点，还有一种是自己选择一些关键词来看趋势，例如微信指数。搜索引擎百度指数360指数百度搜索风云榜
2017-03-24 17:14:53
2831
原创 基于 OpenResty 的二维码生成方案
做一个简单二维码生成API，先找找可用的轮子 lua-resty-QRcode 还有 qrencode 。 下面是安装和测试，第二个方案安装和使用更为简单一些，所以使用 qrencode 方案，可以给有兴趣的朋友一些启发。这两种方案都依赖 libqrencode 还有 libpng , 大概的使用流程是 安装这两个依赖，然后编译上面2个库中的c文件成动态库，openresty中lua调用动态库完成
2017-03-22 13:15:33
4057
2
原创 [问答] SVN查看某个用户的提交记录
在使用svn的时候，想要查询自己提交的记录怎么做呢？或者查询某个人的提交日志的方法是什么呢？查询指定用户的svn log，这里总结2个方法1.8 版本以前svn client 1.8版本之前，使用sed 命令svn log | sed -n '/USERNAME/,/-----$/ p' USERNAME 替换成要过滤的用户名1.8 版本和以后版本svn client 1.8 之后提供了一个选项
2017-03-20 22:05:32
35337
转载 MySQL5.6 架构图收藏欣赏
下面是收集的一些MySQL体系架构图等，有必要多看多思考，特别适合看过一遍之后，过一段时间再看一遍，对知识回忆很有好处mysql 架构图来源：Database blog by Rathish kumar来源：江疑innodb 架构图来源：姜老师
2017-03-20 17:42:29
5655
原创 [MySQL] 怎样使用Mysqlcheck来检查和修复, 优化表
mysqlcheck 是 MySQL 自带的一个工具，作用就是保养 表，其实就是检查，分析，修复和优化了。下面来介绍 mysqlcheck 工具的简单使用，官方文档在这里以下的例子都是基于 MySQL 5.6 版本运行状态下（mysqlcheck是个在线工具）, 不同的存储引擎对于这个命令的支持程度不同（指的是 check, repair, analyze, optimize)，下面内容偏于操
2017-03-18 20:34:23
19787
2
原创 说一说提问的那些事
做为一个技术人员往往需要解决各种问题，有问就有答，我的感觉是注重答案的人更多一些，有些同学忽略了提问的重要性。关于提问，很多人都看过一篇文章 提问的智慧（中文版) 或者是这篇文章的衍生版，各大论坛啊，QQ群类似的地方都能看到。哪里有提问我所在的QQ群中经常有人会问一些比较容易找到的答案的问题，容易到什么程度呢，只要把问题放到google的搜索框里就能马上找到非常准确的答案。这种朋友不是存在思考与不
2017-03-18 17:28:22
660
原创 MySQL 错误一例 ERROR 1785 (HY000) @@GLOBAL.ENFORCE_GTID_CONSISTENCY = 1..
MySQL5.6倒入实例数据库 sakila 的时候出现了如下的错误liuzhizhi@lzz-rmbp|sakila-db # mysql -uroot -p < sakila-data.sqlEnter password:ERROR 1785 (HY000) at line 81: When @@GLOBAL.ENFORCE_GTID_CONSISTENCY = 1, updates to
2017-03-16 22:35:22
5827
原创 Python requests 报错解决集锦
一台老Centos机器上跑着古老的应用，加了一个新模块之后报错/usr/lib/python2.6/site-packages/requests/packages/urllib3/util/ssl_.py:132: InsecurePlatformWarning: A true SSLContext object is not available. This prevents urllib3 fr
2017-03-14 10:16:18
10569
原创 MySQL5.6 主从复制 ERROR 1776 (HY000): Parameters MASTER_LOG_FILE ...
上一篇 [mysqldump]不停止MySQL服务的情况下增加从库 操作中遇到的问题解决。主从都开启了gtid，在设置从库的时候遇到了问题mysql> CHANGE MASTER TO MASTER_HOST=‘xxx’,MASTER_USER='replicant',MASTER_PASSWORD=‘xxx’, MASTER_LOG_FILE='bin.000050', MASTER_LOG_
2017-03-09 17:14:29
10080
1
原创 查找python项目依赖并生成requirements.txt
一起开发项目的时候总是要搭建环境和部署环境的，这个时候必须得有个python第三方包的list，一般都叫做requirements.txt。 如果一个项目使用时virtualenv环境，还好办 pip freeze 就可以解决，但是如果一个项目的依赖list没有维护，而且又是环境混用，那就不好整理的呀，不过，这里安利一个工具 pipreqs，可以自动根据源码生成 requirements.txt
2017-03-09 13:27:59
50948
3
原创 [Nginx] 禁止记录access 或者 error 日志
有时候我们可能需要禁止某些url访问的日志，错误日志或者是access日志，这个时候怎么配置 nginx 呢？下面两个指令配置时候的适用范围 main, http, mail, stream, server, locationaccess log 关闭access_log off;error log 关闭关闭 error log 千万不要写 error_log off; ，这样错误日志会被写到一
2017-03-07 17:15:51
19854
转载 打印InnoDB数据文件中B+Tree的脚本
InnoDB的代码太复杂了，有时候也不敢肯定自己的理解是对的。因此写了一个小脚本，来打印InnoDB数据文件中B+Tree。这样可以直观的来观察B+Tree的结构，验证自己的理解是否正确。 - 宋利兵 （微信号 MySQL代码研究) 这是宋老师在 由浅入深理解InnoDB的索引实现(2）中提到的脚本。
2017-03-07 11:15:04
843
原创 [mysqldump]不停止MySQL服务的情况下增加从库
MySQL主从是数据库高可用的最简单做法之一，结合每天的定时冷备份，基本上能满足小公司的数据备份要求。添加从库是经常要做的的一个操作，下面是一种常见的不停止主库实现从库的方法（很多时候我们不能直接开启读锁，那样会对业务影响比较大)，主要的工具是 mysqldump.逻辑原理很多情况下是给一个有数据，或者说运行了一段时间的数据库来添加从库，从逻辑上来说需要把主库在某个时间的 日志位置记录下来, 然后
2017-03-06 18:44:31
3077
原创 OpenResty 技能图谱以及学习要点
这是早些时候openresty社区发布的技能图谱，留着备用。下面是文字版本基本概念HTTPTDD （驱动测试开发)RESTful API & API GateWay微服务DSL C10K & C1M非阻塞 & 异步 I／Oevent loopcoroutineStreaming process 流处理I/O mutiplexing (多路I／O技术）Nginxphase （
2017-03-04 13:47:03
1769
原创 这几个月的思维转变
去年还有更早的3，4年，看书一般只看技术书籍，而且很多都没有怎么看完。总觉咱就是个做技术的，产品策略，运营策略都有专业的人搞嘛，大家都做好自己的工作就好了。最近经历的一些书和经历的一些事情，让自己觉得以前怎么那么天真呢。程序员小六在一个10来人创业公司干技术工，不是合伙人，就是个打工仔吧。以前也不怎么关心公司的产品，运营，财务状态，总是觉着老板肯定能处理好这些的，自己好好做好本分工作就行了嘛。可是
2017-03-04 10:11:37
502
原创 一种比较简单的web端SSO方案
这是种比较简单易行单点登录(SSO Single sign-on方案，只有auth token，没有request token，自己家的系统集成提供一点思路。文章的阅读对象需要比较熟悉web开发，因为省去了很多前置知识。认证流程单点登录的几个角色，单点登录服务（center), 接入的应用叫做客户端(client)。 当然描述的时候会涉及浏览器(browser），还有用户http://local
2017-02-25 18:50:58
3449
原创 Discuz 整合到其它系统记录
整了论坛跟主站集成，需要实现用户的统一管理，注册，登录等要在主站进行，下面是一些记录的流水账。Discuz的版本是3.2Discuz 设置cookies域名共享在dz要设置 cookie的域为 .xx.com 配置文件的位置 config/config_global主站点写入cookie的时候也要 指定domain .xx.comDiscuz 用户密码存储逻辑dz用户表 dz_uc_membe
2017-02-25 18:49:40
2494
原创 Discuz3.2 新用户插入数据库SQL
我们的网站要和Discuz整合到一起，有个新用户同步的需求，网络上很多的做法是用 UCenter的接口来做，反正最后都是插入SQL，笔者使用了直接操作数据库的方式，把操作的表和SQL整理了下，后面如果有时间做个SSO就省事了（熟悉了PHP之后。。)准备版本：dz 3.2版本 ucenter1.6版本目标：插入普通用户，最小可用就行了，可以登录整合ucenter注册自动激活, 其实只是把其中的
2017-02-25 18:48:47
5199
原创 SSL 证书购买以及Nginx配置相关问题
使用https的网站越来越多了，不仅可以增加网络数据传输的安全性，还行增加搜索引擎的友好度。越来越多的个人站长也开始使用https，我们要赶得上趋势啊。使用https的第一个问题就是要有CA证书，使用免费的，还是收费的？哪种证书比较好？哪家的证书比较便宜？下面是搜集到一些知识，学习和备用。很多付费的证书机构会提供限时的免费证书来体验，免费的其实也很多，基本都有时间上的限制。支持单个域名的最便宜，支
2017-02-25 18:47:31
3091
翻译 优化Django ORM中的性能问题
原文地址 Solving Performance Problems in the Django ORMDjango是个好工具，使用的很广泛。 在应用比较小的时候，会觉得它很快，但是随着应用复杂和壮大，就显得没那么高效了。当你了解所用的Web框架一些内部机制之后，才能写成比较高效的代码。怎么查问题Web系统是个挺复杂的玩意，有时候有点无从下手哈。可以采用 自底向上 的顺序，从数据存储一直到数据展现，
2017-02-25 18:46:11
11432
原创 BQConf 23届中国质量大会之旅
10.15的天气不大给力呀，重度污染的日子却没有挡住我们参加 中国软件质量大会的热情。 很久一段时间第一次和对象一起参加的技术分享，感觉还不错。BQConf（Better Quality Conference）全称中国软件质量大会，主办方是 ==ThoughtWorks==（简称TW）这家公司，对，他们老大就是写 重构 那本书的老师傅。我自己并不是一个专业的测试人员，这次的主要功能是陪同，顺带着也
2017-02-25 18:42:18
600
原创 MySQL对数据表已有表进行分区表
对现有的一个表进行创建分区表，并把数据迁移到新表，可以按时间来分区，然后这表不是实时更新，每天有一次插入操作。 时间比较充裕，但是服务器上有其他应用，使用较小资源为主要方式。操作方式@1 可以使用ALTER TABLE来进行更改表为分区表，这个操作会创建一个分区表，然后自动进行数据copy然后删除原表， 猜测服务器资源消耗比较大。类似操作ALTER TABLE tbl_rtdata PAR
2017-02-25 18:41:16
30046
原创 Discuz3.2版本 修改注册用户名长度限制
Discuz默认的15个字符太短了，从别的系统同步过来用户名都无法插入到数据库啊，下面是修改的记录，把15的地方改成需要的就行了，这里改成45。⚠️：下面的文件名，可能大小写不一样，如果找不到就去那个目录下搜搜类似的文件看看，汉字和字符的区别注意下 主要分为代码和数据2个部分，小小的需求改动还蛮大的。代码部分1、 source/class/class_member.php 输入验证修改，搜索关键
2017-02-25 18:39:38
2256
原创 OpenResty代理CNZZ实现内网访问统计
用户在没有进行上网认证之前，只能访问我们的某一台服务器，这台服务有web网页，需要用CNZZ来统计网页的浏览量等。 CNZZ并没有在网关的白名单中，所以需要通过代理完成用户浏览器到cnzz服务器的这段通信。参考google的代理统计方式, 感觉 Openresty代理应该可行，然后就行了一些实验。cnzz 流程调试<script src="http://s11.cnzz.com/z_stat.ph
2017-02-25 18:37:38
2476
原创 Openresty 生产布署漏掉 Lua 源文件咋办
以下摘自OpenResty微信群的聊天记录, 中英文中间要有空格，春哥的习惯的确好。怕生产布署漏掉 Lua 源文件，我有一个推荐的办法：即把所有的 Lua 源文件都做成 Lua module 的形式，即可以被 require 加载的形式。然后在 nginx.conf 里面都使用 *_by_lua_block { require("foo").go() } 这样的形式。特别地，在 init_by_l
2017-02-25 18:36:09
766
原创 2016再见，hello 2017
不知不觉16年都过完了，每到年底的时候各种年终总结就陆陆续续的开始了。一个对自己一年的回顾，另一个对新一年的展望，以后可以看看自己活着的片段。生活活着活着，最总要的就是生活了。这一年的上半年在 安慧北里 度过的, 印象最深刻的就是电梯太可怕，三天两头的坏，下半年搬到了 西三旗 这块，上班更远了一点，不过感觉总的生活条件更好了一些。我们自己租下了一个2居室，招了一个不错的室友，相处的还挺和睦。
2017-02-25 18:33:03
751
原创 MySQL 学习资源整理
MySQL也有了几年了，说不出来个所以然，认知比较肤浅。所以需要加深学习呀，这里是学习过程中收集的一些好的资源，希望大家共同进步了。不是很系统的整理，看到了就记录了下来。博客前辈们的博客就是他们成长的足迹。DimitriK’s (dim) 玄惭 阿里何登成 阿里叶金荣 知数堂姜成尧 网易杨奇龙 支付宝penglixun 阿里王朝阳 大师兄吴老师 知数堂黄杉 周振兴 一个
2017-01-23 16:16:38
21015
原创 [待解决]MySQL 优化-连接查询改嵌套查询一例
线上抓了一条慢查询日志，经过改写之后，速度从7s提升到0.1s以下，但是没有真正明白其中的原理，先记录之，以后再来解析。前置条件环境：MySQL5.6.14，Centos6.6表结构mysql> SHOW CREATE TABLE count_statusbyhour \G*************************** 1. row ************************
2017-01-21 09:26:51
823
原创 mysqlbinlog 命令简单使用
此命令用来解析 查看mysql binlog的， 这里使说说怎么通过binlog查看执行的sql。环境： Centos 6.6, MySQL 5.6.x查看配置查看二进制日志是否打开，本地是关的（开启需要 配置my.conf并重启）mysql> SHOW VARIABLES LIKE 'log_bin';+---------------+-------+| Variable_name | Va
2017-01-20 14:48:15
8335
3
原创 blog写作心得体会
虽然写blog也挺久了，写出来的东西自己回顾的时候也会怀疑读者是否能看的明白，还是有种流水账的感觉，以后希望多从读者的角度出发。下面记录一些以后写博客的注意点。具体关于某种技术点的小知识还有碰到的各种错误的解决过程这类博客，一定要指明 当时的系统环境，软件版本。自己在平时查问题的时候，总是因为弄不清其他作者当时操作的环境而浪费很多时间，好不容易搜索一个类似的问题，折腾半天，发现可能不是当前使用的这个
2017-01-14 14:33:02
826
5
原创 利用github webhook 结合openresty自动更新静态博客
使用hexo在github pages上弄了一个静态博客，后来觉得访问有点慢，于是放到自己vps上。对于静态博客的部署非常简单，本来就是html，js，css等静态文件，只要nginx上配置下目录就可以正常访问了。 麻烦的是博客更新的时候，还要去vps上操作更新git pull操作，如果每次在本地commit之后，github仓库能够自动更新到vps上多好啊，于是就用到了webhook的功能。（这
2017-01-14 14:18:01
1589
原创 Django中过期@cache_page中缓存的views数据
django的缓存系统中，cache_page 这个装饰器非常好用，只要添加一个装饰器就可以缓存views的响应内容，但是django没有提供过期这个views缓存数据的功能。@cache_page(60*10)def blog_post(request): ...上面的代码是缓存这个请求响应体10分钟，如果有数据刚缓存2分钟，post中的内容已经更新了，我想要过期这个当前的缓存怎么做呢
2017-01-13 15:28:18
3793
原创 百度地图JS 搜索悬浮窗功能
这个需求的效果类似下面的截图，主要还是利用百度地图中自定义控件的功能，挺简单的。文档地址在这 http://lbsyun.baidu.com/index.php?title=jspopular 效果图代码<!DOCTYPE html><html><head> <meta http-equiv="Content-Type" content="text/html; charset=utf-
2017-01-12 01:47:07
6662
2
原创 Django 缓存模块 page_cache 源码阅读
Django page_cache 源码阅读笔记标签（空格分隔）： django--> Django cache中比较常用的有 cache_page 这么个 decorators, 下面就根据请求流程，结合源码来说说它是怎么工作的？版本是django1.8，不同版本可能函数等会变化，逻辑应该类似。cache_page的功能从逻辑上来说 cache_page 的功能非常简单，无非就是针对被装
2017-01-12 01:27:50
1377
原创 OpenResty 自定义 access_log 格式
定义access log的format是 Nginx已经提供的功能，有了 ngx_lua 之后就可以更灵活的记录请求相关的信息，而不仅仅拘泥于 Nginx的内置变量了，可以自定义一些格式和变量来存储结构化的数据，这样做离线的统计更加方面一些。 当然也可以通过or的 cosocket完成日志的实时收集和处理，可以参照 lua-resty-logger-socket 来实现。思路需求是根据当前的请求记
2017-01-12 01:25:29
5646
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人