2017年09月_一流木

原创 OSX anaconda虚拟环境py27，安装编译MySQLdb出现fatal error: limits.h: No such file or directory

(py27) ➜ MySQL-python-1.2.3 python setup.py buildrunning buildrunning build_pycopying MySQLdb/release.py -> build/lib.macosx-10.7-x86_64-2.7/MySQLdbrunning build_extbuilding '_mysql' extensiong

2017-09-29 11:40:39 4853

转载 redis数据丢失及解决

Redis的数据回写机制Redis的数据回写机制分同步和异步两种，同步回写即SAVE命令，主进程直接向磁盘回写数据。在数据大的情况下会导致系统假死很长时间，所以一般不是推荐的。异步回写即BGSAVE命令，主进程fork后，复制自身并通过这个新的进程回写磁盘，回写结束后新进程自行关闭。由于这样做不需要主进程阻塞，系统不会假死，一般默认会采用这个方法。个人感觉方法２采用fork

2017-09-26 22:02:41 2240

转载数据库的一致性？一致性弱意味着什么

一致性就是数据保持一致，在分布式系统中，可以理解为多个节点中数据的值是一致的。而一致性又可以分为强一致性与弱一致性。强一致性可以理解为在任意时刻，所有节点中的数据是一样的。同一时间点，你在节点A中获取到key1的值与在节点B中获取到key1的值应该都是一样的。弱一致性包含很多种不同的实现，目前分布式系统中广泛实现的是最终一致性。所谓最终一致性，就是不保证在任意时刻任意节点上的同一份

2017-09-23 11:36:37 2500

转载 python爬虫的最佳实践(五)--selenium+PhantomJS的简单使用

Ps：又到了我们的ps环节，不知道上次大家尝试的如何，这次我们将简单介绍如何使用selenium+PhantomJS来抓取异步加载的网页数据信息。当然，selenium是一个非常强大的自动化工具，可以做非常多的事，有兴趣的同学可以自行了解一下。这次我们的顺序稍稍变化一下，因为牵扯到配置环境。环境配置seleniumpip install -U selenium建议采用pyc

2017-09-19 20:20:33 1298

我觉得线程是很丑陋的东西。线程不过是反映了当前硬件技术的物理限制瓶颈。单个cpu的计算能力不足，所以要多核。内存的容量太小太昂贵，所以需要硬盘。无须敬畏，当你认识到线程不过是个妥协的产物，学习的难度就低多了。比如计算能力低引入了多核，多核引入了并发，并发引入了竞态，竞态引入了锁，一层又一层的引入了复杂性，我等程序员的饭碗才能保住。当然有些问题确实不是单纯的计算能力或存储能力极大提升就能解决的，不是

2017-09-16 22:38:20 5485 3

转载 Python黑魔法 --- 异步IO（ asyncio）协程

python asyncio网络模型有很多中，为了实现高并发也有很多方案，多线程，多进程。无论多线程和多进程，IO的调度更多取决于系统，而协程的方式，调度来自用户，用户可以在函数中yield一个状态。使用协程可以实现高效的并发任务。Python的在3.4中引入了协程的概念，可是这个还是以生成器对象为基础，3.5则确定了协程的语法。下面将简单介绍asyncio的使用。实现协程的不仅仅是asy

2017-09-15 19:53:41 1218

转载触类旁通，从400错误看Nginx常见故障与修复

故障简述小明某天中午在线优化一个敏感服务的Nginx配置时，发现5分钟内Nginx errorlog里出现了大量400错误，于是迅速回滚了Nginx配置。故障详情原来的Nginx配置存在重复或者需废弃的内容，于是在多次diff了新旧两份配置内容后，小明认为最新配置是不影响业务的，因此在线推送更新配置后，直接reload了Nginx，出于double

2017-09-15 15:03:54 25439 1

原创什么是Monkey Patch猴子补丁

猴子补丁是一个概念，不是python中发明的，其他动态语言也有这么个概念。《松本行弘的程序世界》这本书，里面专门有一章讲了猴子补丁的设计，所谓的猴子补丁的含义是指在动态语言中，不去改变源码而对功能进行追加和变更。猴子补丁的这个叫法起源于Zope框架，大家在修正Zope的Bug的时候经常在程序后面追加更新部分，这些被称作是“杂牌军补丁(guerilla patch)”，后来guerilla就渐渐

2017-09-14 22:17:52 2766

转载 Linux下logrotate日志轮询操作梳理

对于Linux系统安全来说，日志文件是极其重要的工具。不知为何，我发现很多运维同学的服务器上都运行着一些诸如每天切分Nginx日志之类的CRON脚本，大家似乎遗忘了Logrotate，争相发明自己的轮子，这真是让人沮丧啊！就好比明明身边躺着现成的性感美女，大家却忙着自娱自乐，罪过！logrotate程序是一个日志文件管理工具。用于分割日志文件，删除旧的日志文件，并创建新的日志文件，起到“转储”作用

2017-09-14 21:57:41 2350

原创 uwsgi引入gevent模块报错

将uwsgi日志加入：gevent=100 #gevent协程支持，最大100个gevent-monkey-patch=true #gevent协程补丁发现django出现以下错误：django.db.utils.DatabaseError: DatabaseWrapper objects created in a thread can only be used in th

2017-09-14 17:51:01 3615 1

转载 Web worker耗尽原因定位

在我们的 Web 服务器中，当我们接收到服务器短信报警 LVS 监控 Real Server offline 的时候，你的第一反应会是什么？我一般都会从以下几个方面来诊断 offline 的真实原因：机器是否死机。CPU 负载是否很高。内存是否不足。磁盘 IO 是否过高。网络是否有问题。操作系统资源限制，比如 open file limit 或者 ip_conntrack: table

2017-09-13 20:16:24 883

转载 select、poll、epoll之间的区别总结[整理]

select，poll，epoll都是IO多路复用的机制。I/O多路复用就通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。但select，poll，epoll本质上都是同步I/O，因为他们都需要在读写事件就绪后自己负责进行读写，也就是说这个读写过程是阻塞的，而异步I/O则无需自己负责进行读写，异步I/O的实现会负责把数据从内核拷贝到用

2017-09-13 19:12:33 438

转载 HTTP——了解Web及网络基础

一、了解Web及网络基础1、使用HTTP协议访问Web　　客户端在浏览器地址栏输入URL之后，信息会被送到相应的服务器处，从服务器处得到回复，内容就会显示在Web页面上。　　Web使用一种名为HTTP的协议作为规范，完成从客户端到服务器端等一系列运作流程。而协议是指规则的约定，可以说Web是建立在HTTP协议上通信的。 (HTTP:HyperText Transfer Proto

2017-09-13 13:04:37 574

转载 Apache和Nginx的优缺点

Nginx相对于Apache的优点:轻量级,同样引起web服务,比apache占用更少的内存及资源抗并发,Nginx处理是异步非阻塞的,而Apache是阻塞的,在高并发下Nginx能保持低资源低消耗性能支持更多的并发连接,体现更多的效率配置简洁,启动容易最核心的区别在于apache是同步多进程模型，一个连接对应一个进程；nginx是异步的，多个连接（万级别）可以对应一个进程Apac

2017-09-12 21:52:45 387

转载 Nginx是如何处理每一个请求的

Nginx架构nginx运行时，在unix系统中以daemon形式在后台运行，后台进程包含一个master进程和多个worker进程。Nginx以多进程形式工作，也支持多线程方式，但nginx默认采用多进程方式，也是主流方式。Nginx多进程模式多进程模式,会有一个master进程和多个worke进程 Master进程管理worker进程,包括: 接收来自外界的信号; 向各

2017-09-12 21:51:46 5365 1

Kris，Ready Always!