2016年05月_self-motivation

翻译 Celery用户指引-------------Tasks

Tasks就是组成Celery应用程序的积木。Tasks有双重角色，它在任务被调用时（发送消息）和worker接收到任务消息时都会起作用。每个任务都有一个唯一的名字，这个名字会关联到对应的消息。这样worker就能知道要执行哪个函数。一个任务消息直到被一个worker任务确认之后才会消失。一个worker可以预先存储许多消息，尽管这个worker可能因为掉电都原因挂掉，但是这些消息

2016-05-30 22:34:33 7780

翻译 Celery用户指引--------Application

ApplicationCelery库在使用前必须先实例化，这个实例被称为application(或者简称为'app')。

2016-05-24 23:39:17 3815

原创 rabbitMQ实战(一)---------使用pika库实现hello world

pika是RabbitMQ团队编写的官方Python AMQP库。需要先安装pika:pip3 install pika有较详细的注释，就不再详细说明了生产者代码：hello_world_producer.py:import pika,sys#connect to the rabbitmq,use the default vhostcred

2016-05-18 23:29:37 4269

翻译 kombu------python的消息库

kombu是一个python的消息库。Kombu的目标是通过为AMQP协议提供一个地道的高层次接口，来使python中的消息编程更为简单。同时也为通用的消息问题提供试验和测试的解决方案。AMQP是先进的消息队列协议，一个提供消息定位，队列，路由，高靠性和安全性的开放的标准协议，其中RabbitMQ消息服务是一个流行的实现。特性通过可扩展的通道允许应用程序支持多种消息

2016-05-17 23:12:02 8895

翻译 Celery(二）-----------------使用Celery的第二步

使用Celery的第一步是有意最小化的介绍Celery。本节教程将为你展示Celery提供的更多细节，包括怎样为你的程序和库添加Celery支持。本节教程不会介绍Celery的所有特性和最佳实践，所以建议你也阅读一下用户指引 User Guide。在你的程序中使用Celery我们工程的结构如下:布局:proj/__init__.py /celery.py

2016-05-15 19:52:01 13600

翻译 Celery（一）---------使用Celery的第一步

1.什么是任务队列?2.你需要知道的Celery需要一个消息通道来发送和接收消息。RabbitMQ和Redis中间人通道是目前支持的特性。但是Celery也支持很多其它正在实验中的解决方案，如使用SQLite做本地开发。Celery可以运行在一台或多台机器上，甚至可以运行在不同的数据中心上。3.开始如果你是第一次使用Celery或者刚刚从老版本转到Celery3

2016-05-14 19:18:32 20366 1

原创 python爬虫实战(一)----------爬取京东商品信息

本文章的例子仅用于学习之用，如涉及版权隐私信息，请联系本人删除，谢谢。最近一直在练习使用python爬取不同网站的信息，最终目的是实现一个分布式的网络爬虫框架，可以灵活适用不同的爬取需求。项目github地址:https://github.com/happyAnger6/anger6Spider在学习的过程中遇到不少问题，在这里做一下总结，并分享出来，希望有兴趣

2016-05-08 19:11:41 9315 4

原创 tornado用户指引（七）－－－－－－Tornado web应用程序结构（二）之RequestHandler

继承RequestHandler基于tornado的web应用程序很多功能都是由RequestHandler的子类完成的。当需要处理一个HTTP请求时，RequestHandler子类的对应方法get(),post()将会被调用。所以，每个子类将会实现这些方法以处理不同的HTTP请求。如上篇文章中所说http://blog.csdn.net/happyanger6/articl

2016-05-05 00:05:40 1720

原创 tornado用户指引（六）－－－－－－Tornado web应用程序结构（一）之Applicaton对象

一个基于tornado的web应用程序通常由一个或多个RequestHandler的子类和一个Application对象构成。Application用于将不同的请求路由到相应的RequestHandler.然后我们在main函数里启动web服务。一个简单的"hello world"的例子如下所示：import tornado.ioloopimport tornado.w

2016-05-03 22:47:13 4224

原创 tornado用户指引（五）------- 一个并发的web爬虫

QueueTornado的tornado.queue模块为基于协程的应用程序实现了一个异步的生产者/消费者模式。这与python标准库为多线程环境实现的queue模块类似。一个协程执行到yield queue.get会暂停，直到队列中有条目。如果queue有上限，一个协程执行yield queue.put将会暂停，直到队列中有空闲的位置。

2016-05-02 11:45:12 5375

原创 tornado用户指引（四）------tornado协程使用和原理(三)

几种常用的协程方式：1.回调函数如果你要执行的异步代码是基于回调函数而不是基于Future的，你可以将异步代码通过Task装饰起来。这样Task装饰器会为你添加callback并返回一个Future，这样你就可以用yield来执行异步代码。@gen.coroutinedef call_task(): # Note that there are no parens

2016-05-01 19:45:14 4044

happyAnger6的专栏