![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
MageeLen
这个作者很懒,什么都没留下…
展开
-
Python模板实现
本文翻译自500 lines or less系列文章,原文链接,作者:Ned BatchelderNed Batchelder是一名非常有经验的工程师,目前就职于edX,主要从事开源软件推广工作,他同时也是coverage.py的维护者,Boston Python的组织者,并参与多个PyCons,甚至还接受过美国的白宫晚宴,他的博客地址为http://nedbatchelder.com。原创 2017-03-31 08:22:04 · 6844 阅读 · 0 评论 -
异步网络爬虫的Python实现(1)
本文翻译自500L系列文章,原文链接, 原文作者A. Jesse Jiryu Davis 和 Guido van Rossum.A. Jesse Jiryu Davis是纽约MongoDB的一名工程师,他是MongoDB Python 驱动Motor的主要作者,同时他也是MongoDB C语言驱动项目的重要成员。他的个人博客地址。Guido van Rossum是Python的创建者,Python社翻译 2017-04-24 10:05:46 · 2186 阅读 · 0 评论 -
异步网络爬虫的Python实现(2)
本文继续上一节的话题:异步网络爬虫的实现。回调函数的编写就目前我们写的异步框架,实现一个网络爬虫还是十分困难的,即使是实现一个简单的读取一个页面都很难。不过我们还是来尝试写一下抓取URL的代码,首先我们定义两个全局的集合来保存需要爬取的网址urls_todo = set(['/'])seen_urls = set(['/'])这里seen_urls是urls_todo和已经抓取过的网址的一个合集,翻译 2017-04-24 10:06:49 · 545 阅读 · 0 评论 -
异步网络爬虫的Python实现(3)
本文继续上一节的话题:异步网络爬虫的实现。Python 中的生成器在讲解生成器之前,我们先来回忆一下Python中常规函数的实现。一般一个Python函数也可以称为一个子程序,当Python调用一个子程序的时候,子程序将接管整个程序直到程序返回或抛出一个异常。def foo(): bar()def bar(): pass标准的Python解释器是用C语言写的,因此对Python子程序翻译 2017-04-24 10:07:28 · 461 阅读 · 0 评论 -
异步网络爬虫的Python实现(4)
本文继续上一节的话题:异步网络爬虫的实现。开启协程现在我们正式回到我们之前实现网络爬虫的话题。一个网络爬虫的实现主要有以下几个步骤:抓取一个页面,分析页面链接,加载链接到一个队列。这样直到整个网站页面抓取完成,但是这里受限于客户端和服务器,我们只抓取一定数量的页面。为了保证效率,当一个页面抓取完成后,程序要立即从队列中获取下一个页面的链接,并进行抓取。如果队列中的链接没有那么多的话,程序需要暂停一部翻译 2017-04-24 10:08:00 · 725 阅读 · 0 评论 -
MySQL config in Django
最近在Django中使用MySQL碰到不少问题,现在把这些坑一一记录以防止再次遇到相同的问题。安装MySQLMySQL的安装还是比较简单的,在ubuntu中直接通过apt-get安装即可,命令如下:sudo apt-get install mysql-serverdjango 中MySQL的配置django中数据库的配置在项目文件夹下的setting.py中,找到DATABASE部分,修改如下DAT原创 2017-04-24 10:12:22 · 383 阅读 · 0 评论