python爬虫
一身诗意千寻瀑
这个作者很懒,什么都没留下…
展开
-
多进程多线程爬取图片
多进程多线程爬取图片# -*- coding:utf-8 -*-import urllib2import urlparseimport reimport os##import pickleimport threadingimport randomimport multiprocessingfrom multiprocessing import Lockde原创 2017-09-28 10:25:21 · 719 阅读 · 0 评论 -
python之cookie的使用
cookielib库是提供可存储的cookie对象,cookielib库中有四个属性,CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。他们的关系是CookieJar —-派生—->FileCookieJar —-派生—–>MozillaCookieJar和LWPCookieJar给MozillaCookieJar传入一个文件原创 2017-10-08 19:24:31 · 1105 阅读 · 0 评论 -
Django的搭建
自己使用django搭建了一个博客,在这里总结搭建的过程,和其中获得的一些经验废话不多说,我们就来看看我是一步一步怎么走过来的吧1.我们需要下载Django,在cmd控制台中切换到python的安装目录下的scripts目录下执行命令:python -m pip install django,安装好了之后我们就可以看看安装的django的版本了,查看命令就是:python -m djang原创 2017-10-13 15:09:27 · 451 阅读 · 0 评论 -
python爬虫之异步XHR爬取
首先感谢Darkeril博主的这篇文章,让我知道异步爬取的原理。下面我们开整!!二话不说先上代码,客官请看:#coding:utf-8from bs4 import BeautifulSoupimport requestsimport jsonimport pymongourl = 'http://www.guokr.com/scientific/'de原创 2017-10-24 23:07:47 · 33834 阅读 · 2 评论 -
百度图片下载器
—————————————————————————————————————————————————————————————————————今天搜索了一下图片发现百度上有许多自己喜欢的图片,于是就想把这些图片下载下来,但是如果一张一张的下载的话又太慢了,想了一下,自己写个爬虫吧!|————————————————————————————————————————————————————————原创 2017-10-26 22:23:03 · 547 阅读 · 0 评论