![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自己写的python爬虫程序
yangbenhao
这个作者很懒,什么都没留下…
展开
-
用代码实现通过人人网的登录
from day01.fengzhuang3 import post,getimport jsonfrom urllib import request,parse#保存cookiefrom http import cookiejar#通过对象保存cookiecookie_object = cookiejar.CookieJar()#handler 对应一个操作handler = ...原创 2018-08-14 21:38:01 · 1244 阅读 · 0 评论 -
今日头条的街拍图片的简单自动爬取
import requestsimport re,osimport jsonfrom urllib import request#定义一个函数def tout(url): #定义头部信息 headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KH...原创 2018-08-16 23:02:04 · 539 阅读 · 0 评论 -
一个简单的爬取一个电影网的磁力链接
import requestsfrom lxml import etreefrom urllib import parseimport re#定义一个函数def ygdy(baseurl): headers ={ 'Cookie' : 'cscpvcouplet4298_fidx=1; cscpvrich5041_fidx=1', 'Refer...原创 2018-08-19 21:28:32 · 6427 阅读 · 0 评论 -
爬妹子图的爬虫小程序
import requestsimport osfrom lxml import etreefrom urllib import requestimport random#定义一个函数def meizitu(url): headers = { 'Cookie' : 'UM_distinctid=1654601b2fc0-05766907b723fb-376641...原创 2018-08-19 21:33:28 · 1399 阅读 · 0 评论 -
用多进程爬取西刺代理能用的proxy
import requestsfrom lxml import etreeimport time# 424.13342022895813import multiprocessingfrom multiprocessing import Queue,Pool#定义一个获取所有的代理ip的函数def get_all_proxy(queue): url = 'http://ww...原创 2018-08-21 22:30:37 · 707 阅读 · 0 评论