![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
我爱旺仔复原乳
这个作者很懒,什么都没留下…
展开
-
Python多进程爬取小米
import requestsimport timefrom threading import Threadfrom queue import Queueimport jsonclass XiaomiSpider(object): def __init__(self): self.url = 'http://app.mi.com/categotyAllListA...原创 2019-10-12 09:59:33 · 201 阅读 · 0 评论 -
Python爬取百度翻译两种语言选择
import requestsimport reimport execjsclass BaiduTranslateSpider(object): def __init__(self): self.get_url = 'https://fanyi.baidu.com/?aldtype=16047' self.headers = { ...原创 2019-10-12 09:55:49 · 484 阅读 · 0 评论 -
Python爬取豆瓣电影
import requestsclass DoubanSpider(object): def __init__(self): self.url = 'https://movie.douban.com/j/chart/top_list?' \ 'type=11&interval_id=100%3A90&action=&...原创 2019-10-12 09:53:24 · 239 阅读 · 0 评论 -
xicidaili搭建的代理IP池
# -*- coding:utf8 -*-import requestsfrom lxml import etreefrom fake_useragent import UserAgent# 获取User-Agentdef get_random_ua(): # 1.创建User-Agent对象 ua = UserAgent() return ua.rando...原创 2019-10-12 09:50:55 · 141 阅读 · 0 评论 -
途家日历价格的接口
#爬取途家日历价格接口: https://www.tujia.com/bingo/pc/unit/getUnitCalendar请求方式: postrequets payload房源ID: {“unitId”:“9627682”}请求头:{“unitId”:“9627682”} #当前查看的房子的ID值返回值:{“trace”:null,“referTraceId”:...原创 2019-10-09 11:03:25 · 1350 阅读 · 1 评论