![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
haha_小祖
这个作者很懒,什么都没留下…
展开
-
高德地图美食爬虫
前言:今天讲下高德地图全国美食爬虫。反爬点:高德地图反爬主要是:1.IP代理。2.headers(referer,cookie必要的),referer:随便个可以不变。cookie:必要的参数:isg,l,cna(可自行数字大小写字母组合),uab_collina(固定值)3.限制最大45页,可地区精确到区及二级分类精确到火锅来尽可能最大获取,避免最大页数问题.import requests,random,string,time,pymongo,re,json,datetime,logging原创 2020-06-29 16:10:37 · 1309 阅读 · 1 评论 -
jingdong
前言京东是电商平台,最好获取数据的平台的吧。基本没有什么反爬措施。本文章只是实现了 京东 关键词和单个商品信息获取的功能。如果要稳定的话,还需修改代码。本文只做学习用,请知悉。如有侵权,请联系作者。import requests,re,jsonfrom lxml import etreefrom urllib import parseproxies = ''class JingDong(object): def __init__(self,input_str,input_typ原创 2020-06-02 16:48:29 · 365 阅读 · 0 评论 -
抖音(非逆向)
# 前言该文章抖音视频爬虫,非逆向,谢谢!单个视频 该接口 参考某位大佬,如侵犯权益,请联系。望见谅。short_url = 'https://v.douyin.com/JJnLMgS/'res = requests.get(short_url, headers=headers1, allow_redirects=False,verify=False)if res.status_code == 302: url = res.headers['Location']aweme_id = re原创 2020-06-01 16:28:13 · 1419 阅读 · 1 评论 -
快手(非逆向)
前言本文章非逆向破解,方法是PC端快手视频采集。PC端的接口,比较好拿。只需登录快手账号,使用抓包工具,即能抓到接口。爬取需要cookie,只需一个参数did=web_xxxxxxxxxxxxxxxx;获取方式很简单,随便复制一个短链接,到浏览器,打开,复制did=xxxxxxxxx,即可。直接上代码!from lxml import etreeimport re,requests,json,timeclass KuaiShou(object): def __init__(self,原创 2020-06-01 15:37:22 · 2313 阅读 · 0 评论