- 博客(4)
- 收藏
- 关注
RSS订阅原创 高德地图美食爬虫
前言：今天讲下高德地图全国美食爬虫。反爬点：高德地图反爬主要是：1.IP代理。2.headers(referer,cookie必要的),referer:随便个可以不变。cookie:必要的参数：isg,l,cna(可自行数字大小写字母组合)，uab_collina（固定值）3.限制最大45页，可地区精确到区及二级分类精确到火锅来尽可能最大获取，避免最大页数问题.import requests,random,string,time,pymongo,re,json,datetime,logging
2020-06-29 16:10:37
1311
1
原创 jingdong
前言京东是电商平台，最好获取数据的平台的吧。基本没有什么反爬措施。本文章只是实现了 京东 关键词和单个商品信息获取的功能。如果要稳定的话，还需修改代码。本文只做学习用，请知悉。如有侵权，请联系作者。import requests,re,jsonfrom lxml import etreefrom urllib import parseproxies = ''class JingDong(object): def __init__(self,input_str,input_typ
2020-06-02 16:48:29
365
原创 抖音（非逆向）
# 前言该文章抖音视频爬虫，非逆向，谢谢！单个视频 该接口 参考某位大佬，如侵犯权益，请联系。望见谅。short_url = 'https://v.douyin.com/JJnLMgS/'res = requests.get(short_url, headers=headers1, allow_redirects=False,verify=False)if res.status_code == 302: url = res.headers['Location']aweme_id = re
2020-06-01 16:28:13
1419
1
原创 快手(非逆向)
前言本文章非逆向破解，方法是PC端快手视频采集。PC端的接口，比较好拿。只需登录快手账号，使用抓包工具，即能抓到接口。爬取需要cookie,只需一个参数did=web_xxxxxxxxxxxxxxxx；获取方式很简单，随便复制一个短链接，到浏览器，打开，复制did=xxxxxxxxx，即可。直接上代码！from lxml import etreeimport re,requests,json,timeclass KuaiShou(object): def __init__(self,
2020-06-01 15:37:22
2318
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人