![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
天天码怪
这个作者很懒,什么都没留下…
展开
-
关于爬虫的request的时间问题
def get_content(url): # try: resp = requests.get(url, headers=header, timeout=0.5) resp.encoding = 'utf-8' html = resp.text bs = BeautifulSoup(html, "html.parser") # except: ...原创 2019-07-05 15:48:28 · 604 阅读 · 0 评论 -
requests.exceptions.ConnectionError timeout 错误巧妙化解
def getcontent(page, keyword):...try: response = requests.get(url=url, headers=header, timeout=30, verify=False)except requests.exceptions.ConnectionError: print('Executing recursive fun...原创 2019-07-17 15:36:16 · 4026 阅读 · 1 评论 -
beatuifulsoup 使用不同的方式解析优势和劣势
直接上图原创 2019-07-22 14:53:20 · 218 阅读 · 0 评论 -
app爬虫demo
APP请求数据,也是通过网络协议,这样,我们就抓包来定位入口,这里我用的是fiddler。关于设置手机和fiddler的关联,请参考这篇文章。第一步:下载神器Fiddler,下载链接:http://w.x.baidu.com/alading/anquan_soft_down_ub/10963下载完成之后,傻瓜式的安装一下了!第二步:设置Fiddler打开Fiddler...原创 2019-09-15 14:00:29 · 287 阅读 · 0 评论 -
当你写爬虫遇到APP的请求有加密参数时该怎么办?【初级篇-秒杀模式】
当你写爬虫遇到APP的请求有加密参数时该怎么办?【初级篇-秒杀模式】看完了初级篇的常规模式之后,你是不是发现了一个很严重的问题:如果每个APP都需要这么反编译看代码仿写的话,那么当想要大批量爬不同的APP的时候,光是找加密参数的生成部分就已经很花时间了,有没有更快捷的办法呢?答案是有的,而且对于初级篇水平的APP来说,这个操作可以让你在一分钟内直接秒掉它的加密参数部分,可以说是一种降维打击...原创 2019-09-16 18:49:21 · 328 阅读 · 0 评论 -
记一次app爬虫sign破解
此APP正常情况下fd是无法抓到包。开启了justtrustme插件也抓不到。但是可以在模拟器中登录app,使用Http Debugger抓到提交的数据包。从提交的数据包初步分析,只有sign需要解密。 数据包有了,接下来进行初步的静态分析,使用jadx搜索"sign",比较方便的找到了sign的出处。 一步步跟踪方法调用后发现,是在so里面进行了加密工作: ...原创 2019-09-23 17:03:44 · 3976 阅读 · 0 评论