python
落阳学编程
知学无涯,渐且行远。目前大三,潜心修行。
微信公众号【阳仔不想当码农】
个人博客网站:https://hsluoyang.club/
展开
-
轻松,高效,正确的写出一个爬虫?看这一篇就够了!踩过无数坑后总结的爬虫编写流程
文章目录前言环境(工具)1.网页初步分析1.网页类型2.信息来源判断2.请求url优化和请求头分析处理1.url优化2.请求头分析处理3.页面元素分析和数据抓取1.静态页面数据抓取2.ajax异步请求数据抓取4.请求头和代理的使用1.随机请求头2.使用代理ip5.爬取6.后记前言在前面一段时间,我一直在研究python爬虫领域的知识,并且接了一些爬虫的单子来训练自己,在应对客户的各种奇葩要求和...原创 2020-04-28 16:55:40 · 918 阅读 · 0 评论 -
一篇文章让你拥有用不完的ip代理
当我们需要从网上爬取大量数据的时候,特别是需要对一个网站发起大量请求时,我们通常会控制请求间隔,尽量争取不对服务器造成太大负荷。但是有时候又不得不在较短时间内获取较多的数据如果不使用代理的话,很有可能我们的IP会被封掉,这个时候就真的凉凉了并且,前一段时间我一位朋友发现了一个盗qq网站的网址,我就想惩戒一下这个网站,打算给它post一大堆随机生成的qq账号密码过去,但是我没有使用代理,于是乎...原创 2020-01-27 19:58:35 · 1077 阅读 · 4 评论