- 博客(1)
- 收藏
- 关注
原创 编程小白的第一个爬虫公式(给渴望入门爬虫的你)(一)
文章目录一、一般小型爬虫(单个文件)1.查看网页类型,(动态还是静态)使用requests发送请求,建议使用会话静态用bs,动态用json2.是否需要登录,cookies,或传递参数,headers,或者使用代理3.解析网页,查找元素,bs,json,或正则表达式,pyquery,lxml推荐bs,json,正则4.效率控制:单进程/多协程/多线程5.数据存储txt,excel,二进制文件,csv...
2020-03-04 15:38:27 1819
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人