编程小白的第一个爬虫公式(给渴望入门爬虫的你)(一)
文章目录一、一般小型爬虫(单个文件)1.查看网页类型,(动态还是静态)使用requests发送请求,建议使用会话静态用bs,动态用json2.是否需要登录,cookies,或传递参数,headers,或者使用代理3.解析网页,查找元素,bs,json,或正则表达式,pyquery,lxml推荐bs,json,正则4.效率控制:单进程/多协程/多线程5.数据存储txt,excel,二进制文件,csv...
原创
2020-03-04 15:38:27 ·
1817 阅读 ·
0 评论