爬虫入门
MrRenLG
这个作者很懒,什么都没留下…
展开
-
1-7 bs4入门
xpath 模糊查询//div[contais(@id," <...> ")]取下一个节点(平级关系)following-sibling::*#bs4用选择器查找# 1.转类型# 默认bs4会调用系统中lxml的解析库。所以会有较高提示,主动设置解析库soup = BeautifulSoup(html_doc, features="lxml")#格式化输出 ...原创 2019-03-29 21:38:28 · 210 阅读 · 0 评论 -
爬虫 入门1-1
#入门爬虫分类1.通用爬虫2.聚焦爬虫增量式deep 深度爬虫动态数据 js代码,加密js robots:是否允许其他爬虫(通用爬虫)爬取某些内容聚焦爬虫不遵守 robots爬虫和反扒:资源对等 胜利的永远是爬虫###爬虫的工作原理:1.确认抓取目标的url是哪一个(找)*2.使用python代码发送请求,获取数据(java、go)3.解析获取到的数据(精确数据)*找...原创 2019-03-28 17:05:09 · 167 阅读 · 0 评论