Python网络数据采集
文章平均质量分 61
Frank_0415
这个作者很懒,什么都没留下…
展开
-
Python——网络数据采集(二)
使用BeautifulSoup的 find() 和 findAll() 抓取目标标签下的内容: 使用beautifulsoup解析后的网页通常是一种带标签的类文本形式,个人认为难点就是怎么通过层层标签的阻拦,抓取到目标内容。 findAll (tag, attributes, recursive, text, limit, keywords) find(tag, attributes, recur...原创 2018-12-02 15:12:31 · 307 阅读 · 0 评论 -
Python——网络数据采集(一)
使用原始的urllib库请求网站访问; 使用beautifulsoup库解析网站的元素; 考虑是否会有报错的情况,做优化。 from urllib.request import urlopen from bs4 import BeautifulSoup html = urlopen("http://www.baidu.com") bsObj = BeautifulSoup(html.r...原创 2018-12-01 15:52:15 · 309 阅读 · 0 评论 -
Python——网络数据采集(三)
网络数据采集过程中你应该考虑的两个问题: 该数据采集器需要消耗的网络流量(越少越好); 该数据采集器对目标网站服务器的负载(越低越好); ...原创 2018-12-20 12:01:42 · 509 阅读 · 1 评论