python3抓取html,用Python抓取html或

本文探讨了Python作为一种工具在解决数据杂乱问题中的作用,并提出了利用Python进行网页抓取的可能性,特别是在没有API可用的情况下。文章还提到了StackOverflow的数据抓取案例,并推荐了Scrapy作为有效的抓取工具。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

我对我的(微生物学和遗传学)学生提出的论据之一是“数据”杂乱无章,Python可以帮助解决这一问题(其他语言当然也可以).因此,这是一种实用的基于Web的数据收集练习.

我注意到在代表最高的用户中,有人回答Python相关的问题.在自然产生的问题中:

我希望在Stack Overflow上恢复(最高评级的)Pythonistas的当前rep和rep的增加率,以便预测Alex Martelli何时或何时超过Steven Lott或Greg Hewgill?怎么样Konrad Rudolph?因为这些人的增长都被固定在极限之内,这是微不足道的吗?

更一般而言,在没有查询API的情况下(我认为没有),是否有其他方法可以查看页面的网址以查找模式,使用Python加载这些页面然后抓取html?我意识到可能没有通用的方法,但是我对人们如何解决此问题感兴趣.

编辑:@fitzgeraldsteele:通常. SO实际上只是一个(人为)示例.

解决方法:

在Creative Commons许可下,有一个完全可用的Stack Overflow每月可用的“数据转储”,例如here(只是很多链接的第一个“在我的拇指下”-每月至少一个).对于我相对于其他海报发布者的平均每周报告这样的分析,这样每月的数据汇总比屏幕抓取更加有用.

如果您确实希望对某些(其他;-)网站进行屏幕抓取,并且不违反其政策或robots.txt文件,则Python是几个不错的选择之一-从scrapy开始,您将不必例如,要做的所有额外工作.

标签:screen-scraping,python

来源: https://codeday.me/bug/20191210/2100713.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值