huludan的专栏

原创 Python爬虫小技巧（页面解析，多进程，模拟浏览器，错误处理等）

本博文总结一些常用的爬虫小技巧，不涉及任何爬虫框架，适用于为科学研究或者教育目的而从互联网上爬取少量数据，内容较为粗略，仅从较高抽象层次进行说明，涉及的模块使用方法或者代码实现可以另行搜索其他相关资料参考。 数据需求分析 首先，要明确实验项目需要哪些数据，例如电商网页中的商品名字、商品价格或者社交网站中的评论标题、评论发表时间等。 网页结构分析 根据上一步的数据需求分析结果，分析含有...