sasemi

原创 网页微博抓取

需求 有4万条已知的网页微博地址，想要抓取每一条网页上的评论数，点赞数和转发数目。 问题 怎么登录？目前可以抓取cookie的方法有很多博客写过了，微博只支持移动版的cookie获取。 怎么抓取？有很多框架，beautifulsoup，pyquery等，但是这里不适用，选了最简单的正则表达式。 代码 第一部分：安装包 import re, urllib.parse, urllib.reques...