本文介绍了如何使用Python3爬取新浪微博大V的所有数据，包括评论。首先，通过公开API获取用户基本信息，利用since_id和max_id参数进行数据抓取。此外，还分享了抓取高清原图的方法，涉及BeautifulSoup库和urllib2模块。文章提到了模拟登陆和正则表达式的应用，以应对复杂的网页解析和登录过程。
怎样用python爬新浪微博大V所有数据
先上结论，通过公开的api如爬到某大v的所有数据，需足以下两个条件：
1、在你的爬虫开始运行时，该大v的所有微博发布量没有超过回溯查询的上限，新浪是2000，twitter是3200。
2、爬虫程序必须不间断运行。
新浪微博的api基本完全照搬twitter，其中接口的参数特性与底层的NoSQL密不可分，建议先看点Nosql数据库的设计理念有助于更好的理解api设计。
一般来说，如果决定爬某个大v，第一步先试获取该用户的基本信息，中间会包含一条最新的status，记下其中的id号作为基准，命名为baseId。
接口中最重要的两个参数：
since_id：返回ID比since_id大的微博(即比since_id时间晚的微博)，默认为0。
max_id：返回ID小于或等于max_id的微博，默认为0。
出于各种原因，获取statuses的接口，固定为按id降序排列(scan_index_forward=false)，即最新的statuses返回在前。假设该微博第一天上线，就一个用户，发了一百条，id是1到100。而你在该用户发了第50条的时候开始运行的爬虫，即baseId=50。
如何使用python爬取到高清原图
# -*- coding:utf8 -*-
# 2013.12.36 19:41 wnlo-c209
# 抓取dbmei.com的图片
from bs4 import BeautifulSoup
import os, sys
最低0.47元/天 解锁文章
扫一扫
3225
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
