python爬去微博签到数据_GitHub - fs6/weiboSpider: 新浪微博爬虫，用python爬取新浪微博数据...

功能

连续爬取一个或多个新浪微博用户(如胡歌、迪丽热巴、郭碧婷)的数据，并将结果信息写入文件或数据库。写入信息几乎包括了用户微博的所有数据，主要有用户信息和微博信息两大类，前者包含用户昵称、关注数、粉丝数、微博数等等；后者包含微博正文、发布时间、发布工具、评论数等等，因为内容太多，这里不再赘述，详细内容见输出部分。

具体的写入文件类型如下：

写入txt文件(默认)

写入csv文件(默认)

写入json文件(可选)

写入MySQL数据库(可选)

写入MongoDB数据库(可选)

下载用户原创微博中的原始图片(可选)

下载用户转发微博中的原始图片(免cookie版特有)

下载用户原创微博中的视频(可选)

下载用户转发微博中的视频(免cookie版特有)

下载用户原创微博Live Photo中的视频(免cookie版特有)

下载用户转发微博Live Photo中的视频(免cookie版特有)

当然，如果你只对用户信息感兴趣，而不需要爬用户的微博，也可以通过设置实现只爬取微博用户信息的功能。

程序也可以实现爬取结果自动更新，即：现在爬取了目标用户的微博，几天之后，目标用户可能又发新微博了。通过设置，可以实现每隔几天增量爬取用户这几天发的新微博。具体方法见定期自动爬取微博。

本程序需要设置用户cookie，以获取微博访问权限，后面会讲解如何获取cookie。如需免cookie版，大家可以访问https://github.com/dataabc/weibo-crawler，二者功能类似，免cookie版获取的信息更多，用法更简单，而且不需要cookie。

如果想要获得大量微博，见如何获取大量user_id部分。

另外，推荐下另一个程序weibo-search。该程序可以连续获取一个或多个微博关键词搜索结果，并将结果写入文件(可选)、数据库(可选)等。所谓微博关键词搜索即：搜索正文中包含指定关键词的微博，可以指定搜索的时间范围。对于非常热门的关键词，一天的时间范围，可以获得1000万以上的搜索结果，N天的时间范围就可以获得1000万 X N搜索结果。对于大多数关键词，一天产生的相应微博数量应该在1000万条以下，因此可以说该程序可以获得大部分关键词的全部或近似全部的搜索结果。而且该程序可以获得搜索结果的所有信息，本程序获得的微博信息该程序都能获得。

输出

本部分为爬取到的字段信息说明，为了与免cookie版区分，下面将两者爬取到的信息都列出来。如果是免cookie版所特有的信息，会有免cookie标注，没有标注的为二者共有的信息。

用户信息

用户id：微博用户id，如"1669879400"，其实这个字段本来就是已知字段

昵称：用户昵称，如"Dear-迪丽热巴"

性别：微博用户性别

生日：用户出生日期

所在地：用户所在地

学习经历：用户上学时学校的名字和时间

工作经历：用户所属公司名字和时间

阳光信用(免cookie版)：用户的阳光信用

微博注册时间(免cookie版)：用户微博注册日期

微博数：用户的全部微博数(转发微博+原创微博)

关注数：用户关注的微博数量

粉丝数：用户的粉丝数

简介：用户简介

头像url(免cookie版)：用户头像url

高清头像url(免cookie版)：用户高清头像url

微博等级(免cookie版)：用户微博等级

会员等级(免cookie版)：微博会员用户等级，普通用户该等级为0

是否认证(免cookie版)：用户是否认证，为布尔类型

认证类型(免cookie版)：用户认证类型，如个人认证、企业认证、政府认证等

认证信息：为认证用户特有，用户信息栏显示的认证信息

微博信息

微博id：微博唯一标志

微博内容：微博正文

头条文章url：微博中头条文章的url，若微博中不存在头条文章，则值为''

原始图片url：原创微博图片和转发微博转发理由中图片的url，若某条微博存在多张图片，每个url以英文逗号分隔，若没有图片则值为"无"

视频url: 微博中的视频url，若微博中没有视频，则值为"无"

微博发布位置：位置微博中的发布位置

微博发布时间：微博发布时的时间，精确到分

点赞数：微博被赞的数量

转发数：微博被转发的数量

评论数：微博被评论的数量

微博发布工具：微博的发布工具，如iPhone客户端、HUAWEI Mate 20 Pro等

结果文件：保存在当前目录weibo文件夹下以用户昵称为名的文件夹里，名字为"user_id.csv"和"user_id.txt"的形式

微博图片：原创微博中的图片和转发微博转发理由中的图片，保存在以用户昵称为名的文件夹下的img文件夹里

微博视频：原创微博中的视频，保存在以用户昵称为名的文件夹下的video文件夹里

微博bid(免cookie版)：为免cookie版所特有，与本程序中的微博id是同一个值

话题(免cookie版)：微博话题，即两个#中的内容，若存在多个话题，每个url以英文逗号分隔，若没有则值为''

@用户(免cookie版)：微博@的用户，若存在多个@用户，每个url以英文逗号分隔，若没有则值为''

原始微博(免cookie版)：为转发微博所特有，是转发微博中那条被转发的微博，存储为字典形式，包含了上述微博信息中的所有内容，如微博id、微博内容等等

实例

以爬取迪丽热巴的微博为例，我们需要修改config.json文件，文件内容如下：

{

"user_id_list": ["1669879400"],

"filter": 1,

"since_date": "1900-01-01",

"write_mode": ["csv", "txt", "json"],

"pic_download": 1,

"video_download": 1,

"cookie": "your cookie"

}

对于上述参数的含义以及取值范围，这里仅作简单介绍，详细信息见程序设置。

user_id_list代表我们要爬取的微博用户的user_id，可以是一个或多个，也可以是文件路径，微博用户Dear-迪丽热巴的user_id为1669879400，具体如何获取user_id见如何获取user_id；

filter的值为1代表爬取全部原创微博，值为0代表爬取全部微博(原创+转发)；

since_date代表我们要爬取since_date日期之后发布的微博，因为我要爬迪丽热巴的全部原创微博，所以since_date设置了一个非常早的值；

write_mode代表结果文件的保存类型，我想要把结果写入txt文件、csv文件和json文件，所以它的值为["csv", "txt", "json"]，