新浪微博 爬虫字段、链接总结，用户数据，用户ID

最新推荐文章于 2024-08-09 08:06:10 发布
最新推荐文章于 2024-08-09 08:06:10 发布
阅读量552 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 新浪微博
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34329383/article/details/107132926
版权

该项目用于总结新浪微博网站上的诸多字段

数据说明

  • Words (该文件夹下包含链接及字段)
    • country_List: 全球200余个国家代码
    • province_List: 中国、澳大利亚、韩国、马来西亚、美国等国家省份代码
    • city_List: 上述省份或城市的下级城市/地区代码
  • UserID (该文件夹下包含用户ID及部分个人公开信息)
    • UserID_1M: 微博上100万用户的用户ID及昵称、是否认证、认证类型、粉丝数、关注数
FYCYC的创意小屋
关注
专栏目录
微博关键词爬取.py
09-11
该程序是根据微博中关键词的抓取，整个过程都包含注释内容。
微博转发数据-关键字段及含义
Bboy_LaiNiao的博客
06-01 1325
data data 列表 created_at：转发时间 text：转发配文 id、mid：转发行为的id user：转发者信息 id：用户id screen_name：用户名 verified：是否认证 verified_type：认证类型 description：描述 gender：性别（f，女）（m，男） followers_count：粉丝数 follow_count：关注数 retweeted_status：被转发微博的信息 created_at：微博发布时间 id、mid：微博的.
微博爬虫WeiboSpider：强大而易用的微博数据采集工具
最新发布
gitblog_00989的博客
08-09 2395
微博爬虫WeiboSpider：强大而易用的微博数据采集工具 项目地址:https://gitcode.com/gh_mirrors/weibo/WeiboSpider 1. 项目介绍 概览 WeiboSpider是一款专为收集新浪微博数据设计的强大工具。它不仅能够有效地从微博平台上获取各种类型的信息，还具备高度的灵活性和扩展性，适用于科研、商业情报搜集以及社交网络分析等多种场景。 主要特性 A...
【微博爬虫教程&实例】基于requests、mysql爬取大数据量博主关键字下博文及评论
otonashi_ayana的博客
10-12 7868
（关键词：手把手教程、反爬、数据库、python爬虫、微博爬虫、较大数据量、数据简单过滤、ip代理池）本教程适合有实际应用需求的python爬虫入门者阅读，该实例针对目标网站微博在requests库爬虫的基础上做了一些问题的优化，最终实例可用满足于较大数据量的数据爬取需求。作者更希望从较入门内容出发制作教程，您可以对本文内容稍作省略。完整实例源码将放置在文末github链接中。
微博移动端所获数据各字段的含义
Multiangle's Notepad
02-25 3559
最近在写微博的爬虫，框架已经基本稳定，但是在解析各字段含义的环节卡了好几天，因为不清楚各个字段的含义，官网的api注释好像有点过时，很多字段没有注释，所以只能自己一点一点分析了现在把我自己分析得到的各字段含义分享一下，不能保证完全正确，但是大致无误移动端得到的微博数据是json格式的，获得一个页面的数据以后，设为data,则 data[‘cards’][0][‘card_group’] 能够获
微博 帖子转发下 json字段描述
乱写乱画
07-24 725
{ "created_at": "Tue May 31 17:46:55 +0800 2011", # 创建时间 "id": 11488058246, # 微博id "text": "求关注。"， # 微博信息内容 "source": "<a href="http://weibo.com" rel="nofollow">新浪微博</a>", # 微博来源 "favorited": false, # 是否已收藏 "truncated":.
新浪微博爬虫，用python爬取新浪微博数据
02-07
本程序可以连续爬取一个或多个新浪微博用户（如胡歌、迪丽热巴、郭碧婷）的数据，并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据，包括用户信息和微博信息两大类。因为内容太多，这里不再赘述，...
关于weibo的接入笔记
CoffeeAndIce的博客
04-28 1158
针对微博的接入流程笔记
微博verified_type各类数字的含义
weixin_40576260的博客
03-29 4221
verified_type的字段：-1普通用户;0名人,1政府,2企业,3媒体,4校园,5网站,6应用,7团体（机构）,8待审企业,200初级达人,220中高级达人,400已故V用户。-1为普通用户，200和220为达人用户，0为黄V用户，其它即为蓝V用户...
微博数据库设计
Fine。晨曦~-[清晨] の第一缕阳光
05-28 2万+
部分功能建表设计      Users用户注册信息表 描述 字段名 类型 空值 其他 用户ID user_id number(8) 否 主键 用户邮箱 user_email varchar(40) 否
微博关键字爬虫代码
03-05
根据关键字，起始时间，和天数自动抓取时间段内的微博，包括微博id ，用户id ，时间，vip，微博内容，转发信息，转发信息转发数和评论数，并写入excel表格。
十万微博数据集.rar
10-27
爬取的103个微博用户截止2019年8月发布的所有原创微博,以csv文件存储，每个用户对应一个csv文件。包括48位女性，55位男性，男女性分开存储。包括id、微博正文、微博原始图片URL、原始视频URL、发布日期、发布工具、点赞数、评论数、转发数、话题和@用户。总共包括十多万条微博，可以用做性别分类等自然语言处理任务的数据集。
基于Python的新浪微博数据爬虫_周中华.pdf
08-07
为了快速地获取到海量微博中的数据,根据微博网页的特点,提出了一种基于Python爬虫程序设计方法.通过模拟登录新浪微博,实时抓取微博中指定用户的微博正文等内容;该工具利用关键词匹配技术,匹配符合规定条件的微博,并抓取相关内容;最后使用该工具对部分微博数据作了一个关于雾霾问题的分析.实验结果表明:本程序具有针对性强、数据采集速度快、易嵌入开发、简单等优点,为不善于编程的研究者提供了快速获取微博的方法,有利于对微博的后续数据挖掘研究.
【微博】评论采集
网页爬虫与数据采集 · 八爪鱼
11-19 6888
采集场景 在微博主页（https://weibo.com/）登录后，打开微博博文链接，采集博文链接的评论数据。实例网址：https://weibo.com/1977661791/I7PgktlCh 。 采集字段 博主用户名、发布时间、博文、分享数、评论数、点赞数、评论、评论用户名、评论时间。 采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例： 教程说明 本篇更新时间：2020/05/18 八爪鱼版本：V8.1.12 如果因网页改版造成网址或步骤无效，无法
微博数据爬虫——获取用户微博相关信息（四）
weixin_43906500的博客
04-21 2338
任务：给定u_id，获取用户每条微博的mid、发布时间、照片数、@数、链接数 1.获取微博信息 查看网页源代码，发现数据保存在js中 利用正则匹配可以实现获取单条微博全部信息 add = urllib.request.Request(url="https://weibo.com/u/%s?is_all=1" % o_id, headers=headers) r = urllib.request.urlopen(url=add, timeout=10).read().decode('utf-
微博爬虫/数据分析/可视化
热门推荐
Mydataanalysis的博客
06-29 2万+
微博的数据分析以及可视化 最近在学习数据分析，数据挖掘以及数据可视化的内容，之前断断续续地采集了接近1亿条微博数据，还有几十万的用户的信息。所以筛选了一部分数据来分析分析。下面的内容大多以《广州发布》为例。 微博数量分析 微博时间分析 地域分析 数据可视化 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl + Q 插入链接 Ctr...
【爬虫实战】2024可视化版—爬取微博任意关键词搜索结果、自动翻页、多线程
玛卡`三少 的博客
01-01 1290
微博可视化版爬虫案例来了！！！支持多线程、二次开发、、、。 源码在本公众号《【爬虫实战】可视化版—爬取微博任意关键词搜索结果、自动翻页、多线程》
【保姆级爬虫】微博关键词搜索并获取博文和评论内容（python+selenium+chorme）
QianQing_mio的博客
03-08 8103
非常详细的微博内容以及评论的爬取，包括怎么展开文章，怎么对网页和评论翻页
SinaSpider：新浪微博爬虫案例及数据库详细解析
资源摘要信息: "SinaSpider-master是一个用Python编写的爬虫项目，主要功能是爬取新浪微博上用户的个人信息和微博数据。项目的名称和描述提供了详细的数据库表结构信息，并且指明了本爬虫主要针对微博用户的基本信息...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值