python3[爬虫实战] 爬虫之requests爬取新浪微博京东客服

最新推荐文章于 2024-07-15 13:44:00 发布
最新推荐文章于 2024-07-15 13:44:00 发布
阅读量1.3w 收藏 4
点赞数 1
分类专栏： # python3爬虫 我的python3爬虫之路 文章标签： python api 新浪微博 爬虫 京东
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xudailong_blog/article/details/76945566
版权

爬取的内容为京东客服的微博及评论

思路:主要是通过手机端访问新浪微博的api接口，然后进行数据的筛选，

类似于这样的：https://m.weibo.cn/u/5650743478?uid=5650743478&luicode=10000011&lfid=100103type%3D1%26q%3D%40京东客服&featurecode=20000320

这个主要是登陆上去的微博的url链接，

也可以在
https://passport.weibo.cn/signin/welcome?entry=mweibo&r=http%3A%2F%2Fm.weibo.cn%2F
进行新浪微博的登陆，

可以看到的界面：

这里写图片描述

这里主要爬取的内容为：

说说，说说下面的评论条目

虽然很简单，但是，不得不说句mmp，爬取的过程很坎坷，现在是一直在ip上，另外，个人经过尝试，睡眠时间30秒一次也不是很好的效果， 睡眠10秒就足够了，可能该封你的ip还是会封的，我这问题应该封ip的情况

爬取的方法主要是通过手机端api进行json数据的获取，然后进行数据的提取。

这里可以使用火狐fox的插件使用：

主要api：

说说API：

第一条微博：
https://m.weibo.cn/api/container/getIndex?uid=5650743478&luicode=10000011&lfid=100103type%3D1%26q%3D京东客服&featurecode=20000320&type=uid&value=5650743478&containerid=1076035650743478

第二条微博：
https://m.weibo.cn/api/container/getIndex?uid=5650743478&luicode=10000011&lfid=100103type%3D1%26q%3D京东客服&featurecode=20000320&type=uid&value=5650743478&containerid=1076035650743478&page=2

类似于这样子的，

详情评论内容API：

在每条评论下会有一个idstr:4137390568546147

然后跳到评论详情页：
https://m.weibo.cn/status/4137390568546147

评论条目拼加方式：
https://m.weibo.cn/api/comments/show?id=4137390568546147&page=1
https://m.weibo.cn/api/comments/show?id=4137390568546147&page=2

带大家看一下评论api下返回的数据：JSON格式的

{
    "cardlistInfo": {
        "containerid": "1076035650743478",
        "v_p": 42,
        "show_style": 1,
        "total": 3264,
        "page": 2
    },
    "cards": [
        {
            "card_type": 9,
            "itemid": "1076035650743478_-_4137858652321796",
            "scheme": "https://m.weibo.cn/status/FfSSl9K0k?mblogid=FfSSl9K0k&luicode=10000011&lfid=1076035650743478&featurecode=20000320",
            "mblog": {
                "created_at": "2小时前",
                "id": "4137858652321796",
                "mid": "4137858652321796",
                "idstr": "4137858652321796",
                "text": "明天又要上班了，用四个字描述下你现在的心情吧<span class=\"url-icon\"><img src=\"//h5.sinaimg.cn/m/emoticon/icon/others/d_erha-0d2bea3a7d.png\" style=\"width:1em;height:1em;\" alt=\"[二哈]\"></span> ​​​",
                "textLength": 50,
                "source": "微博 weibo.com",
                "favorited": false,
                "thumbnail_pic": "http://wx4.sinaimg.cn/thumbnail/006apWvQgy1fi7tkjguy4j309q09qt8q.jpg",
                "bmiddle_pic": "http://wx4.sinaimg.cn/bmiddle/006apWvQgy1fi7tkjguy4j309q09qt8q.jpg",
                "original_pic": "http://wx4.sinaimg.cn/large/006apWvQgy1fi7tkjguy4j309q09qt8q.jpg",
                "user": {
                    "id": 5650743478,
                    "screen_name": "京东客服",
                    "profile_image_url": "https://tva4.sinaimg.cn/crop.38.7.206.206.180/006apWvQjw8f9dwuejt68j307y0630sz.jpg",
                    "profile_url": "https://m.weibo.cn/u/5650743478?uid=5650743478&luicode=10000011&lfid=1076035650743478&featurecode=20000320",
                    "statuses_count": 3245,
                    "verified": true,
                    "verified_type": 2,
                    "verified_type_ext": 0,
                    "verified_reason": "北京京东世纪贸易有限公司",
                    "description": "订单咨询、问题反馈、意见建议……获取专业贴心服务，尽在京东客服",
                    "gender": "f",
                    "mbtype": 2,
                    "urank": 29,
                    "mbrank": 2,
                    "follow_me": false,
                    "following": false,
                    "followers_count": 18427,
                    "follow_count": 235,
                    "cover_image_phone": "https://tva4.sinaimg.cn/crop.0.0.640.640.640/006apWvQjw1f2g20q03tbj30e80e8t93.jpg"
                },
                "reposts_count": 0,
                "comments_count": 4,
                "attitudes_count": 2,
                "isLongText": false,
                "visible": {
                    "type": 0,
                    "list_id": 0
                },
                "mblogtype": 0,
                "bid": "FfSSl9K0k",
                "pics": [
                    {
                        "pid": "006apWvQgy1fi7tkjguy4j309q09qt8q",
                        "url": "https://wx4.sinaimg.cn/orj360/006apWvQgy1fi7tkjguy4j309q09qt8q.jpg",
                        "size": "orj360",
                        "geo": {
                            "width": "350",
                            "height": "350",
                            "croped": false
                        },
                        "large": {
                            "size": "large",
                            "url": "https://wx4.sinaimg.cn/large/006apWvQgy1fi7tkjguy4j309q09qt8q.jpg",
                            "geo": {
                                "width": "350",
                                "height": "350",
                                "croped": false
                            }
                        }
                    }
                ]
            },
            "show_type": 0,
            "openurl": ""
        },
        {
            "card_type": 9,
            "itemid": "1076035650743478_-_4137692553365577",
            "scheme": "https://m.weibo.cn/status/FfOyre7xv?mblogid=FfOyre7xv&luicode=10000011&lfid=1076035650743478&featurecode=20000320",
            "mblog": {
                "created_at": "13小时前",
                "id": "4137692553365577",
                "mid": "4137692553365577",
                "idstr": "4137692553365577",
                "text": "你觉得举办哪种《中国有_____》比赛，你能进入决赛？ ​​​",
                "textLength": 49,
                "source": "微博 weibo.com",
                "favorited": false,
                "thumbnail_pic": "http://wx2.sinaimg.cn/thumbnail/006apWvQgy1fi7ul9n9rfj30k00lsgnj.jpg",
                "bmiddle_pic": "http://wx2.sinaimg.cn/bmiddle/006apWvQgy1fi7ul9n9rfj30k00lsgnj.jpg",
                "original_pic": "http://wx2.sinaimg.cn/large/006apWvQgy1fi7ul9n9rfj30k00lsgnj.jpg",
                "user": {
                    "id": 5650743478,
                    "screen_name": "京东客服",
                    "profile_image_url": "https://tva4.sinaimg.cn/crop.38.7.206.206.180/006apWvQjw8f9dwuejt68j307y0630sz.jpg",
                    "profile_url": "https://m.weibo.cn/u/5650743478?uid=5650743478&luicode=10000011&lfid=1076035650743478&featurecode=20000320",
                    "statuses_count": 3245,
                    "verified": true,
                    "verified_type": 2,
                    "verified_type_ext": 0,
                    "verified_reason": "北京京东世纪贸易有限公司",
                    "description": "订单咨询、问题反馈、意见建议……获取专业贴心服务，尽在京东客服",
                    "gender": "f",
                    "mbtype": 2,
                    "urank": 29,
                    "mbrank": 2,
                    "follow_me": false,
                    "following": false,
                    "followers_count": 18427,
                    "follow_count": 235,
                    "cover_image_phone": "https://tva4.sinaimg.cn/crop.0.0.640.640.640/006apWvQjw1f2g20q03tbj30e80e8t93.jpg"
                },
                "reposts_count": 0,
                "comments_count": 13,
                "attitudes_count": 1,
                "isLongText": false,
                "visible": {
                    "type": 0,
                    "list_id": 0
                },
                "mblogtype": 0,
                "bid": "FfOyre7xv",
                "pics": [
                    {
                        "pid": "006apWvQgy1fi7ul9n9rfj30k00lsgnj",
                        "url": "https://wx2.sinaimg.cn/orj360/006apWvQgy1fi7ul9n9rfj30k00lsgnj.jpg",
                        "size": "orj360",
                        "geo": {
                            "width": 360,
                            "height": 392,
                            "croped": false
                        },
                        "large": {
                            "size": "large",
                            "url": "https://wx2.sinaimg.cn/large/006apWvQgy1fi7ul9n9rfj30k00lsgnj.jpg",
                            "geo": {
                                "width": "720",
                                "height": "784",
                                "croped": false
                            }
                        }
                    }
                ]
            },
            "show_type": 0,
            "openurl": ""
        },
        {
            "card_type": 9,
            "itemid": "1076035650743478_-_4137390568546147",
            "scheme": "https://m.weibo.cn/status/FfGHmzRf5?mblogid=FfGHmzRf5&luicode=10000011&lfid=1076035650743478&featurecode=20000320",
            "mblog": {
                "created_at": "昨天 14:24",
                "id": "4137390568546147",
                "mid": "4137390568546147",
                "idstr": "4137390568546147",
                "text": "周末就是买买买，吃吃吃<span class=\"url-icon\"><img src=\"//h5.sinaimg.cn/m/emoticon/icon/default/d_huaixiao-bb5966dcc6.png\" style=\"width:1em;height:1em;\" alt=\"[坏笑]\"></span> ​​​",
                "textLength": 28,
                "source": "微博 weibo.com",
                "favorited": false,
                "thumbnail_pic": "http://wx2.sinaimg.cn/thumbnail/006apWvQgy1fi7taijr9pg307e05kgvl.gif",
                "bmiddle_pic": "http://wx2.sinaimg.cn/bmiddle/006apWvQgy1fi7taijr9pg307e05kgvl.gif",
                "original_pic": "http://wx2.sinaimg.cn/large/006apWvQgy1fi7taijr9pg307e05kgvl.gif",
                "user": {
                    "id": 5650743478,
                    "screen_name": "京东客服",
                    "profile_image_url": "https://tva4.sinaimg.cn/crop.38.7.206.206.180/006apWvQjw8f9dwuejt68j307y0630sz.jpg",
                    "profile_url": "https://m.weibo.cn/u/5650743478?uid=5650743478&luicode=10000011&lfid=1076035650743478&featurecode=20000320",
                    "statuses_count": 3245,
                    "verified": true,
                    "verified_type": 2,
                    "verified_type_ext": 0,
                    "verified_reason": "北京京东世纪贸易有限公司",
                    "description": "订单咨询、问题反馈、意见建议……获取专业贴心服务，尽在京东客服",
                    "gender": "f",
                    "mbtype": 2,
                    "urank": 29,
                    "mbrank": 2,
                    "follow_me": false,
                    "following": false,
                    "followers_count": 18427,
                    "follow_count": 235,
                    "cover_image_phone": "https://tva4.sinaimg.cn/crop.0.0.640.640.640/006apWvQjw1f2g20q03tbj30e80e8t93.jpg"
                },
                "reposts_count": 0,
                "comments_count": 19,
                "attitudes_count": 1,
                "isLongText": false,
                "visible": {
最低0.47元/天 解锁文章
xudailong_blog
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【python实战】23个爬虫项目源码：微信、淘宝、知乎、微博...
公号：一条coding
06-04 1万+
23个Python爬虫项目
python爬虫精选外传（23个GitHub爬虫实战分享）
weixin_38640052的博客
07-20 1393
对于没有爬虫基础的朋友而言相对会有点难度，小主建议您先安照Python基础学习再去学习我的爬虫精选系列 今天为大家整理了32个Python爬虫项目。整理的原因是，爬虫入门简单快速，也非常适合新入门的小伙伴培养信心，所有链接指向GitHub。 1、WechatSogou – 微信公众号爬虫 基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。 github地址： https://github.com/Chyroc/WechatSogou 2、Dou
【python】网络爬虫与信息提取--requests库
m0_62410106的博客
02-11 3626
当一个软件想获得数据，那么我们只有把网站当成api就可以requests库:自动爬取HTML页面，自动网络请求提交robots协议：网络爬虫排除标准（网络爬虫的规则）beautiful soup库：解析HTML页面。
2024年最全Python爬虫教程-新浪微博分布式爬虫分享(1)
2401_84689725的博客
05-01 33
（Python编辑器：Pycharm；MongoDB管理工具：MongoBooster；Redis管理工具：RedisStudio）爬虫框架使用 Scrapy，使用 scrapy_redis 和 Redis 实现分布式。分布式中有一台机充当Master，安装Redis进行任务调度，其余机子充当Slaver只管从Master那里拿任务去爬。
python爬虫知网实例-python爬取知网
weixin_37988176的博客
10-30 7520
广告关闭腾讯云双11爆品提前享，精选热门产品助力上云，云服务器首年88元起，买的越多返的越多，最高满返5000元！https:github.comgnemougdistribute_crawlercnkispider- 中国知网爬虫。 设置检索条件后，执行srccnkispider.py抓取数据，抓取数据存储在data目录下...如果整站爬全部文本和图片作为离线查询，大概需要10g空间、2小时（1...
被称之为永远的神！就这6个Python爬虫开源项目？_python爬虫 数据采集 开源
a19815156的博客
04-29 605
这个开源项目程序可以持续爬取一个或多个新浪微博用户（如李文di、无疫烦）的数据，并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据，包括用户信息和微博信息两大类。首先需要修改 config.json 文件，然后爬取，程序会自动生成一个 weibo 文件夹，我们以后爬取的所有微博都被存储在这里。然后程序在该文件夹下生成一个名为"微博名字"的文件夹，明星的所有微博爬取结果都在这里。
Python网络爬虫实战项目代码大全
热门推荐
perry_Fan
12-12 5万+
WechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。 DouBanSpider [2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数&gt;1000的高分书籍；可依据不同的主题存储到Excel不同的Shee...
Python爬虫教程——7个爬虫小案例（附源码）_爬虫实例
最新发布
2301_78217634的博客
07-15 1035
爬虫的全称为网络爬虫，简称爬虫，别名有网络机器人，网络蜘蛛等等。网络爬虫是一种自动获取网页内容的程序，为搜索引擎提供了重要的数据支撑。搜索引擎通过网络爬虫技术，将互联网中丰富的网页信息保存到本地，形成镜像备份。我们熟悉的谷歌、百度本质上也可理解为一种爬虫。如果形象地理解，爬虫就如同一只机器蜘蛛，它的基本操作就是模拟人的行为去各个网站抓取数据或返回数据。
python爬虫实验报告_python爬虫实验
weixin_39532019的博客
11-20 3048
原博文2013-06-28 13:30 −那天在新浪微博上看到北北出的题目，由于最近也在做类似的爬虫研究，所以就有了这个实验。 后来在QQ上和北北说了下，要求是啥都抓，就抓乌云的。。。 然后就开始了。。 第一个版本如下，后续不断改进直到满足需求： import urllib2; from sgmllib import SGMLParser...相关推荐2013-06-28 14:17 −改进了一...
《Python3网络爬虫开发实战》第二波抽奖赠书活动来了！
静觅
06-12 1640
嗨~ 给大家重磅推荐一本书！上市两月就已经重印 4 次的 Python 爬虫书！它就是由静觅博客博主崔庆才所作的《Python3网络爬虫开发实战》！！！同时文末还有抽奖赠书活动，不容错过！！！书籍介绍本书《Python3网络爬虫开发实战》全面介绍了利用 Python3 开发网络爬虫的知识，书中首先详细介绍了各种类型的环境配置过程和爬虫基础知识，还讨论了 urllib、requests 等请求库和 ...
新浪微博爬虫，用python爬取新浪微博数据
05-21
在这个案例中，我们关注的是一个专门针对新浪微博的爬虫项目，使用Python编程语言实现。Python因其丰富的库支持和简洁的语法，成为了编写爬虫的理想选择。下面我们将深入探讨这个主题，解析相关知识点。 首先，我们...
新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频.zip
08-24
在本资源中，我们主要探讨的是如何利用Python编程语言实现一个针对新浪微博的网络爬虫，目的是抓取微博数据，包括微博的文字内容、图片以及视频。爬虫是数据挖掘的重要工具，它能自动化地从互联网上收集信息，对于...
新浪微博爬虫，用python爬取新浪微博数据.zip
02-03
【标题】：“新浪微博爬虫，用python爬取新浪微博数据” 【描述】：“此项目是关于如何使用Python编程语言构建一个爬虫，以抓取并分析新浪微博上的数据。爬虫技术在大数据时代对于获取社交媒体信息、进行网络数据...
新浪微博爬虫，用python爬取新浪微博数据-python
06-18
本项目"新浪微博爬虫"就是一个很好的例子，它展示了如何利用Python来抓取新浪微博上的数据。 首先，我们需要了解网络爬虫的基本原理。网络爬虫通过模拟浏览器发送HTTP请求到目标网站，然后解析返回的HTML或JSON等...
详解用python写网络爬虫-爬取新浪微博评论
12-26
新浪微博需要登录才能爬取，这里使用m.weibo.cn这个移动端网站即可实现简化操作，用这个访问可以直接得到的微博id。 分析新浪微博的评论获取方式得知，其采用动态加载。所以使用json模块解析json代码 单独编写了字符...
python3调用js的库之execjs
徐代龙的技术专栏
07-29 4万+
针对现在大部分的网站都是使用js加密，js加载的，并不能直接抓取出来，这时候就不得不适用一些三方类库来执行js语句 执行JS的类库：execjs，PyV8，selenium，node 这里主要讲一下execjs，一个比较好用且容易上手的类库（支持py2，与py3），支持 JS runtime。 官网：https://pypi.org/project/PyExecJS/ （一...
BeautifulSoup 获取第二个span标签内容
徐代龙的技术专栏
05-21 2万+
场景 声明下：这里把span标签替换成a标签是一样的逻辑。 &lt;a href="http://example.com/elsie" class="sister" id="link1"&gt;Elsie&lt;/a&gt; &lt;a href="http://example.com/lacie" class="sister" id="link2&quo
python3 抖音短视频链接去水印下载视频到本地
徐代龙的技术专栏
07-04 2万+
基于近段时间对抖音，快手，秒拍等视频抓取一直想搞一下。加了个QQ群，里面全是自媒体，就是抖音、快手、秒拍的视频搬运工，把一个平台搬到另外一个平台上，去除水印。降低被干掉的危险。经过半天的琢磨，自己用python也搞出来一个根据抖音分享视频链接去除水印并下载的功能。 （一）得到分享链接 抖音分享链接：http://v.douyin.com/JkNaor/ （二）浏览器总打开 我们会在...
python爬虫爬取新浪微博热搜榜
05-30
Python 爬虫爬取新浪微博热搜榜可以使用 Python 的 requests 库和 BeautifulSoup 库。 具体步骤如下： 1. 发送请求获取网页内容，可以使用 requests 库中的 get() 方法。 2. 解析网页内容，可以使用 BeautifulSoup 库中的 BeautifulSoup() 方法。 3. 定位需要爬取的内容，可以使用 find() 或 find_all() 方法。 4. 提取需要爬取的内容，例如热搜榜的标题、链接、热度等信息。 5. 将提取的内容存储到本地或者数据库中。 下面是示例代码： ``` import requests from bs4 import BeautifulSoup url = 'https://s.weibo.com/top/summary?cate=realtimehot' # 发送请求获取网页内容 response = requests.get(url) html = response.text # 解析网页内容 soup = BeautifulSoup(html, 'html.parser') # 定位需要爬取的内容 hot_list = soup.find_all('td', class_='td-02') # 提取需要爬取的内容 for hot in hot_list: title = hot.find('a').text # 热搜标题 link = 'https://s.weibo.com' + hot.find('a')['href'] # 热搜链接 hot_num = hot.find('span').text # 热度 print(title, link, hot_num) # 将提取的内容存储到本地或者数据库中 # ... ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值