DataWhale 组队学习爬虫 Task2 补充(爬取微博)

最新推荐文章于 2020-10-11 14:40:42 发布
最新推荐文章于 2020-10-11 14:40:42 发布
阅读量252 收藏
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37855575/article/details/98948717
版权
本文介绍了如何使用浏览器开发者工具切换到手机模式，进入微博并搜索目标用户，通过Network面板定位XHR请求，获取微博内容的URL。在编写爬虫代码时，要注意删除'Accept-Encoding'中的'gzip, deflate'避免解码错误，并可能需要使用json.loads()处理数据。提供的代码示例展示了使用request包进行请求的处理方法。" 111930176,9932411,华为云WeLink考勤打卡指南,"['协同办公', '移动办公', '考勤管理', '企业效率', '华为云服务']
摘要由CSDN通过智能技术生成

1. 首先，我们要把电脑网页版的微博页面在流浪器中转为手机端的页面，这里最好使用谷歌浏览器，按F12，点击下面按钮变成手机端模式：

然后搜索并进入新浪微博，在微博搜索栏搜索LYH，点击头像进去他的主页：

 

2. 在Network功能下，我们刷新一下网页，然后再逐个XHR下去看，name列表中哪个是微博内容对应的。

3. 找到了这个东西后，在Headers下找到Url，Reqeust Headers等信息，就可以写代码去获取了

 

上代码：(这里的代码是昨天晚上用的，link可能跟图片上不一样)

最低0.47元/天 解锁文章
方糖冰红茶
关注
专栏目录
如何微博pc端链接转成手机端链接_js实现微博移动端连接与pc段连接互相转换62进制...
weixin_30070663的博客
01-17 1478
this.str62keys = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ";fun1 = function int10to62(int10) {var s62 = '';var r = 0;while (int10 != 0) {r = int10 % 62;s62 = this.str62keys.charA...
根据用户id获取其所有微博
andrewgyq的专栏
12-05 7546
import requests import time from bs4 import BeautifulSoup import sys reload(sys) sys.setdefaultencoding('utf-8') headers = {'Cookie': '_T_WM=9136283cc44d10a7a33629a4d4303f60; WEIBOCN_WM=ig_1002; gsid
2020年10月微博手机移动端链接地址转换PC端链接工具
10-24
2020年10月微博移动端链接地址转换PC端链接工具 方便一键将手机端微博链接转换成PC微博链接 有需要的可以自己下载学习，仅供学习请勿用于商业用途
python爬取微博动态页面id、内容、评论点赞数存入MongoDB 详解
bb123116的博客
10-11 2018
前情提要 本次爬取有未解决的问题 1.用urlencode合成的url解析出错 2.微博爬取个人微博页面不知道如何翻页 但是操作和代码可以实现在m.weibo.cn输入关键字后出现的页面的 爬取 一、具体操作及注意事项 1.获取解析json文件 微博有 weibo.com和m.weibo.cn两种页面 从weibo.com打开要爬的页面 XHR中全是视频分流数据 找不到需要的文件 所以要注意换为m.weibo.cn这个网址 如果分析某个人的个人微博暂时还未找到url翻页的规律 本次通过搜索关键字爬取整
python爬取微博某一用户所有个人信息及视频图片
BUPT-WT的博客
03-25 3027
importos importshutil importrequests importjson fromlxmlimporthtml importtime importre importurllib.request headers={ #'Cookies':'SUB=_2A25xgwvUDeRh...
DataWhale组队打卡学习营task05-1 卷积神经网络基础
01-06
卷积神经网络基础 二维卷积层 本节介绍的是最常见的二维卷积层，常用于处理图像数据。 二维互相关运算 二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维...
team-learning-sql:主要存储Datawhale组队学习中“SQL”方向的资料
05-16
我如获至宝，心想这么好的教材应该让更多的人了解到，以便小伙伴们少走弯路，于是乎，我就联合DataWhale团队成员编写了这一版学习笔记。希望可以帮你更好的学习SQL。 使用方法 考虑到易用性和普及度，课程内容采用...
备忘2：爬取某个博主的微博信息
weixin_40576260的博客
04-03 3539
#!/usr/bin/env python # -*- coding: UTF-8 -*- import os import re import requests import sys import traceback from datetime import datetime from datetime import timedelta from lxml import etree #impo...
Python爬虫学习笔记（开发者工具中的Ajax+实例：爬取个人微博主页）
qq_33360009的博客
02-16 1221
Ajax文件的Type是xhr，点击浏览器的开发者工具中NetWork选项下的XHR就可以筛选出所有的ajax请求，RequestHeader中有一个信息为X-Requestsed-with:XMLHttpRequest，意思代表此请求是ajax请求 爬取个人微博主页前10条微博的 ID、内容、点赞数、评论数、转发数 存入MongoDB数据库from urllib.parse imp...
requests爬取微博
a2639491403的博客
08-01 2491
微博地址：蒋方舟微博 用到技术：requests+pyquery 分析页面 通过对比url发现，似乎只需要 改变page就能完成翻页  尝试把page=3放上去得到了如下内容,json序列化 点开调试工具的preview就能看到json反序列化 得来全不费工夫，里面包含了我们需要的所有内容 接着我们需要构造URL，requests中自带一个params（）方法...
1-新浪微博爬虫-（2017-05-09）
当法律与事业相遇
05-10 5270
爬虫新浪微博博客
自动爬取微博热门评论和点赞数并存为EXCEL文件(python2)
change_things的博客
12-01 6330
前言 上篇文章介绍了如何获取Cookie并爬取微博评论，但评论千千万，我们可能只对点赞数高的评论感兴趣，也就是热门评论。但要想获取热门评论，用之前的方法得把评论爬个遍，然后按点赞数排序。这种做法一来费时，二来爬的不完整（除非把微博数据库全爬下来）。但微博后台已经帮我们给所有评论排了序，所以我们直接爬热门评论就好了。 获取Cookie 1、用浏览器进入手机版微博页面登陆微博，如进入https:...
网络爬虫爬取数据的4种类型
douxubao的博客
03-19 3400
requests库使用方法(爬虫模拟登陆的三种方式) =￣ω￣= Python爬虫
寻觅的博客
01-17 3865
文章目录requestsrequests使用乱码解决方式文本乱码伪装浏览器发送带参请求实战测试抓取百度贴吧胡萝卜周带参post请求有道翻译使用代理IP requests 作用:发送网络请求,返回相应数据 中文文档API requests使用 乱码解决方式 文本乱码 方法一 使用.text方法读取内容,使用.encoding修改编码方式 r = requests.get('http://ww...
判断当前设备是ios还是Android
zax533716144909的博客
08-29 574
文章出处 第一次写博客，想把自己遇到的问题总结在博客里面 遇到的问题是移动端 vue项目 关于抢红包的 功能 在抢红包页面的input输入框失去焦点的时候 屏幕下方会出现空白区域，不能视觉回弹 //userAgent 属性是一个只读的字符串，声明了浏览器用于 HTTP 请求的用户代理头的值 var u = navigator.userAgent; //Android终端 var isAndroid...
WxParse-微信小程序富文本解析自定义组件，支持HTML和markdown解析.zip
最新发布
10-04
WxParse-微信小程序富文本解析自定义组件，支持HTML和markdown解析
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值