requests入门——jwzx照片爬取

最新推荐文章于 2024-05-13 23:52:59 发布
最新推荐文章于 2024-05-13 23:52:59 发布
阅读量760 收藏 1
点赞数 2
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43983838/article/details/103365070
版权

这是一个比较好玩的项目，爬取jwzx上面同学的照片

爬取步骤
1. 登录后 打开自己的照片页面

这里右键点击照片，在新页面打开
在这里插入图片描述
就可以得到这个页面。我们会发现url的规律，改变后面的学号，我们就可以得到其他小伙伴的照片了。
在这里插入图片描述

2. 找到自己的user_agent 和 cookie

我们会发现，如果没有登录，是无法打开这个照片页面的，而cookie就是告诉网页我们登录好啦的东西。
维基上面对cookie的解释：
在这里插入图片描述
所以，我们在登录后的页面，按F12可以查看html元素，查看响应事件，并找到我们需要的cookie和user_agent。
在这里插入图片描述

代码

在这里插入图片描述

Simone Zeng
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
Python requests爬取美桌壁纸之可爱小狗狗
yeahMeng的博客
04-04 639
爬取美桌壁纸之可爱小狗狗 最近在学爬虫，用课堂案例来巩固下学习内容。 import requests from lxml import etree # 用lxml库对网页进行解析 import os url = 'http://www.win4000.com/zt/gou.html' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT ...
Python——使用 requests 模块爬取网页数据
Zeeno的学习博客
07-29 1万+
使用requests模块爬取网页数据 文章目录使用requests模块爬取网页数据@[toc]1. 爬取静态页面数据1.1 准备工作1.2 各模块代码1.3 完整代码2. 爬取动态页面数据2.1 准备工作2.2 完整代码 以下内容根据个人学习总结 1. 爬取静态页面数据 对于一些静态页面而言，爬取相关数据比较简单，主要思路是首先获取网页链接，然后定位数据源码，最后获取其内容 以下任务目标为爬取盗...
Requests 动态网页爬取的各式技巧
GitChat
07-02 2379
动态网页的爬取是很多学习爬虫的同学感到困难和难以掌握的地方，爬取过动态网站的同学一般会遇到三个困难：一是如何快速地分析网站，确定网站的类型；二是搞清楚数据是如何获取下来的，也就是分析确定网页实际的请求 URL，这一个难点，值得我们仔细讨论；三是为方便解析数据，要明确返回数据的类型。 本场 Chat 将针对动态网站爬取的上述三个难点讲解动态网站的爬取，通过 Chat 您将收获一下知识点： 使用 C...
初级爬虫(一) requests模块实现网页批量图片爬取
兜率宫
12-24 833
思路分析: 已知网页:如http://www.jiangxian.gov.cn/N20180821093426.html 1, 检查网页分析网页中图片的地址形式, 2,获取网页内容,正则匹配出所有图片的地址, 3,拼接地址生成列表 4,循环列表,生成图片地址的文本文件 5,循环列表,取出每个地址,获得地址内容 6,写入到文件夹 难点:首先是获取每个图片的地址____这是一个获取过程 再次 获取图片...
Python爬虫入门学习——网页批量爬取文本
热门推荐
GIS热爱者
04-20 3万+
Python爬虫小白入门，文章首先介绍爬虫概念，以及爬虫的合法性问题。基于对网页的HTML编码的初步了解，介绍了两个第三方库，requests和BeautifulSoup库。进而进阶至小说文本的爬取，再深入到爬取小说并规整格式至txt文本，最后引出批量下载各章节的小说文本至文件夹中！......
爬虫入门——电影top250爬取
loserrrrrr的博客
08-11 2684
爬虫入门——电影top250爬取，利用正则表达式迭代找出所有电影名称
python爬虫实例之——多线程爬取小说
the_sangzi_home的博客
02-29 3905
之前写过一篇爬取小说的博客，但是单线程爬取速度太慢了，之前爬取一部小说花了700多秒，1秒两章的速度有点让人难以接受。 所以弄了个多线程的爬虫。 这次的思路和之前的不一样，之前是一章一章的爬，每爬一章就写入一章的内容。这次我新增加了一个字典用于存放每章爬取完的内容，最后当每个线程都爬取完之后，再将所有信息写入到文件中。 之所以用字典是因为爬完之后需要排序，字典的排序比较方便 为了便于比较，这次选择...
最新Python爬虫入门学习——网页批量爬取文本，2024京东Python面试真题
2401_84140485的博客
05-13 688
除了requests库的爬取内容，其次就是BeautifulSoup库的解析数据功能。BeautifulSoup库是BeautifulSoup4库（一般书写为bs4）中的子库。#html接上文中的已爬取得到的全部信息bes= BeautifulSoup(html,"lxml")#通过lxml方式解析获取网页中文本信息。
爬虫POST请求——肯德基地址爬取
m0_57675076的博客
01-04 1624
import requests import json headers = { "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Mobile Safari/537.36 Edg/96.0.1054.29"} url ="http://www.kfc.com.cn/kfccda/ashx/.
Python爬虫入门——Requests库
12-23
1. requests 库的几个主要方法 方法 说明 requests.request（） 构造一个网页请求，支撑以下各方法的基础方法 requests.get（） 获取HTML网页的主要方法，对应于HTTP的GET requests.head（） 获取HTML...
Python基于requests库爬取网站信息
09-17
本篇将深入探讨如何利用`requests`库来爬取网站信息。 首先，要使用`requests`库获取网页内容，最基础的方法是调用`get()`函数。例如，以下代码展示了如何获取百度首页的内容： ```python import requests url = ...
爬虫基础入门——Requests轻松上手！
12-21
【Python爬虫基础入门——Requests库轻松掌握】 爬虫技术是数据采集的重要手段，而Python中的Requests库则是实现网络请求的利器。Request库是Python的一个轻量级HTTP库，能够帮助开发者模拟浏览器发送各种类型的...
python3 requests库实现多图片爬取教程
01-20
最近对爬虫比较感兴趣，所以就学了一下，看人家都在网上爬取那么多美女图片养眼，我也迫不及待的试了一下，不多说，切入正题。 其实爬取图片和你下载图片是一个样子的，都是操作链接，也就是url，所以当我们确定要...
基于python requests selenium爬取excel vba过程解析
08-18
基于python requests selenium爬取excel vba过程解析 基于python requests selenium爬取excel vba过程解析是一种高效的数据爬取方法，该方法通过使用python的requests和selenium库来爬取excel vba过程解析的数据。...
【中科院1区】Matlab实现白冠鸡优化算法COOT-RF故障诊断算法研究.rar
最新发布
08-02
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
H公司数字化转型实践分享-H公司中国企业ICT规划和咨询部.docx
08-02
H公司数字化转型实践分享-H公司中国企业ICT规划和咨询部.docx
数字政府数字化转型规划信息化解决方案.docx
08-02
数字政府数字化转型规划信息化解决方案.docx
美世2024消费品行业人才趋势报告.pdf
08-02
【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势报告.pdf【美世】2024消费品行业人才趋势
webscraper 爬取二级网页_web scraper——简单的爬取数据【二】
05-17
好的，以下是关于使用 Python 的 web scraper 爬取二级网页的简单教程： 1. 导入必要的库 在 Python 中，我们需要使用一些第三方库来实现网页爬取。其中，最为常用的包括 requests 和 BeautifulSoup。前者用于获取...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Simone Zeng

给作者来杯咖啡吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值