python爬虫学习day7---使用ajax方法进行数据获取(基于requests模块发起ajax的get/post请求)---超级适合小白学习

最新推荐文章于 2023-11-17 20:15:00 发布
最新推荐文章于 2023-11-17 20:15:00 发布
阅读量321 收藏
点赞数
分类专栏： python爬虫学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Xiaochunchunu/article/details/108552771
版权

一、前情准备

需要使用到urllin库中的request,urlopen库
需求：基于requests模块发起ajax的get/post请求

二、分析网站

链接：网站链接
在这里插入图片描述
在这里插入图片描述

初始页面最多只显示20条数据，需要点击下方的加载更多进行数据的更多获取，表明页面通过ajax请求动态加载页面，此时进行点击并按F12进行接口数据分析
在这里插入图片描述
点击上述框选内容，进行接口分析
在这里插入图片描述
此时的request url 就是ajax请求调用的接口，进行爬虫数据获取只需要指定该url即可
下面，上代码！！！
https://www.jb51.net/article/167952.htm

Xiaochunchunu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ajax回调时取request作用域和session作用域的值
weixin_42044486的博客
09-17 2828
1.正常情况，把对象放入request作用域中，返回一个字符型，跳转页面，是可以取到值的。 ajax.jsp： <%-- Created by IntelliJ IDEA. User: 书山有路勤为径 Date: 2019/9/17 Time: 12:40 To change this template use File | Settings | File Temp...
爬虫学习之基于requests模块ajax的post请求
y2629924166的博客
04-20 182
需求: 爬取肯德基餐厅数据 import requests import json if __name__=="__main__": url="http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword" location=input("-----本程序可以查询肯德基餐厅信息-----\n请输入要查询的地点:").strip() headers={ "User-Agent":"Mozilla/5.0.
ajax请求方法以及参数！
weixin_62980497的博客
10-14 131
2.创建一个新的HTTP请求,并指定该HTTP请求的方法、URL及验证信息.1，创建XMLHttpRequest对象,即创建一个异步调用对象.6，使用JavaScript和DOM实现局部刷新。3，设置响应HTTP请求状态变化的函数.5，获取异步调用返回的数据.二、实现AJAX的基本步骤。4，发送HTTP请求.
python 爬虫 基于requests模块发起ajax的post请求
weixin_30593443的博客
08-23 944
基于requests模块发起ajax的post请求 需求：爬取肯德基餐厅查询http://www.kfc.com.cn/kfccda/index.aspx中指定某个城市地点的餐厅数据 点击肯德基餐厅查询页面 输入北京点击查询是一个提交form表单，异步ajax的post请求，使用抓包工具抓取请求 基于ajax的POST请求携带的参数： ...
模拟Ajax请求爬取网站动态信息
hellocoding的博客
12-23 876
  有时候我们在用requests抓取页面的时候，得到的结果可能和在浏览器中看到的不一样：在浏览器中可以看到正常显示的页面数据，但是使用requests得到的结果中并没有。这是因为requests获取的都是原始的HTML文档，而浏览器中的页面则是经过JavaScript处理数据后生成的结果，这些数据的来源有多种，可能是通过Ajax加载的，可能是包含在HTML文档中的，也可能是经过JavaScript 和特定算法计算后生成的。   对于第一种情况，数据加载是一种异步加载方式，原始的页面最初不会包含某些数据，原
python爬虫 基于requests模块发起ajax的get请求实现解析
09-18
主要介绍了python爬虫 基于requests模块发起ajax的get请求实现解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
python处理multipart/form-data的请求方法
09-19
本文将详细介绍如何使用Python的requests库处理multipart/form-data类型的请求。 首先，multipart/form-data通常用于POST请求，特别是当需要提交二进制数据，如图片、文档等文件时。在HTTP请求中，它会将数据分割成...
Python爬虫工具requests-html使用解析
09-16
主要介绍了Python爬虫工具requests-html使用解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
python自学爬虫之requests-html.md
08-16
自学爬虫，采用requests-html框架
python使用Ajax请求的方法
最新发布
2301_80100415的博客
11-17 727
本文介绍了 Ajax 技术和如何使用 Python 发起 Ajax 请求。Ajax 技术可以显著提高网页的交互性和响应速度，而 Python 可以方便地发起 Ajax 请求，从而获取所需的数据。如果您想要开发一些网页爬虫或者数据分析的应用，那么学会使用 Python 发起 Ajax 请求将是非常有用的技能。
AJAX数据爬取基本认识及原理
Blessy_Zhu的博客
03-08 7676
在爬虫的过程中，会看到如下情况，以微博评论为例子：向下滑动滚动条，却发现出现如图1所示的加载延迟（如果网络环境较好，看到的概率较小），摁下F12打开开发者工具后，继续滑动滚动条，里面出现了很多type为xhr的文件，如图2。这个时候，用requests中的get()方法爬取原生的HTML文档，却发现里面并没有要找的加载的评论内容。
第六章 使用ajax接口爬取数据
shancyr45的博客
12-05 436
一、爬取网站流程 1、分析网站的数据来源 ​ 分析网站结构，待爬取数据在哪。 2、查看页面数据是否是直接渲染的 ​ url请求后响应后，页面数据就已经全部加载出来，为直接渲染，看能否通过requests模块获取到 ​ （1）在开发者工具中，找到页面的url这条数据。通过这条请求的信息来进行程序的书写。 ​ （2）在代码中通过requests模块封装请求头，查看response.text中是...
requests模拟ajax异步请求
03-25 7660
requests python ajax
Python Requests POST数据的几个问题的解决
Shark Qt
11-28 4232
最近在用Requests做一个自动发送数据的小程序，使用的是Requests库，在使用过程中，对于post数据的编码有一些问题，查找很多资料，终于解决。 1.post数据的urlencode问题：     我们一般post一个dict数据的时候，requests都会把这个dict里的数据进行urlencode，再进行发送。但我发现他用的urlencode默认是UTF-8编码，如果我的网站程序只...
python爬虫ajax请求_python爬虫 基于requests模块发起ajax的get请求实现解析
weixin_35625309的博客
01-12 315
基于requests模块发起ajax的get请求需求：爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据用抓包工具捉取 使用ajax加载页面的请求鼠标往下下滚轮拖动页面，会加载更多的电影信息，这个局部刷新是当前页面发起的ajax请求，用抓包工具捉取页面刷新的ajax的get请求，捉取滚轮在最底部时候发起的请求这个get请求是本次发起的请求的urlajax的g...
Python中后端获取ajax数据的方式
工作上遇到的一些问题
07-09 9849
我自己在开发中，遇到几种在后端获取js用ajax传来的数据，比如ajax中的data:{“xx”：值}一般都是用  key = request.args.get("xx"),“xx”是ajax中传来的data中的键，通过这种形式获取它的值。也可以先把整个data这个字典拿过去，再从这个字典拿它里面的一个个值        dict = request.valuse.to_dict()       ...
python文件用ajax方式请求 摸个接口
06-11
要用 AJAX 方式请求一个接口，需要使用前端技术实现。以下是一个 Python Flask 后端的示例代码，可以提供一个简单的接口供前端调用： ```python from flask import Flask, request, jsonify app = Flask(__name__) @app.route('/api/hello', methods=['POST']) def hello(): name = request.json.get('name') return jsonify({'message': f'Hello, {name}!'}) if __name__ == '__main__': app.run() ``` 这个接口可以接收一个 POST 请求，请求体中包含一个 JSON 对象，其中的 `name` 字段是一个字符串。返回一个 JSON 对象，其中的 `message` 字段是一个字符串，包含了问候语和 `name` 字段的值。 在前端中，你可以使用 jQuery 发送 AJAX 请求： ```javascript $.ajax({ url: '/api/hello', method: 'POST', data: JSON.stringify({name: 'World'}), contentType: 'application/json', success: function(response) { console.log(response.message); }, error: function(xhr, status, error) { console.error(error); } }); ``` 这个代码片段会向 `/api/hello` 发送一个 POST 请求，请求体中包含一个 JSON 对象 `{name: 'World'}`，并且设置请求头中的 `Content-Type` 为 `application/json`。如果请求成功，控制台会输出一个问候语和 `World`。如果请求失败，控制台会输出错误信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值