续上,Python 爬虫在 fiddler 中调用本地 JS 代码文件

⛳️ 实战场景

在前一篇博客 Python 爬虫,JS 逆向之 webpack 打包站点原理与实战 中我们再次理解了一下 webpack 相关信息,本篇博客我们在为大家说明一下。

如何通过 fiddler 替换目标站点的 JS 为本地版本

换句话描述其场景是,让目标站点某些 JS 文件访问本地修改版。

正式开始前,你需要先准备一个 fiddler。

然后测试站点是: https://webpack.github.io/example-app/ ,该网站只有一个 JS 文件,代码如下。

<html>  <head>    <script      type="text/javascript"      charset="utf-8"      src="assets/main.js"    ></script>  </head>
  <body></body></html>

复制代码

接下来,我们就进行一下更换。

⛳️ JS 文件本地化体验

保存目标站点的 main.js 文件到本地,然后在代码文件中添加一行,然后将文件保存到本地任意位置,例如 D:\b_js\main.js

</

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Python可以使用Fiddler作为代理来进行爬虫,具体步骤如下: 1. 安装Fiddler,并启动它。 2. 在Fiddler设置代理端口号,例如设置为8888。 3. 在Python使用requests库发送请求时,设置代理为Fiddler的代理地址和端口号,例如: ``` import requests proxies = { "http": "http://127.0.0.1:8888", "https": "http://127.0.0.1:8888", } response = requests.get(url, proxies=proxies) ``` 4. 在Fiddler可以查看到Python发送的请求和接收的响应,方便进行爬取和调试。 需要注意的是,使用Fiddler进行爬虫需要遵守网站的爬虫规则和法律法规,不得进行恶意爬取和侵犯他人隐私等行为。 ### 回答2: Fiddler是一款免费的网络调试工具,常用于HTTP/HTTPS的请求和响应的捕获以及分析。本篇文章将为大家分享如何使用Python编写一个Fiddler爬虫,让爬虫更加稳定、高效。 首先,我们需要对Fiddler的抓包原理进行简单说明。从Fiddler上抓包,可以看到网页请求与响应的细节信息,比如请求头、请求体、响应头、响应体等,这些数据都是我们需要进行分析和提取的。接下来,我们将结合Python编写一个简单的Fiddler爬虫,该爬虫能够模拟请求和响应,存储抓取到的数据并进行数据分析。 编写Python脚本的步骤如下: 1. 安装Python第三方库win32com.client, httplib2, BeautifulSoup等。 ```python pip install win32com.client pip install httplib2 pip install beautifulsoup4 ``` 2. 引入所需库。 ```python import win32com.client import httplib2 from bs4 import BeautifulSoup ``` 3. 新建一个浏览器对象,并启用Fiddler代理。 ```python ie = win32com.client.Dispatch("InternetExplorer.Application") ie.Visible = 1 ie.Proxy = "127.0.0.1:8888" ``` 4. 编写HTTP请求,并使用Fiddler代理访问目标网站。 ```python http = httplib2.Http(".cache") url = "http://www.example.com" response, content = http.request(url, "GET") ie.Navigate(url) ``` 5. 抓取请求和响应信息,并进行数据的筛选与存储。 ```python soup = BeautifulSoup(content, 'html.parser') info = soup.find_all(class_='info') for i in info: print(i.text) ``` 6. 关闭IE浏览器对象。 ```python ie.Quit() ``` 以上是Python编写Fiddler爬虫的基本流程,通过以上步骤,就可以实现一个简单、高效、可靠的Fiddler爬虫,抓取所需数据,并进行数据分析处理。需要注意的是,程序运行时需要打开Fiddler代理,以监控HTTP/HTTPS的请求和响应。通过以上方法,相信读者可以轻松掌握如何使用Python编写Fiddler爬虫。 ### 回答3: Fiddler是一种流行的网络调试工具,可以使用它来抓取网络请求和响应,也可以用来编写爬虫Python是一种广泛使用的编程语言,与Fiddler配合使用,可以轻松地编写高效的爬虫程序。下面是使用PythonFiddler爬虫的详细步骤: 1. 安装Fiddler Fiddler是一个可以在Windows上运行的免费软件,可以从官方网站下载最新版本并进行安装。安装完毕后,打开Fiddler并启动代理服务器。 2. 设置Fiddler代理 代理服务器是Fiddler的核心功能,它可以拦截和修改客户端和服务器之间的所有网络请求和响应。在启动Fiddler后,需要将Fiddler代理服务器的地址和端口设置为默认的127.0.0.1:8888,以确保它能够正常工作。 3. 编写Python脚本 Python是一种功能强大的编程语言,自带了丰富的网络编程库。可以使用Python编写Fiddler爬虫脚本,从Fiddler抓取数据并进行分析和处理。 下面是一个示例脚本: ```python import requests import json # 使用Fiddler代理访问目标网站 proxies = { "http": "http://127.0.0.1:8888", "https": "https://127.0.0.1:8888" } # 发送请求并获取响应 response = requests.get("http://example.com", proxies=proxies) # 解析响应内容 content = json.loads(response.text) # 输出结果 print(content) ``` 请注意,在使用Fiddler代理服务器时,需要将请求发送到localhost的地址,并通过代理进行转发。此外,还需要从Fiddler获取响应内容,并进行适当的解析和处理。 4. 调试和优化 在实际使用,需要不断调试和优化Python脚本,以满足不同的爬取需求。可以通过Fiddler抓取网络请求和响应,并使用Python分析和处理这些数据,以获得更好的爬取效果。 总结 使用Python编写Fiddler爬虫是一种有效的数据获取方式,可以轻松地抓取网络请求和响应,并进行分析和处理。需要注意的是,需要理解Fiddler代理服务器的原理,并掌握Python的网络编程技巧,以确保脚本能够正常工作。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值