如何设置User-Agent来模拟浏览器？

最新推荐文章于 2025-04-17 15:22:20 发布

数据小小爬虫

最新推荐文章于 2025-04-17 15:22:20 发布

阅读量1.4k

点赞数 3

分类专栏： API 文章标签：开发语言爬虫

本文链接：https://blog.csdn.net/2401_87849163/article/details/144231129

版权

API 专栏收录该内容

61 篇文章

订阅专栏

设置User-Agent来模拟浏览器是一个常见的反反爬虫策略。User-Agent是一个请求头字段，用于告诉服务器你的请求是由哪种类型的客户端发起的。通过设置User-Agent，你可以让服务器认为你的请求是由一个真实的浏览器发出的，而不是一个爬虫程序。

以下是如何在不同的编程语言和库中设置User-Agent的方法：

1. Python + requests库

在Python中使用requests库时，可以通过在请求头中添加User-Agent字段来模拟浏览器：

import requests

url = 'http://example.com'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}

response = requests.get(url, headers=headers)
print(response.text)

2. Python + Selenium库

如果你使用Selenium来模拟浏览器行为，可以在启动浏览器时设置User-Agent：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3")

driver = webdriver.Chrome(options=chrome_options)
driver.get('http://example.com')

3. PHP + cURL

在PHP中使用cURL时，可以通过CURLOPT_USERAGENT选项来设置User-Agent：

<?php
$url = 'http://example.com';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3');
$response = curl_exec($ch);
curl_close($ch);

echo $response;
?>

4. JavaScript + Fetch API

在JavaScript中使用Fetch API时，可以在请求头中添加User-Agent：

fetch('http://example.com', {
    headers: {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
    }
})
.then(response => response.text())
.then(text => console.log(text))
.catch(error => console.error('Error:', error));

选择合适的User-Agent字符串

User-Agent字符串应该反映你想要模拟的浏览器类型和版本。你可以从浏览器的开发者工具中获取当前浏览器的User-Agent字符串，或者使用一些常见的User-Agent字符串，如：

Chrome: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3
Firefox: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:67.0) Gecko/20100101 Firefox/67.0
Safari: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.1.1 Safari/605.1.15