scrapy 伪装代理和fake_userAgent的使用

伪装浏览器代理 在爬取网页是有些服务器对请求过滤的不是很高可以不用ip来伪装请求直接将自己的浏览器信息给伪装也是可以的。

第一中方法:

1.在setting.py文件中加入以下内容,这是一些浏览器的头信息

USER_AGENT_LIST = ['zspider/0.9-dev http://feedback.redkolibri.com/',
                    'Xaldon_WebSpider/2.0.b1',
                    'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) Speedy Spider (http://www.entireweb.com/about/search_tech/speedy_spider/)',
                    'Mozilla/5.0 (compatible; Speedy Spider; http://www.entireweb.com/about/search_tech/speedy_spider/)',
                    'Speedy Spider (Entireweb; Beta/1.3; http://www.entireweb.com/about/search_tech/speedyspider/)',
                    'Speedy Spider (Entireweb; Beta/1.2; http://www.entireweb.com/about/search_tech/speedyspider/)',
                    'Speedy Spider (Entireweb; Beta/1.1; http://www.entireweb.com/about/search_tech/speedyspider/)',
                    'Speedy Spider (Entireweb; Beta/1.0; http://www.entireweb.com/about/search_tech/speedyspider/)',
                    'Speedy Spider (Beta/1.0; www.entireweb.com)',
                    'Speedy Spider (http://www.entireweb.com/about/search_tech/speedy_spider/)',
                    'Speedy Spider (http://www.entireweb.com/about/search_tech/speedyspider/)',
                    'Speedy Spider (http://www.entireweb.com)',
                    'Sosospider+(+http://help.soso.com/webspider.htm)',
                    'sogou spider',
                    'Nusearch Spider (www.nusearch.com)',
                    'nuSearch Spider (compatible; MSIE 4.01; Windows NT)',
                    'lmspider (lmspider@scansoft.com)',
                    'lmspider lmspider@scansoft.com',
                    'ldspider (http://code.google.com/p/ldspider/wiki/Robots)',
                    'iaskspider/2.0(+http://iask.com/help/help_index.html)',
                    'iaskspider',
                    'hl_ftien_spider_v1.1',
                    'hl_ftien_spider',
                    'FyberSpider (+http://www.fybersearch.com/fyberspider.php)',
                    'FyberSpider',
                    'everyfeed-spider/2.0 (http://www.everyfeed.com)',
                    'envolk[ITS]spider/1.6 (+http://www.envolk.com/envolkspider.html)',
                    'envolk[ITS]spider/1.6 ( http://www.envolk.com/envolkspider.html)',
                    'Baiduspider+(+http://www.baidu.com/search/spider_jp.html)',
                    'Baiduspider+(+http://www.baidu.com/search/spider.htm)',
                    'BaiDuSpider',
                    'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0) AddSugarSpiderBot www.idealobserver.com',
                   ]

2.在spider同级目录下建立一个MidWare文件价里面写一个HeaderMidWare.py文件 内容为
复制代码
 1 # encoding: utf-8
 2 from scrapy.utils.project import get_project_settings
 3 import random
 4 
 5 settings = get_project_settings()
 6 
 7 class ProcessHeaderMidware():
 8     """process request add request info"""
 9 
10     def process_request(self, request, spider):
11         """
12         随机从列表中获得header, 并传给user_agent进行使用
13         """
14         ua = random.choice(settings.get('USER_AGENT_LIST'))  
15         spider.logger.info(msg='now entring download midware')
16         if ua:
17             request.headers['User-Agent'] = ua
18             # Add desired logging message here.
19             spider.logger.info(u'User-Agent is : {} {}'.format(request.headers.get('User-Agent'), request))
20         pass
复制代码

 3.在setting.py文件中添加

DOWNLOADER_MIDDLEWARES = {
'projectName.MidWare.HeaderMidWare.ProcessHeaderMidware': 543,
}
第二种方法:fake_userAgent的使用
fake_userAgent是github上的开源项目
1.安装fake_userAgent
pip install fake-useragent
2.在spider同级目录下建立一个MidWare文件价里面写一个user_agent_middlewares.py文件内容为
复制代码
 1 # -*- coding: utf-8 -*-
 2 from fake_useragent import UserAgent
 3 
 4 class RandomUserAgentMiddlware(object):
 5     #随机跟换user-agent
 6     def __init__(self,crawler):
 7         super(RandomUserAgentMiddlware,self).__init__()
 8         self.ua = UserAgent()
 9         self.ua_type = crawler.settings.get('RANDOM_UA_TYPE','random')#从setting文件中读取RANDOM_UA_TYPE值
10 
11     @classmethod
12     def from_crawler(cls,crawler):
13         return cls(crawler)
14 
15     def process_request(self,request,spider):  ###系统电泳函数
16         def get_ua():
17             return getattr(self.ua,self.ua_type)
18         # user_agent_random=get_ua()
19         request.headers.setdefault('User_Agent',get_ua())
20         pass
复制代码

3.在setting.py中添加

 

 RANDOM_UA_TYPE = 'random'##random    chrome

  DOWNLOADER_MIDDLEWARES = {

  'projectName.MidWare.user_agent_middlewares.RandomUserAgentMiddlware': 543, 

    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware':None,

}

 

 

fake_userAgent伪装代理就配置好了,与第一种方法相比不用写一大串的浏览器头,那些浏览器头会在

https://fake-useragent.herokuapp.com/browsers/0.1.7 中得到。

 

 

在第一次启用fake_userAgent的时候会有一些错,我认为是项目请求网络时需要缓存一些内容而导致的。

 

github地址:https://github.com/sea1234/fake-useragent

转载于:https://www.cnblogs.com/yunlongaimeng/p/11593202.html

使用更真实的User-Agent字符串和适当的代理服务来爬取网站时,你可以采取以下步骤: 1. **User-Agent字符串**: - **真实User-Agent**: 记住,大部分网站期望看到的是来自常规用户的浏览器请求。你可以使用`fake_useragent`库生成随机的浏览器标识符,如Mozilla Firefox, Google Chrome等。安装方法如下: ``` pip install fake-useragent ``` - **自定义User-Agent**:如果你知道目标网站喜欢哪种类型的User-Agent,也可以直接指定一个合理的字符串。例如:`'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'` - **轮换User-Agent**:为了避免被识别出是机器人,可以在爬取过程中周期性地更换User-Agent,保持多样性。 2. **代理服务**: - **购买代理**:你可以从第三方提供商那里购买代理IP地址,确保它们的真实性并且能有效绕过地理限制。一些常用的服务有ProxyMesh、Luminati等。 - **免费代理**:虽然有些免费代理不可靠,但也有一些公开可用的高质量代理列表,如FreeProxyList或HideMyAss!的免费部分。但请注意,免费代理的稳定性和服务质量可能会波动。 - **动态代理池**:Python库如`scrapy-splash`或`requests-html`有时支持动态代理池,可以在请求之间自动切换,增加伪装效果。 在设置代理时,通常在发送HTTP请求之前将代理设置为你的请求工具(如requests库)的参数。例如: ```python import requests proxies = { 'http': 'http://your_proxy_url:port', 'https': 'https://your_proxy_url:port' } response = requests.get('http://example.com', proxies=proxies, headers={'User-Agent': 'YourRealUserAgent'}) ``` 记得遵守网站的robots.txt文件规定以及尊重网站隐私政策,合理使用代理服务。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值