爬虫中的代理服务器

已于 2022-02-09 16:13:30 修改
阅读量2.3k 收藏 3
点赞数
文章标签： 爬虫 http 服务器
于 2022-02-09 13:21:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37837061/article/details/122838262
版权

当我们频繁爬取某个网页的时候会被服务器检测到这种异常行为，从而遇到被封ip这种可能，这时候我们就可以使用代理服务器，即使用别人的ip进行爬取

代理的常用功能

  • 突破自身访问限制，访问国外站点
  • 在外访问公司或团体内网
  • 提高访问速度：代理服务器中有一块较大的硬盘缓冲，用来提高访问速度
  • 隐藏真实ip，嘿嘿嘿

代理实例

查询自身ip

  • 第一种方法：百度查询ip
    – 在这里插入图片描述

  • 第二种方法：csdn浏览器插件查询，csdn浏览器插件自带ip查询，非常方便
    – 在这里插入图片描述
    我们以百度查询为例，来进行阐述
    在这里插入图片描述
    保留wd=ip这部分，后面的ip都是广告可以直接删除

import urllib.request

url = 'https://www.baidu.com/s?wd=ip'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36'
}

# 请求对象定制
request = urllib.request.Request(url = url, headers = headers)

# 模拟浏览器访问服务器
response = urllib.request.urlopen(request)

# 获取相应的信息
content = response.read().decode('utf-8')

# 保存
with open('daili.html', 'w', encoding= 'utf-8') as fp:
    fp.write(content)

得到的daili.html内容如下：
在这里插入图片描述
得到的是百度安全验证页面（笑哭）
解决方法如下：
在headers中添加cookies就可以了（相关连接1、相关连接2）

import urllib.request

url = 'https://www.baidu.com/s?wd=ip'

'''
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'Cookie': 'BIDUPSID=F352E19EDFD18E88A6D111AE7CB7B3A8; PSTM=1611757517; __yjs_duid=1_6cc240ffe6476ab065efda6b1be0a0641621078616582; BDUSS=JPVHdLbkFsVGRiRWdCfjAwVmgyTi1XOTFVRE1mQTJ5T3dpOEtJcmljYy1oaU5oSUFBQUFBJCQAAAAAAAAAAAEAAACTSWqlAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAD75-2A--ftgSm; BDUSS_BFESS=JPVHdLbkFsVGRiRWdCfjAwVmgyTi1XOTFVRE1mQTJ5T3dpOEtJcmljYy1oaU5oSUFBQUFBJCQAAAAAAAAAAAEAAACTSWqlAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAD75-2A--ftgSm; BDSFRCVID=5DuOJeC62uh-in5epD52bcgumdlrgK3TH6aoVtIvkPJstU3I3eVnEG0PfM8g0KubJmfpogKKKgOTHICF_2uxOjjg8UtVJeC6EG0Ptf8g0M5; H_BDCLCKID_SF=JRkH_IIhtCvbfP0k-tcH244HqxbXqMJQW2OZ0l8KtDQjeU3FK4od5q09XfRUq4rMKC-q3brmWIQHDU7b5PTF5U-tqJQPB53IbK54KKJx3pCWeIJo5DcB2hFvhUJiBh-HBan7-pvIXKohJh7FM4tW3J0ZyxomtfQxtNRJ0DnjtpChbC_6DTKKejb0eUcMetnKa55KWD8KJ6rjDCklDURcy4LdjG5f35J0-D7-Wbn92l6OSP5C0bJCqf_q3-Aq54RzaejyKxQtBKQOEUjDMTK-QfbQ0MnuqP-jW26a2J7J0b7JOpv5Dxnxyh0UQRPH-Rv92DQMVU52QqcqEIQHQT3m5-5bbN3ht6IHtnFJVIt5tDvKeJbYK4oj5KCyMfca5C6JKCOa3RA8Kb7VbI5e5fnkbfJBDlo3e4cXJCTjKIK-KJOJfJ6ghb5JyTt7yajK2h5JW6cWbpcbbUK5ODON34TpQT8rb4FOK5OibCrZWRQMab3vOpvTXpO1yftzBN5thURB2DkO-4bCWJ5TMl5jDh3Mb6ksD-FtqtJHKbDH_D0XtMK; BAIDUID=7C02F8439BAFCCDD1BCC649AEE87C0AD:FG=1; BDSFRCVID_BFESS=5DuOJeC62uh-in5epD52bcgumdlrgK3TH6aoVtIvkPJstU3I3eVnEG0PfM8g0KubJmfpogKKKgOTHICF_2uxOjjg8UtVJeC6EG0Ptf8g0M5; H_BDCLCKID_SF_BFESS=JRkH_IIhtCvbfP0k-tcH244HqxbXqMJQW2OZ0l8KtDQjeU3FK4od5q09XfRUq4rMKC-q3brmWIQHDU7b5PTF5U-tqJQPB53IbK54KKJx3pCWeIJo5DcB2hFvhUJiBh-HBan7-pvIXKohJh7FM4tW3J0ZyxomtfQxtNRJ0DnjtpChbC_6DTKKejb0eUcMetnKa55KWD8KJ6rjDCklDURcy4LdjG5f35J0-D7-Wbn92l6OSP5C0bJCqf_q3-Aq54RzaejyKxQtBKQOEUjDMTK-QfbQ0MnuqP-jW26a2J7J0b7JOpv5Dxnxyh0UQRPH-Rv92DQMVU52QqcqEIQHQT3m5-5bbN3ht6IHtnFJVIt5tDvKeJbYK4oj5KCyMfca5C6JKCOa3RA8Kb7VbI5e5fnkbfJBDlo3e4cXJCTjKIK-KJOJfJ6ghb5JyTt7yajK2h5JW6cWbpcbbUK5ODON34TpQT8rb4FOK5OibCrZWRQMab3vOpvTXpO1yftzBN5thURB2DkO-4bCWJ5TMl5jDh3Mb6ksD-FtqtJHKbDH_D0XtMK; BDRCVFR[fb3VbsUruOn]=ddONZc2bo5mfAF9pywdpAqVuNqsus; delPer=0; BD_CK_SAM=1; BAIDUID_BFESS=14ABB9F98198351F36AECB73A27BCCDC:FG=1; channel=baidusearch; BD_HOME=1; ZD_ENTRY=bing; BD_UPN=12314753; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; baikeVisitId=478366d6-46de-46d8-8708-1e881e26dc5b; ab_sr=1.0.1_NTJmMTFmYWU4YmRjZDE3ZGIyMmQ4MWI3NzlhYWY4ODM3ODRmNTk4MzNhY2NmOTFkYWQ1MTcxNWQwNTM3MjQzMGM4M2Q1MTFiNWUzNDNkYjEyZTQ2MjZiMWQ1N2QyNzhmYmUyOTRlNDE2ZTAzMDM5Y2ZiNTNiOWMwMTI4OWM5N2M3NDhhMGUyODI2ZjgwNjIyNTVlOGVkMzgzYWI2ODZhNzE1NTE0NmUwNGQ2ZTIzNzAzMDNiZDU4OGQwMGFmOTZh; PSINO=1; H_PS_PSSID=34430_35104_31660_35488_34584_35490_35318_26350_35723_22158; BDRCVFR[feWj1Vr5u3D]=mk3SLVN4HKm; H_PS_645EC=8d3chTqzQmY5UjJhkHfk8cx%2F67mzcub3Ny5hHXVm%2BPdytPVpBmaft4Khn7hKgqRg4vqu; BA_HECTOR=a02ga4ak2g21aha4ko1h06dn50r; COOKIE_SESSION=3_2_5_4_4_3_1_0_5_3_0_0_26378412_0_0_0_1643118733_1627196230_1644377829%7C9%2311047512_4_1627196228%7C3'
}
'''


headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36',
    'Cookie': 'BIDUPSID=F352E19EDFD18E88A6D111AE7CB7B3A8; PSTM=1611757517; __yjs_duid=1_6cc240ffe6476ab065efda6b1be0a0641621078616582; BDUSS=JPVHdLbkFsVGRiRWdCfjAwVmgyTi1XOTFVRE1mQTJ5T3dpOEtJcmljYy1oaU5oSUFBQUFBJCQAAAAAAAAAAAEAAACTSWqlAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAD75-2A--ftgSm; BDUSS_BFESS=JPVHdLbkFsVGRiRWdCfjAwVmgyTi1XOTFVRE1mQTJ5T3dpOEtJcmljYy1oaU5oSUFBQUFBJCQAAAAAAAAAAAEAAACTSWqlAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAD75-2A--ftgSm; BDSFRCVID=5DuOJeC62uh-in5epD52bcgumdlrgK3TH6aoVtIvkPJstU3I3eVnEG0PfM8g0KubJmfpogKKKgOTHICF_2uxOjjg8UtVJeC6EG0Ptf8g0M5; H_BDCLCKID_SF=JRkH_IIhtCvbfP0k-tcH244HqxbXqMJQW2OZ0l8KtDQjeU3FK4od5q09XfRUq4rMKC-q3brmWIQHDU7b5PTF5U-tqJQPB53IbK54KKJx3pCWeIJo5DcB2hFvhUJiBh-HBan7-pvIXKohJh7FM4tW3J0ZyxomtfQxtNRJ0DnjtpChbC_6DTKKejb0eUcMetnKa55KWD8KJ6rjDCklDURcy4LdjG5f35J0-D7-Wbn92l6OSP5C0bJCqf_q3-Aq54RzaejyKxQtBKQOEUjDMTK-QfbQ0MnuqP-jW26a2J7J0b7JOpv5Dxnxyh0UQRPH-Rv92DQMVU52QqcqEIQHQT3m5-5bbN3ht6IHtnFJVIt5tDvKeJbYK4oj5KCyMfca5C6JKCOa3RA8Kb7VbI5e5fnkbfJBDlo3e4cXJCTjKIK-KJOJfJ6ghb5JyTt7yajK2h5JW6cWbpcbbUK5ODON34TpQT8rb4FOK5OibCrZWRQMab3vOpvTXpO1yftzBN5thURB2DkO-4bCWJ5TMl5jDh3Mb6ksD-FtqtJHKbDH_D0XtMK; BAIDUID=7C02F8439BAFCCDD1BCC649AEE87C0AD:FG=1; BDSFRCVID_BFESS=5DuOJeC62uh-in5epD52bcgumdlrgK3TH6aoVtIvkPJstU3I3eVnEG0PfM8g0KubJmfpogKKKgOTHICF_2uxOjjg8UtVJeC6EG0Ptf8g0M5; H_BDCLCKID_SF_BFESS=JRkH_IIhtCvbfP0k-tcH244HqxbXqMJQW2OZ0l8KtDQjeU3FK4od5q09XfRUq4rMKC-q3brmWIQHDU7b5PTF5U-tqJQPB53IbK54KKJx3pCWeIJo5DcB2hFvhUJiBh-HBan7-pvIXKohJh7FM4tW3J0ZyxomtfQxtNRJ0DnjtpChbC_6DTKKejb0eUcMetnKa55KWD8KJ6rjDCklDURcy4LdjG5f35J0-D7-Wbn92l6OSP5C0bJCqf_q3-Aq54RzaejyKxQtBKQOEUjDMTK-QfbQ0MnuqP-jW26a2J7J0b7JOpv5Dxnxyh0UQRPH-Rv92DQMVU52QqcqEIQHQT3m5-5bbN3ht6IHtnFJVIt5tDvKeJbYK4oj5KCyMfca5C6JKCOa3RA8Kb7VbI5e5fnkbfJBDlo3e4cXJCTjKIK-KJOJfJ6ghb5JyTt7yajK2h5JW6cWbpcbbUK5ODON34TpQT8rb4FOK5OibCrZWRQMab3vOpvTXpO1yftzBN5thURB2DkO-4bCWJ5TMl5jDh3Mb6ksD-FtqtJHKbDH_D0XtMK; BDRCVFR[fb3VbsUruOn]=ddONZc2bo5mfAF9pywdpAqVuNqsus; delPer=0; BD_CK_SAM=1; BAIDUID_BFESS=14ABB9F98198351F36AECB73A27BCCDC:FG=1; channel=baidusearch; BD_HOME=1; ZD_ENTRY=bing; BD_UPN=12314753; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; baikeVisitId=478366d6-46de-46d8-8708-1e881e26dc5b; ab_sr=1.0.1_NTJmMTFmYWU4YmRjZDE3ZGIyMmQ4MWI3NzlhYWY4ODM3ODRmNTk4MzNhY2NmOTFkYWQ1MTcxNWQwNTM3MjQzMGM4M2Q1MTFiNWUzNDNkYjEyZTQ2MjZiMWQ1N2QyNzhmYmUyOTRlNDE2ZTAzMDM5Y2ZiNTNiOWMwMTI4OWM5N2M3NDhhMGUyODI2ZjgwNjIyNTVlOGVkMzgzYWI2ODZhNzE1NTE0NmUwNGQ2ZTIzNzAzMDNiZDU4OGQwMGFmOTZh; PSINO=1; H_PS_PSSID=34430_35104_31660_35488_34584_35490_35318_26350_35723_22158; BDRCVFR[feWj1Vr5u3D]=mk3SLVN4HKm; H_PS_645EC=8d3chTqzQmY5UjJhkHfk8cx%2F67mzcub3Ny5hHXVm%2BPdytPVpBmaft4Khn7hKgqRg4vqu; BA_HECTOR=a02ga4ak2g21aha4ko1h06dn50r; COOKIE_SESSION=3_2_5_4_4_3_1_0_5_3_0_0_26378412_0_0_0_1643118733_1627196230_1644377829%7C9%2311047512_4_1627196228%7C3'
}
# 请求对象定制
request = urllib.request.Request(url = url, headers = headers)

# 模拟浏览器访问服务器
response = urllib.request.urlopen(request)

# 获取相应的信息
content = response.read().decode('utf-8')

# 保存
with open('daili.html', 'w', encoding= 'utf-8') as fp:
    fp.write(content)

此时可以得到查询ip的网页源码

找到代理ip


如果免费ip不好用，也可以进行购买

用代理ip进行访问

import urllib.request

url = 'https://www.baidu.com/s?wd=ip'

'''
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'Cookie': 'BIDUPSID=F352E19EDFD18E88A6D111AE7CB7B3A8; PSTM=1611757517; __yjs_duid=1_6cc240ffe6476ab065efda6b1be0a0641621078616582; BDUSS=JPVHdLbkFsVGRiRWdCfjAwVmgyTi1XOTFVRE1mQTJ5T3dpOEtJcmljYy1oaU5oSUFBQUFBJCQAAAAAAAAAAAEAAACTSWqlAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAD75-2A--ftgSm; BDUSS_BFESS=JPVHdLbkFsVGRiRWdCfjAwVmgyTi1XOTFVRE1mQTJ5T3dpOEtJcmljYy1oaU5oSUFBQUFBJCQAAAAAAAAAAAEAAACTSWqlAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAD75-2A--ftgSm; BDSFRCVID=5DuOJeC62uh-in5epD52bcgumdlrgK3TH6aoVtIvkPJstU3I3eVnEG0PfM8g0KubJmfpogKKKgOTHICF_2uxOjjg8UtVJeC6EG0Ptf8g0M5; H_BDCLCKID_SF=JRkH_IIhtCvbfP0k-tcH244HqxbXqMJQW2OZ0l8KtDQjeU3FK4od5q09XfRUq4rMKC-q3brmWIQHDU7b5PTF5U-tqJQPB53IbK54KKJx3pCWeIJo5DcB2hFvhUJiBh-HBan7-pvIXKohJh7FM4tW3J0ZyxomtfQxtNRJ0DnjtpChbC_6DTKKejb0eUcMetnKa55KWD8KJ6rjDCklDURcy4LdjG5f35J0-D7-Wbn92l6OSP5C0bJCqf_q3-Aq54RzaejyKxQtBKQOEUjDMTK-QfbQ0MnuqP-jW26a2J7J0b7JOpv5Dxnxyh0UQRPH-Rv92DQMVU52QqcqEIQHQT3m5-5bbN3ht6IHtnFJVIt5tDvKeJbYK4oj5KCyMfca5C6JKCOa3RA8Kb7VbI5e5fnkbfJBDlo3e4cXJCTjKIK-KJOJfJ6ghb5JyTt7yajK2h5JW6cWbpcbbUK5ODON34TpQT8rb4FOK5OibCrZWRQMab3vOpvTXpO1yftzBN5thURB2DkO-4bCWJ5TMl5jDh3Mb6ksD-FtqtJHKbDH_D0XtMK; BAIDUID=7C02F8439BAFCCDD1BCC649AEE87C0AD:FG=1; BDSFRCVID_BFESS=5DuOJeC62uh-in5epD52bcgumdlrgK3TH6aoVtIvkPJstU3I3eVnEG0PfM8g0KubJmfpogKKKgOTHICF_2uxOjjg8UtVJeC6EG0Ptf8g0M5; H_BDCLCKID_SF_BFESS=JRkH_IIhtCvbfP0k-tcH244HqxbXqMJQW2OZ0l8KtDQjeU3FK4od5q09XfRUq4rMKC-q3brmWIQHDU7b5PTF5U-tqJQPB53IbK54KKJx3pCWeIJo5DcB2hFvhUJiBh-HBan7-pvIXKohJh7FM4tW3J0ZyxomtfQxtNRJ0DnjtpChbC_6DTKKejb0eUcMetnKa55KWD8KJ6rjDCklDURcy4LdjG5f35J0-D7-Wbn92l6OSP5C0bJCqf_q3-Aq54RzaejyKxQtBKQOEUjDMTK-QfbQ0MnuqP-jW26a2J7J0b7JOpv5Dxnxyh0UQRPH-Rv92DQMVU52QqcqEIQHQT3m5-5bbN3ht6IHtnFJVIt5tDvKeJbYK4oj5KCyMfca5C6JKCOa3RA8Kb7VbI5e5fnkbfJBDlo3e4cXJCTjKIK-KJOJfJ6ghb5JyTt7yajK2h5JW6cWbpcbbUK5ODON34TpQT8rb4FOK5OibCrZWRQMab3vOpvTXpO1yftzBN5thURB2DkO-4bCWJ5TMl5jDh3Mb6ksD-FtqtJHKbDH_D0XtMK; BDRCVFR[fb3VbsUruOn]=ddONZc2bo5mfAF9pywdpAqVuNqsus; delPer=0; BD_CK_SAM=1; BAIDUID_BFESS=14ABB9F98198351F36AECB73A27BCCDC:FG=1; channel=baidusearch; BD_HOME=1; ZD_ENTRY=bing; BD_UPN=12314753; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; baikeVisitId=478366d6-46de-46d8-8708-1e881e26dc5b; ab_sr=1.0.1_NTJmMTFmYWU4YmRjZDE3ZGIyMmQ4MWI3NzlhYWY4ODM3ODRmNTk4MzNhY2NmOTFkYWQ1MTcxNWQwNTM3MjQzMGM4M2Q1MTFiNWUzNDNkYjEyZTQ2MjZiMWQ1N2QyNzhmYmUyOTRlNDE2ZTAzMDM5Y2ZiNTNiOWMwMTI4OWM5N2M3NDhhMGUyODI2ZjgwNjIyNTVlOGVkMzgzYWI2ODZhNzE1NTE0NmUwNGQ2ZTIzNzAzMDNiZDU4OGQwMGFmOTZh; PSINO=1; H_PS_PSSID=34430_35104_31660_35488_34584_35490_35318_26350_35723_22158; BDRCVFR[feWj1Vr5u3D]=mk3SLVN4HKm; H_PS_645EC=8d3chTqzQmY5UjJhkHfk8cx%2F67mzcub3Ny5hHXVm%2BPdytPVpBmaft4Khn7hKgqRg4vqu; BA_HECTOR=a02ga4ak2g21aha4ko1h06dn50r; COOKIE_SESSION=3_2_5_4_4_3_1_0_5_3_0_0_26378412_0_0_0_1643118733_1627196230_1644377829%7C9%2311047512_4_1627196228%7C3'
}
'''


headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36',
    'Cookie': 'BIDUPSID=F352E19EDFD18E88A6D111AE7CB7B3A8; PSTM=1611757517; __yjs_duid=1_6cc240ffe6476ab065efda6b1be0a0641621078616582; BDUSS=JPVHdLbkFsVGRiRWdCfjAwVmgyTi1XOTFVRE1mQTJ5T3dpOEtJcmljYy1oaU5oSUFBQUFBJCQAAAAAAAAAAAEAAACTSWqlAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAD75-2A--ftgSm; BDUSS_BFESS=JPVHdLbkFsVGRiRWdCfjAwVmgyTi1XOTFVRE1mQTJ5T3dpOEtJcmljYy1oaU5oSUFBQUFBJCQAAAAAAAAAAAEAAACTSWqlAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAD75-2A--ftgSm; BDSFRCVID=5DuOJeC62uh-in5epD52bcgumdlrgK3TH6aoVtIvkPJstU3I3eVnEG0PfM8g0KubJmfpogKKKgOTHICF_2uxOjjg8UtVJeC6EG0Ptf8g0M5; H_BDCLCKID_SF=JRkH_IIhtCvbfP0k-tcH244HqxbXqMJQW2OZ0l8KtDQjeU3FK4od5q09XfRUq4rMKC-q3brmWIQHDU7b5PTF5U-tqJQPB53IbK54KKJx3pCWeIJo5DcB2hFvhUJiBh-HBan7-pvIXKohJh7FM4tW3J0ZyxomtfQxtNRJ0DnjtpChbC_6DTKKejb0eUcMetnKa55KWD8KJ6rjDCklDURcy4LdjG5f35J0-D7-Wbn92l6OSP5C0bJCqf_q3-Aq54RzaejyKxQtBKQOEUjDMTK-QfbQ0MnuqP-jW26a2J7J0b7JOpv5Dxnxyh0UQRPH-Rv92DQMVU52QqcqEIQHQT3m5-5bbN3ht6IHtnFJVIt5tDvKeJbYK4oj5KCyMfca5C6JKCOa3RA8Kb7VbI5e5fnkbfJBDlo3e4cXJCTjKIK-KJOJfJ6ghb5JyTt7yajK2h5JW6cWbpcbbUK5ODON34TpQT8rb4FOK5OibCrZWRQMab3vOpvTXpO1yftzBN5thURB2DkO-4bCWJ5TMl5jDh3Mb6ksD-FtqtJHKbDH_D0XtMK; BAIDUID=7C02F8439BAFCCDD1BCC649AEE87C0AD:FG=1; BDSFRCVID_BFESS=5DuOJeC62uh-in5epD52bcgumdlrgK3TH6aoVtIvkPJstU3I3eVnEG0PfM8g0KubJmfpogKKKgOTHICF_2uxOjjg8UtVJeC6EG0Ptf8g0M5; H_BDCLCKID_SF_BFESS=JRkH_IIhtCvbfP0k-tcH244HqxbXqMJQW2OZ0l8KtDQjeU3FK4od5q09XfRUq4rMKC-q3brmWIQHDU7b5PTF5U-tqJQPB53IbK54KKJx3pCWeIJo5DcB2hFvhUJiBh-HBan7-pvIXKohJh7FM4tW3J0ZyxomtfQxtNRJ0DnjtpChbC_6DTKKejb0eUcMetnKa55KWD8KJ6rjDCklDURcy4LdjG5f35J0-D7-Wbn92l6OSP5C0bJCqf_q3-Aq54RzaejyKxQtBKQOEUjDMTK-QfbQ0MnuqP-jW26a2J7J0b7JOpv5Dxnxyh0UQRPH-Rv92DQMVU52QqcqEIQHQT3m5-5bbN3ht6IHtnFJVIt5tDvKeJbYK4oj5KCyMfca5C6JKCOa3RA8Kb7VbI5e5fnkbfJBDlo3e4cXJCTjKIK-KJOJfJ6ghb5JyTt7yajK2h5JW6cWbpcbbUK5ODON34TpQT8rb4FOK5OibCrZWRQMab3vOpvTXpO1yftzBN5thURB2DkO-4bCWJ5TMl5jDh3Mb6ksD-FtqtJHKbDH_D0XtMK; BDRCVFR[fb3VbsUruOn]=ddONZc2bo5mfAF9pywdpAqVuNqsus; delPer=0; BD_CK_SAM=1; BAIDUID_BFESS=14ABB9F98198351F36AECB73A27BCCDC:FG=1; channel=baidusearch; BD_HOME=1; ZD_ENTRY=bing; BD_UPN=12314753; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; baikeVisitId=478366d6-46de-46d8-8708-1e881e26dc5b; ab_sr=1.0.1_NTJmMTFmYWU4YmRjZDE3ZGIyMmQ4MWI3NzlhYWY4ODM3ODRmNTk4MzNhY2NmOTFkYWQ1MTcxNWQwNTM3MjQzMGM4M2Q1MTFiNWUzNDNkYjEyZTQ2MjZiMWQ1N2QyNzhmYmUyOTRlNDE2ZTAzMDM5Y2ZiNTNiOWMwMTI4OWM5N2M3NDhhMGUyODI2ZjgwNjIyNTVlOGVkMzgzYWI2ODZhNzE1NTE0NmUwNGQ2ZTIzNzAzMDNiZDU4OGQwMGFmOTZh; PSINO=1; H_PS_PSSID=34430_35104_31660_35488_34584_35490_35318_26350_35723_22158; BDRCVFR[feWj1Vr5u3D]=mk3SLVN4HKm; H_PS_645EC=8d3chTqzQmY5UjJhkHfk8cx%2F67mzcub3Ny5hHXVm%2BPdytPVpBmaft4Khn7hKgqRg4vqu; BA_HECTOR=a02ga4ak2g21aha4ko1h06dn50r; COOKIE_SESSION=3_2_5_4_4_3_1_0_5_3_0_0_26378412_0_0_0_1643118733_1627196230_1644377829%7C9%2311047512_4_1627196228%7C3'
}
# 请求对象定制
request = urllib.request.Request(url = url, headers = headers)

# 模拟浏览器访问服务器
response = urllib.request.urlopen(request)

proxies = {
    'http':'222.78.6.2:	8083'
    # ip : 端口
}

# handler       build_opener        open
handler = urllib.request.ProxyHandler(proxies= proxies)
opener = urllib.request.build_opener(handler)
response = opener.open(request)

# 获取相应的信息
content = response.read().decode('utf-8')

# 保存
with open('daili.html', 'w', encoding= 'utf-8') as fp:
    fp.write(content)

tips

上面的代码实际上会产生错误的结果，查询ip之后的结果依旧是自身ip，而非代理ip。
产生原因是：待查询的url为https请求，而代理ip只能代理http请求
那么只需要修改url或者代理ip
相关链接
相关链接

steven~~~
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python爬虫基础（五）代理的基本原理
2303_77841383的博客
06-04 834
对于爬虫来说，由于爬虫的爬取速度过快，在爬取过程中可能遇到同一个IP访问过于频繁的问题，此时网站就会让我们输入验证码登录或直接封锁IP，所以我们就需要代理来防止发生。
python爬虫教程--代理服务器
小马哥的博客
03-12 1399
爬虫
python编写的爬虫代理ip池.zip
03-03
python编写的爬虫代理ip池.zip 运行环境 python3 和mysql数据库 下载使用 下载源码 git clone .git 或者在下载zip文件 安装依赖 pip install -i https://pypi.douban.com/simple/ -r requments.txt 创建数据库 mysql -uroot -p create database ippool charset=utf8; 配置项目 # ProxyIPPool/settings.py 基本的配置文件 # Database 使用mysql DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'ippool', # db name 'USER': 'root', # 用户名 'PASSWORD': 'password', # 密码 'HOST': 'localhost', 'PORT': 3306, } } # uwsgi.ini uwsgi.ini [uwsgi] # 监听的ip地址和端口 这里修改访问端口 http=0.0.0.0:8000 # 配置工程目录 项目所在的绝对路径 chdir=/path/to/proxy_ip_pool/ProxyIPPool/ # 配置项目的wsgi目录。相对于工程目录 wsgi-file=ProxyIPPool/wsgi.py 生成迁移文件和执行迁移文件 python manage.py makemigrations python manage.py migrate 启动 方法一 cd ProxyIPPool # 进入到manage.py这一级 python manage.py runserver # 启动后访问http://127.0.0.1:8000 方式二 # 使用uwgi 启动服务 这样可以后台启动 uwsgi --ini uwsgi.ini 可以使用方式一进行调试运行，方式二进行稳定运行 启动爬取代理ip的脚本 # 调试时运行 python run.py # 在服务器中可以运行　 nohup python -u run.py >> crawler.out 2>&1 & 注意在项目下创建存储日志的文件 /ProxyIPPool/log/log.txt API接口 请求方式GET http://{运行服务器的ip}/api/fetch/ 随机返回一个代理ip信息 http://{运行服务器的ip}/api/random/{个数}, 随机返回指定个数 首页展示的内容可以在这里IPPool/views.py中修改 # IPPool/views.py # 修改context 改变返回首页的内容 def index(requests): """ 返回到说明页 :param requests: :return: """ context = '<h3>1.访问接口http://{运行服务器的ip}/api/fetch/ 随机返回一个代理ip信息</h3> <br/>' \ '<h3>2.访问接口http://{运行服务器的ip}/api/random/{个数}, 随机返回指定个数</h3> <br/>' return HttpResponse(context)
免费代理池收集爬虫服务
最新发布
03-04
本项目使用Golang语言实现！ ## 实现功能 使用Go采集免费的代理资源为爬虫提供有效的IP代理 ## 具体功能 程序会自动爬取互联网上公开的免费代理IP、周期性验证代理IP有效性、提供http接口获取可用IP ## 启动流程 cd GoProxiesPool # 修改数据库信息 vim conf/config.yaml（自行填写） # 执行 sql 脚本，创建数据库表 source docs/db/mysql.sql # 执行以下命令启动 docker-compose -f docker-compose.yaml up -d # 执行以下命令停止 docker-compose -f docker-compose.yaml down # web 访问 http://127.0.0.1:3000 # 随机输出可用的代理 curl http://127.0.0.1:3000/all # 随机输出HTTP代理 curl http://127.0.0.1:3000/http # 随机输出HTTPS代理 curl http://127.0.0.1:3000/ht
爬虫代理池维护
10-15
自动维护的爬虫代理池，定时检测代理ip是否可用，并将可用代理存入redis数据库，使用前请安装redis数据库~
我裂开了，教给他如何搭建和使用代理服务器，他居然用来做这么不正经的事（爬虫，代理ip）
热门推荐
大家一起学编程(python)
06-28 6万+
代码是正经代码，但是程序员正不正经就不知道了。 ​ 前言 在使用爬虫对某些网站进行爬取时，为了不让网站发现我们的ip，模拟其他用户ip地址去访问网站。也就相当于间接的去访问网站，流程如图： 我们使用到代理服务器，去间接访问网络，并通过代理返回数据。而不是走直接访问这条流程。 正文阅读 第一、什么是代理服务器 代理服务器（Proxy Server）的功能是代理网络用户去取得网络信息。形象地说，它是网络信息的中转站，是个人网络和Internet服务商之间的中间代理机构，负责转发合法的网络信
Python爬虫如何设置代理服务器（搭建代理服务器教程）
luludexingfu的博客
10-19 568
本文将为您提供搭建代理服务器的详细教程，并提供示例代码，帮助您在Python爬虫中设置代理服务器，实现更高效、稳定的数据抓取。服务器，您可以提高爬取数据的效率、稳定性和匿名性，实现更高效、稳定的数据抓取。同时，选择可靠的代理服务器提供商或自行搭建代理服务器，以确保代理服务器的质量和稳定性。在示例代码中，我们使用了requests库来发送HTTP请求，并设置了代理服务器的地址和端口。然后，配置代理服务器的访问控制列表。通过以上步骤和示例代码，您可以轻松搭建代理服务器，并将其应用于Python爬虫中。
如何搭建自己的爬虫代理服务器
xiaozhang888888的博客
05-17 271
举个简单的栗子，我们可以随机更换User-Agent，轮换HTTP代理，还可以加入访问延迟，降低被目标网站屏蔽的风险。要时不时地检查它的性能和可用性，确保它一直正常工作，处理代理IP的更新，代理池的维护，以及代理服务器出故障时的处理等等。如此这般，代理服务器就能按照咱们的要求工作了。这个东西就像一个IP的管理系统，能够自动检测代理的可用性，并提供给爬虫使用。我们还有一个最最简便的方法，使用HTTP代理服务商提供的HTTP代理，高品质的HTTP代理能够为我们节约大量不必要的时间，高效助力数据采集。
【实战】Python爬虫之代理使用详解
随便写写
06-16 4183
Python爬虫中代理的使用需要注意代理IP的质量和失效率，动态切换代理IP，多线程和多进程共享代理IP，以及设置HTTP请求头信息等方面。通过这些方法有效地优化爬虫，可以实现高效地爬取目标页面数据的目的。
【python爬虫】爬虫所需要的爬虫代理ip是什么？
wq10_12的博客
09-21 2389
在进行爬虫程序开发时，经常会遇到访问被限制的网站，这时就需要使用代理 IP 来进行访问。本文将介绍代理 IP 的概念及使用方法，帮助读者更好地应对爬虫程序中的访问限制问题。同时，本文还将提供一些代理 IP 提供商，并通过一个实例演示如何使用代理 IP 来访问被限制的网站。在爬取数据的过程中，我们会遇到一些网站对爬虫有限制，比如 IP 封杀、请求频率限制等等。这些限制会导致我们无法顺利地爬取数据，从而影响我们的工作。为了解决这些限制，我们可以使用爬虫代理 IP。
多线程多进程爬虫，代理服务器
08-28
此代码用于爬虫图片
Python3爬虫关于代理池的维护详解
12-17
但是不论是免费的还是付费的，都不能保证它们每一个都是可用的，毕竟可能其他人也可能在用此 IP 爬取同样的目标站点而被封禁，或者代理服务器突然出故障或网络繁忙。一旦我们选用了一个不可用的代理，势必会影响我们...
FiddlerSetup最新版本下载，实用，用于拦截和爬虫，代理服务器
04-22
FiddlerSetup最新版本下载，实用，用于拦截和爬虫，代理服务器 FiddlerSetup最新版本下载，实用，用于拦截和爬虫，代理服务器
爬虫代理的cookie如何生成运行
12-16
我们在浏览器中输入输入关键词，会返回页面内容。这就是我们用浏览器向网站所在的服务器发送了一个请求，网站的服务器接收到这个请求后进行解析，然后把网页内容呈现出来。 有时候服务器网站会检测IP在一个时间段内...
Python爬虫小技巧：使用IP代理（一）
大模型研究中心
10-20 1738
如果你想学习Python帮助你实现自动化办公，或者准备学习Python或者正在学习，下面这些你应该能用得上，有需要可以领取。① Python所有方向的学习路线图，清楚各个方向要学什么东西② 100多节Python课程视频，涵盖必备基础、爬虫和数据分析③ 100多个Python实战案例，学习不再是只会理论④ 华为出品独家Python漫画教程，手机也能学习⑤历年互联网企业Python面试真题,复习时非常方便文末有领取方式哦。
使用爬虫代理错误问题解决方案
Laicaling的博客
08-21 841
在如今的互联网时代，网络爬虫成了许多企业的重要岗位之一。当然在数据采集中会遇到各种问题，例如限制IP，出现访问验证码等。这种时候就需要各种反爬策略和使用HTTP代理去解决问题。在爬虫用在使用代理的时候也会遇到各种问题。 爬虫代理HTTP状态码问题解决方案： 代理使用失败 让对方截图看看代理代码，代理信息是否提取配置正确。重点注意必须使用代理域名，不能是代理服务器IP。 要求对方复制demo，然后加上ua随机优化，按照所开代理的请求数，按照300毫秒为单位进行管理，运行程序后统计错误信息和http的状态码。
【0基础学爬虫】爬虫基础之代理的基本使用
K哥爬虫
03-23 1006
ip地址是一个唯一地址，它用于标识互联网或本地网络设备，而代理ip又名代理服务器（Proxy Server），它的主要作用是作为一个中间层，代替用户与目标服务器进行通信。客户端与服务端进行交互时，与抓包工具一样，客户端发起的请求会经过代理服务器，通过代理服务器进行转发，当服务端接收到请求时，获取到的ip就是代理服务器的ip地址，这样就实现了真实ip的隐藏。在爬虫程序开发中，使用代理是非常重要的。
怎么在爬虫中使用ip代理服务器，爬虫代理IP的好处有哪些？
luludexingfu的博客
10-20 394
然而，需要注意的是，使用代理IP服务器并不一定能够完全避免反爬虫措施的限制，而且代理IP服务器的稳定性和可靠性也是需要考虑的因素。使用代理IP服务器后，爬虫程序的IP地址会被隐藏，从而避免被目标网站发现，防止反爬虫措施的干扰。代理IP服务器可以实现定时任务的例功如能，。例如，一些网站会对特定地区的访问进行限制，使用代理IP服务器可以将爬虫程序的IP地址隐藏在代理服务器的IP地址之后，从而避免被发现。区的网络连接可能较慢，使用代理IP服务器可以将请求转发到网络连接较快的地区，从而提高爬虫程序的效率。
Python爬虫requests模块中如何设置代理
weixin_44540951的博客
10-29 2033
代理 （一）代理基本原理        代理实际上指的就是代理服务器， 英文叫作proxy server ，它的功能是代理网络用户去取得网络信息。形象地说， 它是网络信息的中转站。在我们正常请求一个网站时， 是发送了请求给web 服务器，web 服务器把响应传回给我们。如果设置了代理服务器， 实际上就是在本机和服务器之间搭建...
python爬虫代理服务器
05-13
使用代理服务器爬取网页可以有效避免被反爬虫策略封杀IP地址。以下是使用Python爬虫代理服务器的步骤： 1. 导入requests库和random库。 ```python import requests import random ``` 2. 定义代理服务器列表。 ```python proxies = [ 'http://1.1.1.1:1111', 'http://2.2.2.2:2222', 'http://3.3.3.3:3333', # ... ] ``` 3. 定义请求头信息。 ```python headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} ``` 4. 定义请求URL。 ```python url = 'http://www.example.com' ``` 5. 使用random库随机选择一个代理服务器，并发送请求。 ```python proxy = random.choice(proxies) response = requests.get(url, headers=headers, proxies={'http': proxy}) ``` 其中，`proxies={'http': proxy}`表示使用HTTP代理服务器，`proxy`为随机选择的代理服务器地址。 完整代码如下： ```python import requests import random proxies = [ 'http://1.1.1.1:1111', 'http://2.2.2.2:2222', 'http://3.3.3.3:3333', # ... ] headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} url = 'http://www.example.com' proxy = random.choice(proxies) response = requests.get(url, headers=headers, proxies={'http': proxy}) ``` 注意，代理服务器需要在爬虫运行之前准备好，否则会出现代理服务器不可用的情况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值