python 通过代理抓取数据

最新推荐文章于 2024-07-30 15:18:52 发布

hotdust

最新推荐文章于 2024-07-30 15:18:52 发布

阅读量1.4k

点赞数

分类专栏： python 文章标签： python 抓取代理

本文链接：https://blog.csdn.net/hotdust/article/details/78014077

版权

python 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

前言

有一些网站和数据，是不通过代理访问不到的（不管是不是正经的 :) ）。如何用Python抓取这些数据呢？

正文

1，设置代理

因为我们的程序是在终端里执行，所以需要先设置一下：
- 设置在终端下能够使用代理
- 启用ss代理，且本地代理为socks5://127.0.0.1:1080

可以参考文章：Make the python requests work via socks proxy on CentOS server

2，安装第三方库

pip install requests
pip install lxml
pip install PySocks

3，抓取脚本


import requests
import ssl
from urllib.request import urlretrieve
import socket
import socks

def get_pic():

    # 设置代理
    socks.set_default_proxy(socks.SOCKS5, "127.0.0.1", 1080)
    socket.socket = socks.socksocket


    # 想要抓取的图片 重定向后的链接
    url = 'your-url'

    # 方法1
    ssl._create_default_https_context = ssl._create_unverified_context
    urlretrieve(url, 'my.jpg')

    # 方法2
    # session = requests.Session()
    # req = session.get(url)
    # with open('./my.jpg', 'wb') as f:
    #     f.write(req.content)
    #     f.flush()

if __name__ == '__main__':
    get_pic()