python使用HTTP做数据抓取

Python可以使用内置的urllib和第三方库requests来进行HTTP数据抓取。

使用urllib进行HTTP数据抓取的示例代码:

```python

import urllib.request

url = 'Example Domain'

response = urllib.request.urlopen(url)

html = response.read()

print(html)

```

使用requests进行HTTP数据抓取的示例代码:

```python

import requests

url = 'Example Domain'

response = requests.get(url)

html = response.text

print(html)

```

需要注意的是,进行HTTP数据抓取时需要注意网站的robots.txt文件,遵守网站的爬虫规则,以免触犯法律或被封禁IP。另外,一些网站可能会对爬虫进行反爬虫处理,需要使用一些技巧来绕过反爬虫机制。

#! -*- encoding:utf-8 -*-

    import requests

    # 要访问的目标页面
    targetUrl = "http://ip.hahado.cn/ip"

    # 代理服务器
    proxyHost = "ip.hahado.cn"
    proxyPort = "39010"

    # 代理隧道验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }

    resp = requests.get(targetUrl, proxies=proxies)

    print resp.status_code
    print resp.text
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值