爬取并执行本篇CSDN博客的代码

Catalog

爬取并执行【被爬取的代码】

import requests, re
url = 'https://blog.csdn.net/Yellow_python/article/details/81251877'
header = {'User-Agent': 'Opera/8.0 (Windows NT 5.1; U; en)'}
r = requests.get(url, headers=header)
func = re.findall('<pre><code>([\s\S]+?)</code></pre>', r.text)[0].strip()
exec(func)
proxies = get_proxies()
for proxy in proxies:
    print(proxy)

被爬取的代码

def get_proxies():
    url = 'http://www.xicidaili.com/nn/'  # 国内高匿代理IP
    header = {'User-Agent': 'Opera/8.0 (Windows NT 5.1; U; en)'}
    r = requests.get(url, headers=header).text
    pt = '\Wtd\W([0-9.]{7,15})\W/td\W\s+\Wtd\W(\d+)\W/td\W\s+\Wtd\W[\s\S]+?\W/td\W\s+\Wtd class="country"\W高匿\W/td\W\s+\Wtd\W(.+?)\W/td\W'
    ls = re.findall(pt, r)
    print(ls)
    return [{i[2].lower(): i[0] + ':' + i[1]} for i in ls]

基础补充

1、exec和eval函数

exec
执行字符串形式的代码
返回None
eval
执行字符串形式的表达式
返回执行结果
In [1]: eval('a+1',{'a':2})
Out[1]: 3

In [2]: exec('print(100)')
100

2、requests模块

3、爬取本篇CSDN博客内容

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值