import requests
from bs4 import BeautifulSoup
import multiprocessing
import time
success_num=0
CONSTANT=0
def getProxyIp():
global CONSTANT
proxy = []
for i in range(1, 50):
print (i)
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'}
r = requests.get('http://www.xicidaili.com/nt/{0}'.format(i), headers=header,proxies='61.135.217.7')
html = r.text
soup = BeautifulSoup(html,'lxml')
table = soup.find('table', attrs={'id': 'ip_list'})
tr = table.find_all('tr')[1:]
# 解析得到代理ip的地址,端口,和类型
for item in tr:
tds = item.find_all('td')
print (tds[1].get_text())
temp_dict = {}
kind = tds[5].get_t
python 代码刷取CSDN阅读量
最新推荐文章于 2022-03-27 11:03:24 发布
该篇博客介绍了如何用Python脚本通过抓取代理IP,模拟浏览器访问来批量增加CSDN博客的阅读量。主要涉及requests、BeautifulSoup库以及多进程操作,代码中展示了获取代理IP、设置请求头以及处理请求的过程。
摘要由CSDN通过智能技术生成