看到一篇文章刷CSDN博客访问量,目前没有环境实现,抽空可以去跑跑看或者改为其他方式实现

# coding: utf-8
__author__ = 'zzg'

import requests
from bs4 import BeautifulSoup
import multiprocessing
import time

def getProxyIp():
    proxy = []
    for i in range(1,12):
        print i
        header= {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) '
                                               'AppleWebKit/537.36 (KHTML, like Gecko) '
                                               'Ubuntu Chromium/44.0.2403.89 '
                                               'Chrome/44.0.2403.89 '
                                               'Safari/537.36'}
        r = requests.get('http://www.xicidaili.com/nt/{0}'.format(i),headers= header)

        html = r.text
        soup = BeautifulSoup(html)
        table = soup.find('table', attrs={'id': 'ip_list'})
        tr = table.find_all('tr')[1:]
        #解析得到代理ip的地址,端口,和类型
        for item in tr:
            tds =  item.find_all('td')
            temp_dict = {}
            kind = tds[6].get_text().lower()
            if 'http' in kind:
                temp_dict['http'] = "http://{0}:{1}".format(tds[2].get_text(), tds[3].get_text())
            if 'https' in kind:
                temp_dict['https'] = "https://{0}:{1}".format(tds[2].get_text(), tds[3].get_text())

            proxy.append(temp_dict)
    return proxy

def brash(proxy_dict):
    header= {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) '
                                           'AppleWebKit/537.36 (KHTML, like Gecko) '
                                           'Ubuntu Chromium/44.0.2403.89 '
                                           'Chrome/44.0.2403.89 '
                                           'Safari/537.36'}
    try:
        r=requests.get("http://blog.csdn.net/zzg_550413470/article/details/49500151", headers=header,proxies=proxy_dict,timeout=1)
    except Exception, e:
        print "failed"
    else:
        print "successful"
    time.sleep(0.5)
    return None

if __name__ == '__main__':
    i = 0
    t = 0
    final = input() # 输入数字代表要获取多少次代理ip
    while t< final:
        t += 1
        proxies = getProxyIp() # 获取代理ip网站上的前12页的ip
        # 为了爬取的代理ip不浪费循环5次使得第一次的不能访问的ip尽可能利用
        for i in range(5):
            i += 1
            # 多进程代码开了32个进程
            pool = multiprocessing.Pool(processes=32)
            results = []
            for i in range(len(proxies)):
                results.append(pool.apply_async(brash,(proxies[i],)))
            for i in range(len(proxies)):
                results[i].get()
            pool.close()
            pool.join()
        i = 0


原文链接


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值