Python 使用代理IP 编写爬虫（urllib2）_urllib中ip代理爬取网页(3)

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

简历模板

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

from urllib2 import urlopen
from selenium import webdriver
from datetime import datetime
import urllib2
import CreateExcel
import SendEmail
import time
import random

class items:
“”"
定义结构体，包含所需要传送的相关信息
“”"
def init(self):
self.title = “”
self.link = “”
self.time = “”
self.summary = “” # 摘要

def get_urls():
‘’’
通过代理IP 随机时间访问减少被封的概率
通过搜狗搜索，获取指定公众号的最新链接
:return:
new_url : 指定公众号的最新链接
‘’’
# 修改query的参数即可（支持中文修改），也可以直接访问域名带data就好
# type=1 指明是搜索公众号，type=0 指明是搜索文章

# wechat : 公众号的名称
# The proxy address and port:
proxy_info = {'host': '58.54.136.23',
              'port': 9999
              }


proxy_support = urllib2.ProxyHandler({"https": "https://%(host)s:%(port)d" % proxy_info})
opener = urllib2.build_opener(proxy_support)
urllib2.install_opener(opener)

wechat = ['Linux公社','Linux爱好者','Linux开源社区','马哥Linux运维']
new_urls = []
for i in range(len(wechat)):
    url = "https://weixin.sogou.com/weixin?type=1&s_from=input&query=%s&ie=utf8&_sug_=n&_sug_type_="%(wechat[i])
    max_num = 10
    page = None
    for tries in range(max_num):
        try:
            page = urllib2.urlopen(url)
            break
        except:
            if tries < max_num-1:
                continue
            else:
                print "failed ! "
                break


    html = page.read()
    soup = BeautifulSoup(html,'lxml')
    node = soup.select('a[uigs="account_name_0"]')
    new_urls.append(node[0]['href'])

    # 随机时间去访问，不然访问太快会被封
    time.sleep(random.randint(2,4))
return new_urls

def get_content(*keys):
‘’’
拿到公众号里最新十篇文章的标题与URL，
根据指定关键字进行过滤
:return:
‘’’
urls = get_urls()
# phantomjs.exe 的绝对路径
driver= webdriver.PhantomJS(executable_path=r"D:\python\venv\Lib\site-packages\selenium\webdriver\phantomjs\phantomjs-2.1.1-windows\phantomjs-2.1.1-windows\bin\phantomjs.exe")

# content 为所有需要传送的信息集合
content = []


for url in urls:
    driver.get(url)
    html = driver.page_source

    soup = BeautifulSoup(html, 'lxml')
    titles = soup.select("h4.weui_media_title")
    for title in titles:
        # & 符号转义   & = &
        node_link = "https://mp.weixin.qq.com"+title['hrefs'].replace('&','&')
        node_summary = title.find_next('p')
        node_time = node_summary.find_next('p')
        node_title = title.text.strip()
        for key in keys:
            if node_title.find(key) != -1:  # 包含所输入的关键字
                node = items()
                node.title = node_title
                node.link = node_link
                node.summary = node_summary.text
                node.time = node_time.text
                content.append(node)
                break  # 只需包含任意一个关键字即可
    time.sleep(random.randint(2,4))


if len(content) == 0:
    print "未查询到相关信息！"
else:
    CreateExcel.create(content)
    print "文件创建成功！"

    today = datetime.now().strftime("%m-%d")
    msg_from = '1095133008@qq.com'
    passwd = 'zjvoymwngfqarqss'
    msg_to = '1095133008@qq.com'
    subject = "Linux公社网址"
    SendEmail.send_email(msg_from, passwd, msg_to, subject, "", today + '.xls')
driver.quit()

if name == ‘main’:
get_content(u’攻击’,u’漏洞’)
#get_url()

 



### 一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。



![](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)



### 二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。



![](https://img-blog.csdnimg.cn/img_convert/8c4513c1a906b72cbf93031e6781512b.png)



### 三、入门学习视频



我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。



![](https://img-blog.csdnimg.cn/afc935d834c5452090670f48eda180e0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5aqb56eD56eD,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**