Python3爬虫简单样例

简介

最近处于一种假期什么都不想的状态，正巧最近对外交部例行记者会的内容感兴趣，于是就想写个简单的爬虫把每次发布会的内容抓取下来，说不定之后再无聊的时候能用到啊2333，顺便复习一下python的爬虫，好久没用生疏了啊。

环境

• PyCharm Community Edition 2016.3.1(PyCharm的免费版，买不起正版pycharm又不想用盗版的可以考虑一下，pyhton的IDE还是PyChram好用啊)
• Python35-32（也就是Python3）

所使用的python的库

• urllib.request(python3自带的request,因为3没有了scrapy所以就用自带的了)
• BeautifulSoup(Python中解析html文档比较好用的第三方库)

以上软件百度皆有详细的安装教程了，就不需要赘述了。
PS：在PyCharm里的File->Default Settings->Project Interpreter中可以比较方便的安装python的第三方库，在project Interpreter中选择你的python库然后点击下面的加好即可。

根据URL获取html文档

def getURL(url):
    req = urllib.request.Request(url)
    response = urllib.request.urlopen(req)
    the_page = response.read().decode("UTF-8")
    return the_page

如上5行代码即可把任意地址的网页解析成HTML文档的格式返回，如果print一下the_page就会发现，打印出来的就是该页面的源代码。
PS：response.read().decode("UTF-8")一句中根据目标网页的编码格式可以灵活变更，防止因为python的编码问题影响进一步操作。

HTML简介

既然要写爬虫