Python3.6 写网络爬虫爬取腾讯新闻内容

最近学了一段时间的Python，想写个爬虫，去网上找了找，然后参考了一下自己写了一个爬取给定页面的爬虫。

Python的第三方库特别强大，提供了两个比较强大的库，一个requests, 另外一个BeautifulSoup，这两个库目前只是会用，其他的还不太了解，网上给了一个BeautifulSoup文档的链接，特别方便，不会的直接查(中文版的)，还有一个关于requests的。

在使用这些第三方库之前要导入

 

import requests
from bs4 import BeautifulSoup

 

 

 

写这个爬虫首先要获得该网页的html代码，然后用BeautifulSoup库进行解析，然后再分析一下腾讯新闻的html结构

这个是获取网页的html，为了方便使用，将它封装成一个函数

 

def getHTMLText(url):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status()
        #r.encoding = 'utf-8'
        return r.text