Python爬取网页内容

1.基本思路

        此下载框架由五部分组成，即：URL管理器、网页下载器、网页解析器、调度器和保存器。

        其时序图如图所示。

        

 

       给定一个要访问的url，获取这个html及内容，遍历html中的某一类链接，如a标签的href属性，从这些链接中继续访问相应的html页面，然后获取这些html的固定标签的内容，如果需要多个标签内容，可以通过字符串拼接，最后通过正则表达式删除所有的标签，最后将其中的内容写入.txt文件。

        所有要爬取的页面，它们的标签格式都是相同的，给定的url所获得的html，它包含的标签链接是可以筛选的，筛选后的标签链接会被继续请求其html文档。通过一个调度器是一个循环体，循环处理这些url、请求以及html、网页解析。

2.Beautiful Soup库

       下载引擎中网页解析的部分使用Beautiful Soup，其为python的一个库，最主要的功能是从网页抓取数据，通过解析文档为用户提供需要抓取的数据。此外Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能，为用户灵活地提供不同的解析策略或强劲的速度。

        此处我使用的BeautifulSoup(markup, “lxml”)方法承担html解释器的角色，返回一个BeautifulSoup对象，其最大优势是速度快且文档容错能力强。

        一般来说，为了找到BeautifulSoup对象内所有标签，使用find_all()方法找到所有匹配结果出现的地方，其参数为find_all(name, attrs, recursive, text, limit, **kwargs)，这里只需要传入参数标签名和属性即可，比如在代码中使用的soup.find_all('a')即为获取所有<a>标签内部的内容，然后通过get(‘href’)方法即返回得到url标签，这里即可承担URL管理器角色。

         Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。

3.代码

from bs4 import BeautifulSoup
import requests
import time
import re
count=1  #全局变量，统计下载文档的个数
def find(url):  #爬取有效数据（下载器）
    global count
    f = requests.get(url) #请求目标网站  
    #创建一个BeautifulSoup对象,对html解析（解析器）          
    soup = BeautifulSoup(f.content, "lxml")      
    #过滤js和css
    [script.extract() for script in soup.findAll('script')]
    [style.extract() for style in soup.findAll('style')]
    #网页标签正则表达式
    dr = re.compile(r'<[^>]+>',re.S)   
    #保存新闻的标题
    ti = str(soup.find('title'))+'\n' 
    all = dr.sub('',ti)  #字符串保存需要写入文件的内容
    for k in soup.find_all('div',class_='article'): #找到所有指定标签及其内容
        all +=dr.sub('',str(k)) #过滤所有标签
        #写入文件（保存器）
    with open('./中文文档/ News_'+str(count)+'_Org.txt', 'w', encoding='utf-8') as f:
        f.write(all)
        count = count+1            
if __name__ == "__main__":  #程序入口 
    for i in range(1,16):  #循环分页爬取（调度器）
        url = "http://****"+str(i)  #指定网址
        f = requests.get(url) #请求url               
        soup = BeautifulSoup(f.content, "lxml") #获取整个网页内容
        for item in soup.find_all('a'): #遍历所有链接（URL管理器）      
            url = str(item.get('href'))
            if url.find("http") < 0 : #仅保留http链接
                continue
            else:
                find(url)
                time.sleep(0.5) 
            if(count>500):
                Break