python爬虫爬取网站文章,python爬虫入门初级实践之爬取网站文章及阅读量-基于BeautifulSoup...

1.目标

爬虫实现的目标：

输入：测试窝主页链接

输出：爬取该网站所有页面的测试相关前言资讯和技术文章的

文章链接、标题及阅读量、点赞数，发表日期

2.爬虫Beautifulsoup4使用总结

Beautifulsoup预备知识

Beautifulsoup4官方文档如下，点击可以进行系统地学习了解：Beautiful Soup 4.4.0 文档。

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。

Beautifulsoup安装

使用pip3安装，在命令窗口中的安装命令分别如下：

pip3 install beautifulsoup4

然后需要安装解析器 lxml,如果不安装lxml则会报错，可以用html.parser或者html5lib替代

pip3 install lxml

创建 BeautifulSoup 对象

首先必须要导入 bs4 库

from bs4 import BeautifulSoup

soup = BeautifulSoup(r.text, "lxml") #使用BeautifulSoup解析这段代码

BeautifulSoup 解析器

BeautifulSoup是解析、遍历、维护“标签树”的功能库

解析器对比.png

BeautifulSoup类的基本元素

image.png

BeautifulSoup的遍历功能

遍历分为上行遍历、下行遍历、平行遍历三种。

image.png

BeautifulSoup正则表达式

正则表达式，又称规则表达式。正则表通常被用来检索、替换那些符合某个模式(规则)的文本。

soup.find_all(name='a',attrs={"href":re.compile(r'^http:')})

这里name来制定标签的名字，attrs来设置标签的一些参数设置，这里只拿出了href属性，并且使用re.compile(r'^http:')来对href字符串进行匹配，只有匹配成功的才能被检索。

其他

技术组合路线：requests+bs4

优点：简单易上手,另外对于简单的网页，正则表达式能够很好的工作，但是当网页稍微复杂，网页元素很多时，正则表达式工作起来可能很麻烦。这个时候如果利用BeautifulSoup这个库会得到意想不到的效果。

缺点：仅对输入URL进行爬取，不扩展爬取，另外一个缺点就是慢、慢、慢

3.简单的爬虫实践

3.1分析网站的结构

使用更加高效的工具——开发者工具(Developer tools)来进行分析。通常来说任何一个浏览器都有开发者工具，这里我们以Chrome为例。

Mac端在打开网页之后按下option+command+I或者点击选择

获取元素标签.png

可以看到，只要我们鼠标移到对应的标签上，chrome就会帮我们把标签里面包含的网页内容高亮出来。所以我们要的链接和标题就存储在

和 中，只要把这样的标签都提取出来，即可获得链接和标题。

3.2 爬取网页内容

首先我们把我们需要的内容转换到Beautiful soup中。

import requests

import json

from bs4 import BeautifulSoup

import sys

import importlib

import time

import re

headers = {'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}

link = "http://www.cnblogs.com/puresoul/default.html?page="

r = requests.get(link,headers=headers)

soup = BeautifulSoup(r.text, "lxml")

#使用BeautifulSoup解析这段代码

#day_list= soup.find_all("div",class_="day")

print(soup)

3.3 进行内容筛选，清洗，归类

下一步则要拿到具体我们想要的信息：标题和链接

网页分析的结果显示标题和链接都在网页中class为postTitle2的div标签中的a标签中。

所以编写如下：

title_list = soup.find_all("a", class_="postTitle2")

这里拿到了当前页面的所有标题和链接信息，相当于一个列表内容，但是内容并没有进行分类，也没有拿到所有页面的信息,所以这里写了个遍历，并对列表元素进行拆分获取归类如下：

def get_page(url,data=None):

r = requests.get(url,headers=headers)

soup = BeautifulSoup(r.text, "lxml") #使用BeautifulSoup解析这段代码

#day_list= soup.find_all("div",class_="day")

#print(day_list)

title_list = soup.find_all("div", class_="span12")

#print(title_list)

amount_read = soup.find_all("div",class_="meta")

#print(amount_read)

#counts=soup.find_all(text=re.compile("\d人阅读"))

#print(counts)

#print(amount_read)

#print(title_list)

#for title in title_list[0:20]:

#print(title.text.strip())

if data==None:

i=0;

for title,amount in zip(title_list,amount_read):

data = {

#'day':day.get(''),

'标题': title.text.strip(),

'阅读量':int(amount.contents[2].replace("\r\n\t\t\t\t\t\t\t","").replace("人阅读","").replace(" ","")),

'点赞数':int(amount.contents[4].replace("\r\n\t\t\t\t\t\t","").replace("人点赞","")),

'发表时间':amount.contents[0].replace("\r\n\t\t\t\t\t\t\t",""),

'链接': link + title.h3.a.get('href'),

}

i=i+1

print(i,json.dumps(data,indent=1,ensure_ascii=False))

#print('文章总数:',i)

另外为了拿到所有页面的信息，这里定义了一个多页函数

def get_more_pages(start,end):

for num in range(start,end):

get_page(link+str(num))

time.sleep(2)

get_more_pages(1,20)

如此一来，基本上就已经将该博客的所有文章链接，标题，阅读量爬出来了。

贺满的博客园.png

测试窝.png

通过JSON转换格式得到.png

下载到本地.png

参考