BeautifulSoup4精华笔记

---

title: BeautifulSoup4精华笔记
copyright: true
top: 0
date: 2018-03-28 12:38:16
tags: [爬虫,BeautifulSoup4,笔记总结]
categories: 爬虫笔记
permalink:
password:
keywords: [爬虫,BeautifulSoup4,笔记总结]
description: 对Bs4这个库的常用语句总结，囊括一些最基础的使用。包括find_all，select，attrs等等。

有些事你发狠你就能牛逼，大部分事你怀着希望赌上命都没用。

前言

    在爬虫中Bs4是一个非常方便的库，运用这个库可以节省大量的正则匹配代码，并且代码更加简单阅读，方便后期维护爬虫框架，这篇文章是我对Bs4常用的语句总结，记载下来防止遗忘。

代码块和常用功能

import sys
import re
from bs4 import BeautifulSoup as bs
import lxml
reload(sys)
sys.setdefaultencoding('utf-8')

bp = bs(html,‘lxml’)

输出标题

print bp.name

输出页面返回的内容体

print bp.text

输出页面的标题

print bp.title  //输出结果带有标题和内容
print bp.title.string  //只输出标签里面的内容

输出第一个匹配到的a标签

print bp.a  //输出的结果带有标签和内容
print bp.a.string  //输出的结果是a标签里面的内容

格式化输出

print bp.prettify()  //格式化输出

按照标签里面的变量(id，href)来匹配寻找元素

print bp.a.attrs  //输出的结果是字典，就是每个=号对应的字典  比如下面寻找标签里面id的值
print bp.a.attrs['id']  //这样就能得到id对应的链接

遍历文档树

print bp.p.contents  //只输出p标签的内容，不带有标签，返回对象是列表,可以在列表中选择[0]
print bp.body.children   //返回对象不是列表，返回所有标签的内容 ，记住是所有
for x in bp.body.children:print x

寻找所有的a标签

print bp.find_all('a') //寻找所有a标签，但是输出结果带有标签和内容   
bp.find_all(['a','b'])  //AB两个标签都寻找
for x in bp.find_all('a'):print x.string //寻找所有a标签，并且输出内容体
print bp.find_all('a',limit=3) //只要找到的内容的前面三个结果

配合正则表达式一起使用

for x in bp.find_all(re.compile('hea')):print x.string //和上面同理 string 换成name 都可以 这个只能匹配标签头
print bp.find_all(id='link2')
print bp.find_all(href=re.compile('till'))
print bp.find_all(id='link1',href=re.compile('el'))

按照标签里不同的条件来匹配

print bp.find_all('a',class_='sister') //a标签里面，并且class=sister
print bp.find_all(attrs={'id':'link3'}) //寻找内容提里面有id=link3
print bp.find_all(text=re.compile('D'))  //text是在内容寻找，不能在标签里寻找

Select 用法 返回对象是列表

寻找所有a标签的内容

print bp.select('a')

类名 class=‘sister’ 其中sister就是类名

print bp.select('.sister')

按照id名称来查找

print bp.select('#link2') //id=link2

组合在一起查找 中间空格分开

print bp.select('p #link2')  //p标签里面id=link2,只输出标签里面的内容

直接用子标签查找

print bp.select('head > title') //head标签里面的title标签里面的内容
for x in bp.select('a'):print x.get_text()

报错

出现红色的：

Some characters could not be decoded, and were replaced with REPLACEMENT CHARACTER.

在极少数情况下（通常当UTF-8文档包含以完全不同的编码编写的文本时），获取Unicode的唯一方法是使用特殊的Unicode字符“REPLACEMENT CHARACTER”（U + FFFD）替换某些字符。 如果是Unicode，Dammit需要这样做，它将在UnicodeDammit或BeautifulSoup对象上将.contains_replacement_characters属性设置为True。 这让您知道Unicode表示不是原始的精确表示 - 一些数据丢失。 如果文档包含 ，但是.contains_replacement_characters为False，那么您将知道 原来是存在的，并且不代表缺少的数据。

解决：

soup=BeautifulSoup(urllib.request.urlopen(url_path),""html.parser",from_encoding="iso-8859-1")

结语

    在爬虫体系里面匹配元素不可能只局限于某个模块，多个模块功能配合在一起才能达到最简便的目的。所以关于正则，bs4，pyquery，xpath这几个库的功能都要熟记于心，才能达到信手拈来的境界。

欢迎关注公众号：【安全研发】获取更多相关工具，课程，资料分享哦~