爬虫MOOC 第二周入门

最新推荐文章于 2023-01-31 17:27:57 发布

Dr_David_S

最新推荐文章于 2023-01-31 17:27:57 发布

阅读量922

点赞数

分类专栏：爬虫 MOOC 文章标签： python 爬虫

本文链接：https://blog.csdn.net/qq_27469517/article/details/61203010

版权

爬虫 MOOC 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

首先下载Beautiful Soup 4，然后解压安装，记得安装代码是

python setup.py install

这里要说明一点！！！很重要，我吃了一个多小时的亏。

我把文件命名为 bs4.py

这时候如果要from bs4 import ... 的话，就是直接读取文件本身，所以千万不要乱写脚本名字。如果把脚本名字改成 test.py 就可以了。

真的烦人。

然后就可以使用了。

进入演示页面 http://python123.io/ws/demo.html

测试 bs4 安装：

from bs4 import BeautifulSoup

到这里如果没问题就搞定了。

使用方法很简单，牢记这两行代码就行了。

from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>data/p', 'html.parser') # 解析代码

=============================================================================

HTML 代码大概是

<html>
    <body>
        <p class="title"> ... </p>
    </body>
</html>

这个样的，所以 bs4 库就是解析、遍历、维护“标签树”的功能库。

其中

<p> ... </p>

是标签 tag，是成对出现的。

  <p class="title"> ... </p>

p是标签的名称，p后面那个叫属性域，包含0个或者多个属性域。class就是一种属性，属性内容是 title。

============================================================

bs4 的 HTML 解析器是 html.parser ，此外还有 lxml 和 html5lib 的解析器。

这里主要用 HTML 解析器。

这里假设已经获得了网页信息了，以下是一些命令：

# -*- coding:utf-8 -*-
from bs4 import BeautifulSoup
soup = BeautifulSoup(demo, 'html.parser') # 解析代码
print 'title: '
print soup.title # 打印 title 标签
tag = soup.a # 获取 .a 标签，也就是链接标签
print'.a tag: '
print tag  

print soup.a.name #获取 a 标签的名字
print soup.a.parent.name # a 的父标签的名字
print soup.a.parent.parent.name # a 的父标签的父标签的名字
print tag.attrs # attrs 获得标签的属性（全部）
print tag.attrs['class'] # 单独获得某个属性
print tag.attrs['href']
print type(tag.attrs) # 标签属性的类型（这里是字典）
print type(tag) # 标签本身的类型（就是 tag 类型）

print soup.a.string # a 标签的 string
print soup.p # a 标签的 string 信息 'Basic Python'
print soup.p.string # p 标签的 string 信息
print type(soup.p.string) # p 标签的 string 的类型

# tag 的 comment（注释）类型
newsoup = BeautifulSoup("<b><!--This is a comment--></b><p>This is not a comment</p>", "html.parser")
print newsoup.b.string 
print type(newsoup.b.string)
print newsoup.p.string
print type(newsoup.p.string) # 注意 b 和 p 标签字符串的类型是不同的

=======================================================================

基于 bs4 库的 html 提取方法

首先回顾 demo 的写法：

# -*- coding:utf-8 -*-
# demo
import requests
from bs4 import BeautifulSoup
r = requests.get("http://python123.io/ws/demo.html")
demo = r.text
print demo

先说子节点的用法

# 子节点  
soup = BeautifulSoup(demo, 'html.parser') # 解析代码  
print soup.head # head 标签  
print soup.head.contents # head 的子节点是 title 标签，存在了一个列表中  
print soup.body.contents # 同理，这是 body 的子节点标签  
print len(soup.body.contents) # 表示 body 的子节点的数量，这里有五个  
print soup.body.contents[1] # 这里输出的是第一个子节点  
for child in soup.body.children: # 遍历儿子节点  
    print child  
for child in soup.body.descendants # 遍历子孙节点（课上说是 children ，感觉错了）  
    print child

然后是父节点

# 父节点  
soup = BeautifulSoup(demo, 'html.parser') # 解析代码  
print soup.title.parent # title 标签的父节点  
print soup.html.parent # html 的父亲就是他自己  
print soup.parent # soup 是一个特殊标签，他的父亲是空的  
for parent in soup.a.parents: # 对 a 标签的所有先辈打印  
    if parent is None:  
        print parent # 这里要注意  
                     # 遍历的时候会遍历到 soup 本身，但是他是不存在 .name 信息的  
    else:  
        print parent.name

=============================================================================

然后平行遍历

# 平行遍历  
soup = BeautifulSoup(demo, 'html.parser') # 解析代码  
print soup.a.next_sibling # a 标签的下一个平行节点（不一定还是标签，也有可能是字符串）  
print soup.a.next_sibling.next_sibling # 再下一个平行节点  
print soup.a.prebious_sibling # a 标签之前的一个平行节点  
print soup.a.prebious_sibling.prebious_sibling # 再前一个，也许为空  
print soup.a.parent   
for sibling in soup.a.next_siblings: # 遍历后续节点  
    print sibling  
for sibling in soup.a.prebious_siblings: # 遍历前续节点  
    print sibling

然后是输出

# 输出  
  
 soup = BeautifulSoup(demo, 'html.parser') # 解析代码  
 print soup.prettify() # 带换行符，这个方法就是为文本标签内容添加换行符  
 print soup.a.prettify() # 单独打印 a 标签

总结：

到此就是BS4基本用法，接下来讲进一步用法。

==========================================================================

HTML 信息标记有三大种类：XML, JSON, YAML

先有HTML，后有XML，它通过标签形式来构建信息。

JSON：是有类型的键值对——key: value 的组合。比如 :

"name": "北京大学"

"name": ["北京大学","理学院"]

除了数字，需要双引号。

YAML：采用无类型键值对——

name:北京大学

注意没有双引号，需要的时候可以利用缩进表达从属，用 - 号表达并列。

XML：扩展性好，但是繁琐

JSON：适合 JavaScript，和XML比更简洁

YAML：文本信息比例最高，可读性好。

================================================================

===========================================================

信息提取方法：

一、完整解析信息的标记形式，然后提取关键信息，比如bs4库的标签树遍历。

二、无视标记形式，直接搜索关键信息。

三、融合方法：结合形式解析和搜索方法，提取关键信息。

from bs4 import BeautifulSoup
soup = BeautifulSoup(demo, "html.parser")
for link in soup.find_all('a'): # 查找 a 标签
    print(link.get('href')) # 得到了内容，href 是属性。

记得之前的demo，再写一遍：

# -*- coding:utf-8 -*-
# demo
import requests
r = requests.get("http:/python123.io/ws/demo.html")
demo = r.text
print demo

=====================================================

现在介绍 find_all :

# <>.find_all(name, attrs, recursive, string, **kwargs)
# name: 对标签名称的检索字符串
# attrs: 对标签属性值的检索字符串，可标注属性检索
# recursive: 对标签的子孙搜索，默认为 True
# string: <>...</> 中字符串区域的检索字符串

print soup.find_all('a'): # 查找 a 标签
print soup.find_all(['a','b']) # 找 a b 标签 
for tag in soup.find_all(True): # True 会显示所有标签信息
    print(tag.name)

import re 
for tag in soup.find_all(re.compile('b')) # 返回的所有以 b 开头的信息
    print tag.name

print soup.find_all('p','course') # 查找了带有 course 属性的 p 标签 
print soup.find_all(id = 'link1') # 属性中 id 域为 link1 的标签
print soup.find_all(id = 'link') # 属性中 id 域为 link 的标签
print soup.find_all(id = re.compile('link')) # 输出以 link 开头但是不全是 link 的信息  

print soup.find_all('a', recursive = False) # 返回这里是一个空列表，说明儿子节点上面没有 a 标签 

print soup.find_all(string = 'Basic Python') # 精确检索 Basic Python
print soup.find_all(string = re.compile("Python")) # 使用正则，把带有 python 的字符串域全部检索

以后会介绍正则库

find_all() 函数和正则结合很好用。

缩写：

<tag>(..) 等价于 <tag>.find_all(..)

soup(..) 等价于 soup.find_all(..)

=========================================================================

实战 http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html

最好大学网的2016中国最好大学排名，这里我们要试着使用爬虫爬取。

功能：

输入：大学排URL

输出：大学排名信息的屏幕输出（排名，大学，总分）

路线：requests / BS4

这个称为：定向爬虫

先打开看看源代码。我们要看看这个页面的大学排名信息是动态的还是写在源代码中的，如果是源代码中就有的，那么可以爬取。

实际上打开发现是写好了的，那么我们可以用爬虫爬取信息了。

<tr class="alt"><td>1</td>
				<td><div align="left">清华大学</div></td>
				<td>北京市</td><td>95.9</td>

然后看一看网站的robots协议。

404说明随便爬取。

# -*- coding:utf-8 -*-
# 爬取中国最好大学数据
import requests
from bs4 import BeautifulSoup
import bs4

def getHTMLText(url): # 从网络上获取大学排名网页内容
    try:
        r = requests.get(url, timeout = 30) # 限定时间 30 秒
        r.raise_for_status() # 有问题就产生异常
        r.encoding = r.apparent_encoding # 编码
        return r.text
    except:
        return "" # 否则返回空字符串

def fillUnivList(ulist, html ): # 提取网页内容中信息到合适的数据结构
# 注意这里的 "tbody"/"td"/"tr" 都是根据网页源代码来的
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find('tbody').children: # 遍历、查找在 tbody 中子标签中的 tr 标签,tr 包含大学信息
        if isinstance(tr, bs4.element.Tag): # 检测 tr 标签类型，如果不是 bs4 库定义的 tag 类型，则过滤掉
            tds = tr('td') # 把所有的 td 标签存为列表 tds
            ulist.append([tds[0].string, tds[1].string, tds[2].string]) # 把需要的 td 标签加入到 ulist

def printUnivList(ulist, num ): # 利用数据结构展示并输出结果
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    # 注意 ":" 是引导符号，"3"是填充的字符,"^" 是居中对齐符号，"10"是宽度，最前面"0"、"1"、"2"是顺序
    # chr 12288是中文空格变量
    print (tplt.format("排名", "学校名称", "总分",chr(12288))) # format 方法格式化输出
    for i in range(num):
        u = ulist[i] # 所有信息保存在 ulist 中
        print (tplt.format(u[0], u[1], u[2],chr(12288))) # 格式化输出

def main(): # 主函数
    uinfo = [] # 大学信息放在 uinfo 列表
    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
    html = getHTMLText(url)
    fillUnivList(uinfo, html)
    printUnivList(uinfo, 20) # 打印 20 所大学信息
    
main()

最后输出效果：