Python爬虫入门Day0：打开一个网页(优雅)【urllib||BeautifulSoap简介】

自学笔记，如有记录不周，欢迎指正

0 从互联网的实现开始

        Pony有一台网络服务器，Jack的一个台式计算机打算连接Pony的服务器，下面的过程将会发生：

        Jack的台式机发送一串01组成的比特值，这些比特值构成了一种信息，包括请求头和消息体，请求头包括当前Jack的本地MAC地址和Pony的IP地址，消息体包含前者对后者的服务器应用请求。

        Jack的本地路由器收到这串要发送的01比特值，将他们理解成为一个数据包(packet)，本地路由器对数据包加盖上自己的IP地址等待发送出去。

        Jack的数据包穿过层层协议，游历一个或多个中介服务器，沿着正确的物理电路前进，直到Pony的服务器。

        Pony的服务器收到数据包之后，读取数据包请求的目标端口，然后将传输到对应的网络服务器应用上。

        网络服务器应用从服务器处理器收到一串数据，包括：

                这是一个GET请求

                请求文件index.html

        网络服务器应用找到对应的html文件，将其打包成一个新的数据包，以同样的传输过程回传给Jack，这样就实现了互联网的过程。

        更详细的解释请参考《计算机网络》(谢希仁 著)

1  urlopen打开获取网络对象

        下面开始使用python获取网页信息，首先需要引入urllib库的request模块，关于urllib库的详细信息可以查阅python3提供的官方文档(urllib — URL handling modules — Python 3.10.4 documentation)，编写如下代码就可以获取并打印目标url网页的全部html代码

url = 'http://www.jd.com'

def test_urlopen():
    html = urlopen(url)
print(html.read())

2  初见BeautifulSoap

        有了全部的html代码，我们就要对其代码进行解析，以获取我们需要的信息，BeautifulSoap是我们常用的一种解析html代码的外部库，首先，应导入bs4库。

pip3 install beautifulsoap4

        首先，测试一下BeautifulSoap库中最常用的BeautifulSoap对象，将上文中代码改成如下形式运行试试看：

def test_bs4():
    html = urlopen(url)
    bsobj = BeautifulSoup(html.read())
    print(bsobj.h1)

        运行结果略过，此处仅仅初步展现BeautifulSoap的功能，后面章节中还会展现其更强大的功能。

3  完善代码细节，使运行过程优雅流畅

        在开发过程中，无论项目管理者还是用户都不希望看见难以理解的报错消息。因此在程序设计过程中应当提供完善顺滑的人机交互，使这些错误发生时，提供给用户一个可接受的提示信息(可能是一个对话框或者一个提示音)，而不是返回报错信息甚至通过系统死机告诉用户程序出错了。对于上述代码，分析其可能出错的情况；

3.1urllib.urlopen()函数可能出现两种不符合预期的情况：

        第一，url路径是一个不可解析的网站地址，在这种情况下，该请求数据包不能通过本文章节0的互联网数据请求过程请求数据并接受返回数据包。因此可能报错。

        第二，url可能是一个空网页(也就是经常出现的404 Not Found)，这样无法通过打印html信息来查看是否访问成功。

        因此对urlopen()测试的代码可以进一步完善：

def test_url_connection():
    try:
        html = urlopen(url)
    except Exception as e:
        print(e)
        return
    if html is None:
        print("URL NOT FOUND")
        return
    return html.read()

3.2 BeautifulSoap的故障排查

        当我们对BeautifulSoap对象进行访问时，若访问该对象中不存在的标签，将会返回None。若进一步访问该不存在标签下的子标签，就会报错。如果不加以控制，程序运行中会报错并死机。鉴于此，我们对BeautifulSoap测试代码改进如下：

def test_beautifulsoap():
    html = test_url_connection()
    bsobj = BeautifulSoup(html.read())
    print(bsobj.NONEXISTTAG)
    # print(bsobj.NONEXISTTAG.SUBTAG)
    try:
        bad_content = bsobj.NONEXISTTAG.SUBTAG
    except AttributeError as e:
        print(e)
        return
    else:
        print(bad_content)

部分内容来自《Python网络数据采集》(Turing系列图书)，若有侵权，请及时告知，立即删除。

Day0 End