Python爬虫

最新推荐文章于 2024-08-06 11:55:39 发布

KeneathGuo

最新推荐文章于 2024-08-06 11:55:39 发布

阅读量162

点赞数

分类专栏： Python学习笔记

本文链接：https://blog.csdn.net/qq_36708868/article/details/83902361

版权

这篇博客介绍了如何使用Python的requests库获取网页内容，并通过BeautifulSoup4库解析HTML。BeautifulSoup对象允许以树形结构处理HTML，通过Tag对象的name、attrs和string属性获取内容。还讲解了find()和find_all()方法来查找特定标签，以及正则表达式在字符串检索中的应用。最后，以中国大学排名爬虫为例展示了爬虫的构建步骤。

摘要由CSDN通过智能技术生成

获取一个网页内容的函数建议采用：

import requests
def getHTMLText():
    try：
        r=requests.get(url,timeout=30)
        r.raise_for_status() #如果状态不是200，引发异常。200成功 404失败
        r.encoding='utf-8' #无论原来使用什么编码。都改成utf-8
        return r.text #返回url的内容
    except:
        return ""

测试代码

url="http://www.baidu.com"
print(getHTMLText(url))

关于requests更多介绍:

http://docs.python-requests.org

使用requests库获取HTML页面并且将其转换为字符串后，需要进一步解析HTML页面格式，需要处理HTML和XML的函数库

beautifulsoup4库，也称Beautiful Soup库或bs4库，用于解析和处理HTML和XML，注意：它不是Beautifulsoup库。它最大的优点是能根据HTML和XML语法建立解析树，进而高效地解析其中的内容

它把每一个页面当做一个对象

使用它之前需要进行引用，可以采用from-import的方式从库中直接引用BeautifulSoup类,如下：

>>>from bs4 import BeautifulSoup

更多：http://www.crummy.com/software/BeautifulSoup/bs4

创建的BeautifulSoup对象是一个树形结构，它包含HTML页面中的每一个Tag（标签）元素，如<head>.<body>等。

具体来说，HTML中的主要结构都变成了BeautifulSoup对象的一个属性，可以直接用<a>.<b>形式获得，其中<b>的名字采用HTML中标签的名字。


>>> from bs4 import BeautifulSoup
>>> soup=BeautifulSoup(r.text)
>>> type(soup)
<class 'bs4.BeautifulSoup'>

>>> soup.head #略去<style>
<head><meta content="text/html;charset=utf-8" http-equiv="content-type"/><meta content="IE=Edge" http-equiv="X-UA-Compatible"/><meta content="always" name="referrer"/><link href="http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css" rel="stylesheet" type="text/css"/><title>百度一下，你就知道</title></head>
>>> soup.head #略去<sttyle>标签输出
<head><meta content="text/html;charset=utf-8" http-equiv="content-type"/><meta content="IE=Edge" http-equiv="X-UA-Compatible"/><meta content="always" name="referrer"/><link href="http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css" rel="stylesheet" type="text/css"/><title>百度一下，你就知道</title></head>
>>> title=soup.title #HTML页面标题，在<head>之中，由<title>标记
>>> title
<title>百度一下，你就知道</title>
>>> type(title)
<class 'bs4.element.Tag&