Python之数据采集(No.1)

最新推荐文章于 2024-07-01 22:04:57 发布

sunshinegaigai

最新推荐文章于 2024-07-01 22:04:57 发布

阅读量433

点赞数

分类专栏：数据采集

本文链接：https://blog.csdn.net/weixin_42578658/article/details/90044808

版权

本文介绍了Python数据采集的基本操作，包括利用urllib进行网络请求，使用BeautifulSoup解析HTML内容。讲解了初始化Python文件、处理HTTP错误、通过class属性查找元素可能遇到的问题，以及BeautifulSoup中不同类型的对象，如Tag、NavigableString和Comment。同时阐述了子标签、后代标签及父标签的关系，以及如何处理兄弟标签和父标签。

摘要由CSDN通过智能技术生成

1.初建python文件时，会默认生成下面文件
在这里插入图片描述
–init–文件的作用是构造函数或者初始化程序

2.urlib是Python的标准库，包含从网络请求数据，处理cookie，改变像请求头，用户代理这些元数据的函数，同时它也可以用来打开并读取一个从网络获取的远程对象

3.BeautifulSoup库中最常用的就是BeautifulSoup对象（html后面的read方法可有可无）

from urllib.request import urlopen
from bs4 import BeautifulSoup
html=urlopen("http://www.pythonscraping.com/pages/page1.html")
bsObj=BeautifulSoup(html.read())
print(bsObj.h1)

运行结果

<h1>An Interesting Title</h1>

加入检查与错误处理的代码

from urllib.request import urlopen
from  urllib.error import HTTPError,URLError
from bs4 import BeautifulSoup
def getTitle(url):
    try:
        html=urlopen(url)
    except(HTTPError,URLError) as e:
        return  None
    try:
        bsObj=BeautifulSoup(html.read())