爬虫
文章平均质量分 92
在下小吉.
我心爱的花在那里,在那颗遥远的星星上。
展开
-
【Python爬虫】详解BeautifulSoup()及其方法
使用 BeautifulSoup,你可以将 HTML 或 XML 文档加载到解析树中,并使用类似于 DOM(文档对象模型)的方式来遍历和搜索文档的结构。然后,你可以使用各种方法和属性来定位、提取和操作文档中的元素和数据。总的来说,BeautifulSoup 是一个功能强大且易于使用的工具,用于解析和处理 HTML、XML 等文档,并从中提取所需的数据。由于link标签里面的链接中有a字母,所以link标签也被选出来了。我们查找a标签,head标签里面有a这个 字母,所以被选出来了。原创 2024-03-19 20:34:59 · 3181 阅读 · 14 评论 -
【Python爬虫】基础知识一遍过 | 第一个爬虫程序
Python 爬虫通常使用第三方库来实现核心功能,如 urllib、requests 用于发送 HTTP 请求,BeautifulSoup、lxml 用于解析和处理网页内容,Scrapy 用于构建高效的爬虫系统等。需要注意的是,在使用爬虫时,应遵守相关的法律法规,遵循网站的使用政策,并尊重他人的隐私和知识产权。如果网速比较慢的话,就有可能发送请求超时的情况,下面我们来解决一下这种情况。我们随便进入一个网址,找到这段信息,复制下来,我们运行里面的代码,就出现了百度网页。我们打开后,找到某一个界面,然后暂停。原创 2023-12-27 11:38:01 · 1408 阅读 · 0 评论