爬虫
文章平均质量分 69
Cosophia
不懂就是不懂
展开
-
爬虫入门---请求
爬虫手段实则是用户对浏览器发送请求的一种模仿,通过伪装请求得到响应的信息进行解析,那么‘’请求处理‘’对于这个过程来说尤为重要。原创 2023-11-23 14:14:10 · 290 阅读 · 0 评论 -
爬虫入门——Request请求
上一篇爬虫我们已经提及到了urllib库的使用,为了方便大家的使用过程,这里为大家介绍新的库来实现请求获取响应的库。以上就是今天要讲的内容,本文仅仅简单介绍了requests的使用,而提供了大量能使我们快速便捷地处理数据的函数和方法。大多数内容跟urllib是没太大区别的,甚至还精简很多,对于爬虫玩家来说是十分友好的,希望你能去尝试一下,巩固一下,这里再做一个预告,在下一次我们将介绍如何使用Xpath对爬到的源代码进行解析,来获取我们想要的内容,敬请期待吧。原创 2024-04-18 00:09:22 · 1053 阅读 · 0 评论 -
爬虫解析——Xpath
XPath是一种用于在XML文档中定位节点的语言,它可以用于从XML文档中提取数据,以及在XML文档中进行搜索和过滤操作。它是W3C标准的一部分,被广泛应用于XML文档的处理和分析。XPath使用路径表达式来描述节点的位置,这些路径表达式类似于文件系统中的路径。路径表达式由一个或多个步骤(step)组成,每个步骤描述了一个节点或一组节点。步骤可以使用关系运算符(如/和//)来连接,以便描述更复杂的节点位置。XPath还提供了一些内置函数和运算符,可以对XML文档中的数据进行操作和计算。原创 2024-04-18 00:09:45 · 409 阅读 · 0 评论 -
爬虫:爬取豆瓣电影
上篇我们将到如何利用xpath的规则,那么这一次,我们将通过案例来告诉读者如何使用Xpath来定位到我们需要的数据,就算你不懂H5代码是怎么个嵌套或者十分复杂的嵌套也没有关系,我们可以利用一些工具来帮助大家过渡这个艰难的过程。到这里基本就是拿下了可以看到这些电影对应的评分,赶快去尝试把,如果xpath记不住就多查资料巩固巩固。原创 2024-05-08 22:58:13 · 964 阅读 · 0 评论