![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫开发
文章平均质量分 89
爬虫开发
移动安全星球
这个作者很懒,什么都没留下…
展开
-
[爬虫]1.1.1网络爬虫的概念
网络爬虫,也称为网页爬虫或者网页蜘蛛,是一种用来自动浏览互联网的网络机器人。它们会按照特定的规则,从网页上获取信息,然后将这些信息保存下来。网络爬虫的名字来源于它们的工作方式,它们就像是在网络上爬行的蜘蛛,通过链接从一个网页爬到另一个网页。原创 2023-07-21 22:15:13 · 5016 阅读 · 0 评论 -
[爬虫]1.1.3 网络爬虫的应用场景
网络爬虫在各种不同的领域都有广泛的应用。它们可以用来收集,分析,处理和理解大量的在线信息。原创 2023-07-21 22:23:26 · 6923 阅读 · 0 评论 -
[爬虫]1.3.1 使用requests库发送HTTP请求
Python的requests库是一个非常流行的用于发送HTTP请求的库。它的接口设计得非常简洁明了,使得发送HTTP请求变得非常简单。首先,你需要安装requests库。原创 2023-07-21 22:37:28 · 5628 阅读 · 0 评论 -
[爬虫]1.2.1 HTML标签和属性
是一个段落标签的开始,原创 2023-07-21 22:26:55 · 6106 阅读 · 0 评论 -
[爬虫]1.2.2 CSS选择器
CSS (Cascading Style Sheets) 是一种样式表语言,用于描述HTML元素的样式。CSS选择器是CSS规则的一部分,它决定了CSS规则应用于哪些元素。在网络爬虫的开发中,我们经常使用CSS选择器来定位和选取HTML元素。原创 2023-07-21 22:32:22 · 8492 阅读 · 0 评论 -
[爬虫]1.2.3 使用浏览器的开发者工具
在开发网页或者进行网页数据抓取时,浏览器的开发者工具(Developer Tools)是一个非常有用的工具。它可以帮助你查看并调试HTML、CSS以及JavaScript代码。同时,它也是我们查看网页结构,定位数据位置的重要工具。原创 2023-07-21 22:33:41 · 13771 阅读 · 1 评论 -
[爬虫]1.3.2 使用BeautifulSoup库解析HTML
BeautifulSoup是一个用于解析HTML和XML文档的Python库,它能够通过Python的标准库或者第三方解析库(如lxml)进行解析,然后提供一种简单的访问文档元素的方式。原创 2023-07-21 22:38:49 · 5751 阅读 · 0 评论 -
[爬虫]1.1.2 网络爬虫的工作原理
网络爬虫(Web Crawler),也被称为网页蜘蛛(Spider),是一种用来自动浏览互联网的网络机器人。其主要目标通常是为搜索引擎创建复制的网页内容,但它们也可以被用于其他目的,比如数据挖掘。现在,我们一起来深入理解一下网络爬虫的工作原理。原创 2023-07-21 22:20:34 · 5725 阅读 · 0 评论 -
[爬虫]2.4.3 网络爬虫的道德问题
虽然网络爬虫是获取网络数据的强大工具,但使用它们也需要考虑一些道德问题。下面是一些关键的道德考虑因素。原创 2023-07-22 13:25:01 · 6430 阅读 · 0 评论 -
[爬虫]2.2.1 使用Selenium库模拟浏览器操作
Selenium是一个非常强大的工具,用于自动化Web浏览器的操作。它可以模拟真实用户的行为,如点击按钮,填写表单,滚动页面等。由于Selenium可以直接与浏览器交互,所以它可以处理那些需要JavaScript运行的动态网页。原创 2023-07-22 12:21:47 · 6263 阅读 · 0 评论 -
[爬虫]3.4.2 Scrapy的Item, Spider, Pipeline等组件
Scrapy框架由多个互相协作的组件构成。本节将详细介绍其中的几个主要组件:Item, Spider, Pipeline。原创 2023-07-24 00:05:26 · 4959 阅读 · 0 评论 -
[爬虫]3.1.2 Python的异步框架
Python提供了一些强大的异步框架,帮助我们处理并发任务,提高程序运行效率。asyncio和aiohttp。原创 2023-07-22 13:40:45 · 4853 阅读 · 0 评论 -
[爬虫]2.3.2 使用Python操作数据库
Python提供了许多库,可以方便地操作各种类型的数据库,包括SQLite,MySQL,PostgreSQL等。在这个章节中,我们将以SQLite为例,介绍如何使用Python进行数据库操作。原创 2023-07-22 12:40:24 · 5719 阅读 · 0 评论 -
[爬虫]2.1.2 JavaScript如何影响网页内容
JavaScript可以直接操作网页的内容,改变网页的行为,或者与用户进行交互。它通过操作Document Object Model(DOM),也就是网页的结构化表示,来实现这些功能。下面我们将详细介绍这些内容。原创 2023-07-21 22:42:04 · 5712 阅读 · 1 评论 -
[爬虫]3.1.1 理解同步和异步的区别
在理解异步爬虫之前,我们首先需要理解同步和异步编程的基本概念。原创 2023-07-22 13:26:15 · 5670 阅读 · 0 评论 -
[爬虫]3.2.2 分布式爬虫的架构
在分布式爬虫系统中,通常包括以下几个主要的组成部分:调度器、爬取节点、存储节点。我们接下来将详细介绍每一个部分的功能和设计方法。原创 2023-07-23 13:56:44 · 5749 阅读 · 0 评论 -
[爬虫]3.3.2 反反爬虫的技术
对于每种反爬虫策略,通常都会有一种或多种相应的反反爬虫技术。下面我们将详细讨论一些常见的反反爬虫技术。原创 2023-07-23 14:00:11 · 5183 阅读 · 0 评论 -
[爬虫]3.4.1 Scrapy框架的基本使用
Scrapy是一款强大的Python网络爬虫框架,它可以帮助你快速、简洁地编写爬虫程序,处理数据抓取、处理和存储等复杂问题。原创 2023-07-24 00:03:03 · 4664 阅读 · 0 评论 -
[爬虫]2.2.2 使用PhantomJS处理JavaScript
PhantomJS是一个无头(headless)浏览器,它可以解析和执行JavaScript,非常适合用于爬取动态网页。"无头"意味着它可以在没有用户界面的情况下运行,这对于服务器环境和自动化任务非常有用。原创 2023-07-22 12:22:18 · 5844 阅读 · 0 评论 -
[爬虫]3.4.3 Scrapy的中间件和扩展
Scrapy是一个灵活的框架,你可以通过设置中间件和扩展来扩展其功能。在这个章节中,我们将深入了解Scrapy的中间件和扩展,并通过示例来解释它们的使用。原创 2023-07-24 00:08:41 · 5329 阅读 · 1 评论 -
[爬虫]2.4.1 robots.txt文件的作用
robots.txt是一个简单的文本文件,网站管理员通过它来告诉搜索引擎(或其他网络爬虫)哪些页面可以抓取,哪些页面不能抓取。这个文件通常放在网站的根目录下。原创 2023-07-22 12:43:06 · 6790 阅读 · 0 评论 -
[爬虫]3.2.1 分布式爬虫的概念
在爬取大规模数据时,单机运行的爬虫可能面临各种问题,如爬取速度慢、易被目标网站封禁IP等。为了解决这些问题,我们可以使用分布式爬虫。分布式爬虫是指将爬虫程序分布在多台机器上运行,各台机器协同工作,共享任务和数据。原创 2023-07-22 13:45:58 · 5727 阅读 · 1 评论 -
[爬虫]3.3.1 常见的反爬虫策略
许多网站为了保护自己的数据,会用各种策略来阻止或限制爬虫的行为。原创 2023-07-23 13:58:13 · 5591 阅读 · 0 评论 -
[爬虫]2.3.1 使用Python操作文件系统
Python提供了许多内置库来处理文件系统,如osshutil和pathlib等,这些库可以帮助你创建、删除、读取、写入文件和目录。原创 2023-07-22 12:37:47 · 5726 阅读 · 2 评论 -
[爬虫]2.1.1 JavaScript语言的基本语法
JavaScript是一种广泛使用的动态类型的解释性脚本语言,它是Web开发中的标准语言,并且在所有现代Web浏览器中都内置了JavaScript解释器。原创 2023-07-21 22:40:59 · 5642 阅读 · 0 评论 -
[爬虫]2.4.2 网络爬虫的法律问题
网络爬虫在数据收集中发挥着重要作用,但同时也涉及到一些法律和道德问题。以下是一些你需要注意的关键点。原创 2023-07-22 12:44:14 · 6444 阅读 · 0 评论