爬虫概念与概述

最新推荐文章于 2024-07-24 23:24:10 发布

Serendipity..

最新推荐文章于 2024-07-24 23:24:10 发布

阅读量5.6k

点赞数 4

文章标签：爬虫数据库搜索引擎机器学习 mysql

本文链接：https://blog.csdn.net/m0_50571658/article/details/117663003

版权

本文介绍了爬虫的基本概念，包括它的自动化特点、常见的爬虫语言以及通用和聚焦爬虫的区别。同时，详细讲解了HTTP和HTTPS协议，强调了它们在数据安全传输中的作用，还列举了常见的服务器端口。

摘要由CSDN通过智能技术生成

1. 爬虫概述

1.1 爬虫概念

爬虫又被称为网页蜘蛛、网络机器人，有时也被称为网页追逐者，是一种按照一定的规则，自动地抓取互联网上网页中相应信息（文本、图片等）的程序或脚本，然后把抓取的信息存储到自己的计算机上。简单来说，爬虫就是抓取目标网站内容的工具，一般是根据定义的行为自动进行抓取，更智能的爬虫会自动分析目标网站结构，类似于搜索引擎的爬虫。

说明:
1.模拟: 用爬虫程序伪装出人的行为, 避免被服务识别为爬虫程序。
2.客户端: 浏览器, APP都可以实现人与服务器之间的交互行为, 应用客户端从服务器获取数据。
3.自动化: 数据量较小时可以人工获取数据, 但往往在公司中爬取的数据量在百万条, 千万条级别的, 所以要程序自动化获取数据.。

1.2 爬虫语言

爬虫语言:PHP, C/C++, Java, Python，Go

对比:

PHP: 并发能力差, 对多进程和多线程支持不好, 数据量较大时爬虫效率较低

C/C++: 语言效率高, 但学习成本高, 对程序员的技术能力要求较高,  所以目前还停留在研究层面, 市场需求量很小

Java: Python爬虫的主要竞争对手, 由于Java语言的特点, 代码臃肿, 代码量大, 维护成本重构成本高, 开发效率低. 但目前市场上岗位需求比较旺盛.

Python:语法简单, 学习成本较低, 对新手比较友好. Python语言良好的生态, 大量库和框架的支持是的Python爬虫目前处于爬虫圈的主导地位.