爬虫的基本原理

一、爬虫概述

爬虫就是获取网页并提取和保存信息自动化程序

1.获取网页

爬虫的工作首先是获取网页, 源代码里包含网页的部分有用信息,所以只要获取源代码,就可以从中提取想要的信息。

2.提取信息

获取网页的源代码后,接下来就是分析源代码,从中提取我们想要的数据。(最通用的提取方法是采用正则表达式。)

 3.保存数据

提取信息后,我们一般会将提取到的数据保存到某处以便后续使用。保存数据的形式多种多样,可以简单保存为TXT文本或JSON文本,也可以保存到数据库,如MySQL和MongoDB等。

4.自动化程序

自动化程序的意思是爬虫可以代替人来完成上述操作。我们当然可以手动提取网页中的信息,但是当量特别大或者想快速获取大量数据的时候,肯定还是借助程序快。

二、爬虫能爬怎样的数据

网页中存在各种各样的信息,最常见的便是常规网页;另外,有些网页返回的不是HTML代码,而是一个JSON字符串(其中API接口大多采用这样的形式),这种格式的数据方便传输和解析;另外网页中还包含各种二进制数据,如图片、视频和音频等,还有各种扩展名文件,如CSS、JavaScript和配置文件等。

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值