爬虫入门基本知识


1、什么是爬虫?

爬虫可以帮助我们在互联网上自动的获取数据和信息,本质是一段程序  

2、常见的的数据获取形式

1、 问卷调查
2、购买
3、网上收集(爬虫)

3、爬虫分类

一般分为两类通用爬虫、聚焦爬虫
1、通用爬虫:准守robots协议的爬虫,通常指搜索引擎
2、针对特定网站爬虫,无视robots协议,一般在获取网站数据时用的爬虫就是聚焦爬虫

4、爬虫的流程

发送请求--获取相应--提取数据

5、url的详解

url是统一资源定位符。一般有一下几个部分组成:
scheme://host:port/path/?query-string=xxx#anchor
1、scheme:代表的是访问的协议,一般为http或者https协议
2、host:主机名,域名
3、port:端口号。浏览器默认使用80端口
4、path:查找路径
5、query-string:查询字符串
6、anchor:锚点,前端定位页面

6、 常见的请求头参数

在http协议中,向服务器发送一个请求,数据分为三个部分第一个是把数据放在url中,第二个放在body中,第三个放在head中
1、User-Agent:浏览器名称。在请求一个网页的时候,服务器通过这个参数就可以知道哪种浏览器在访问
2、Referer:表明当前这种请求是从哪个url来的
3、cookie:http协议是无状态。用cookie来标识请求是否是同一个人。

7、 常用的请求方法

1、get:一般适用于只从服务器获取数据,不会对服务器资源产生影响
2、post:向服务器发送数据(登录)等,会对服务器资源产生影响

8、常见的响应状态码

200:请求正常
301:永久重定向(访问不到某个网页会跳转到另一个网页)
302:临时重定向(未登录访问会跳转到登录页面)
400:请求url在服务器上找不到
403:服务器拒绝访问权限不够
500:服务器内部错误

  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值