爬虫知识点总结

最新推荐文章于 2023-05-19 22:56:58 发布

A_light_sun

最新推荐文章于 2023-05-19 22:56:58 发布

阅读量859

点赞数

分类专栏：网络爬虫笔记文章标签： python 网络

本文链接：https://blog.csdn.net/A_light_sun/article/details/103587687

版权

这篇博客总结了爬虫的基础知识，包括网络爬虫的作用、搜索引擎的工作原理，深入讲解了HTTP和HTTPS协议，以及URL的含义。文章还探讨了HTTP请求过程和方法，客户端与服务器的交互，同时提到了搜索引擎如何遍历网页以及robots协议的重要性。

摘要由CSDN通过智能技术生成

一、定义

			按照一定的规则，自动抓取万维网数据的程序或脚本。

二、爬虫可以解决的问题

			1.解决冷启动问题
			2.搜索引擎的根基  ---- 通用爬虫是搜索引擎的重要组成部分   
			3.帮助机器学习建立知识图谱
			4.制作各种比价软件

一、定义

			通过特定的算法，从互联网获取网页信息，为用户提供检索服务的一种程序。

二、组成部分

			搜索引擎主要是由通用爬虫组成
			
			通用爬虫是指将互联网上的网页信息整体爬取下来的的程序

三、工作步骤

		1.抓取网页
		2.数据存储
		3.预处理
				···提取文字
				···中文分词
				···消除噪音（比如版权声明文字。导航条等）
		4.设置网站排名（根据访问量），为用户提供检索服务

问题：为什么搜索引擎可以爬取所有的网页？—搜索引擎的通用是如何来爬取所有网页的。

		一个网页就是一个url，这个问题其实在问，【url的获取来源】。
		url的获取来源：
			1、新网站会主动提交网址给搜索引擎。
			2、网页中的一些外链，这些url全部都会加入到通用爬虫的爬取队列。
			3、搜索引擎和dns解析服务商合作，

关注

专栏目录