weixin_45697354的博客

原创 爬虫基础day01

爬虫基础day01一、介绍什么是网络爬虫？（面试题）网络爬虫（Web Spider 又称为网页蜘蛛、网络机器人）就是模拟浏览器发送网络请求，就收请求响应，一种按照一定的规则，自动的抓取互联网信息的程序。通俗的讲，爬虫就是能够自动访问互联网并将网站内容捕获下来的程序和脚本，我们可以通过爬虫过滤、筛选、归纳、整理等等逻辑拿到我们想要的数据。二、学习目标了解爬虫的分类掌握爬虫的流程掌握爬虫相关的http和https的知识点掌握requests模块的使用掌握lxml模块的使用三、爬虫