1、爬虫作用:采集网络数据,自动化测试(采用编写测试案例),网络攻击,
2、相关知识储备
1)网络协议
2)前端基础
3)正则表达式
4)数据存储(mysql、分布式)
5)并发处理,多线程处理
6)图像处理(登陆验证)
3、爬虫的监控和部署
4、对js、ajax进行原理的了解,才能更好地对动态网页数据进行解析
ajax是一种无须重新加载整个网页的情况下,能够部分更新网页的技术
ajax =异步 js+xml
5、get方法将参数放在url中,post将参数放在request body中
6、bs4相当于docker,需要不日和解析引擎使用
7、utf8和utf8mb4的区别
utf8mb4可以存储数据中的表情包等非字符数据