1.爬虫的介绍
TCP/IP国际通用的
爬虫所用的是http协议
1.爬虫是什么?
- 简单的来讲就是代替人去模拟浏览器进行网页操作
2.为什么需要爬虫?
- 为其他程序提供数据源,类似于百度,谷歌,抖音,AI等等
3.企业获取数据的方式?
- 1.公司自有的数据
- 2.第三方平台购买的数据
- PC端的互联网 -->2000-2015移动端的互联网(3G,4G) -->2015至今的大数据互联网–>人工智能的互联网
- 3.爬虫爬取的数据
4.用python做爬虫的优势?
- PHP:多线程,异步支持不太好
- JAVA:代码量大,代码笨重
- C/C++:代码量大,难以编写
- python:支持的模块多,代码简洁,开发效率高(scrapy)
5.爬虫的分类?
- 通用网络爬虫 www.zhihu.com/robots.txt上可以看到哪些数据可以爬哪些不可以
- 聚焦网络爬虫
- 增量式网络爬虫
- 深层网络爬虫