sensen_csdn的博客

原创 爬虫基础知识

爬虫基础知识一、爬虫是什么爬虫又称数据采集，英文名：spider，就是通过编程来全自动的从互联网上采集数据，模拟正常人类发起的网络请求，然后获取网络请求所返回的数据。 跟我们人手动去点击一个连接，访问一个网页获取数据，没有本质的区别爬虫可以解决的问题：（1）解决冷启动的问题。（2）作为搜索引擎的主要技术。做搜索引擎，必须使用爬虫。（3）辅助机器学习建立知识图谱。机器学习最终的是训练集...