大数据指北

原创 初识网络爬虫

网络爬虫已经是一个老生常谈的问题，网上也有很多的资料，不过这里我还是决定记录下自己的学习心得。简单的来说，网络爬虫就是自动从互联网中定向或不定向的采集信息的一种程序。网络爬虫有很多种类型，常用的有通用爬虫，聚焦网络爬虫等。网络爬虫可以做很多事情，比如通用的网络爬虫可以应用在搜索引擎中，而聚焦爬虫可以从互联网中自动采集信息并代替我们筛选出相关的数据。一、通用网络爬虫原理：