Karen_yuan的博客

原创 爬虫基础知识（一）

什么是爬虫？ 一种可以爬取网页上数据的自动化程序。 爬虫原理 互联网上的网页一般都托管在服务器上，服务器24小时运行，随时等待用户（浏览器）发送请求，服务器会即刻返回数据给用户。 爬虫的首个步骤就是模拟浏览器向服务器发送请求，一般的服务器就会将爬虫当成用户，将数据返回给爬虫。还有一些网站建立了反爬虫机制，对此也有解决方案，后续学习会涉及，在此先不做赘述。 数据处理 服务器返回的数据可能...