Java爬虫入门(一)

一、网络爬虫

网络爬虫（又称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。
通俗的讲，爬虫就是能够自动访问互联网并将网站内容下载下来的的程序或脚本，类似于一个机器人，能把别人网站的信息弄到自己的电脑上，再通过做一些过滤，筛选，归纳，整理，排序等操作,得到你想要的数据信息。

二、学习目的

1.制定个人搜索引擎,利用爬虫采集互联网的信息
2.在大数据时代,采集数据,从而进行数据分析,获取有价值的信息
3.学习爬虫，可以更深层次地理解搜索引擎爬虫的工作原理，从而可以更好地进行搜 索引擎优化
4.就业

三、java爬虫和python爬虫的区别

python:①代码简洁,代码量相对较少,容易上手 ②多线程、进程模型成熟稳定
③各种爬虫框架
java:有很多解析器，对网页的解析支持很好,适合处理复杂的网页

四、爬虫过程

1.环境准备(导入爬虫所需的库)
2.使用程序模拟浏览器,发送请求(相当于打开浏览器,输入网址,并按回车)
3.获取响应内容(得到一个Response,即所需要的获取的内容,相当于服务器接收客户端的请求，进过解析发送给浏览器的网页HTML文件)
4.解析内容(通过使用正则表达式、Jsoup等方法对获取的内容进行解析)
5.保存数据(可以将筛选的信息保存到文件中或数据库中,相当于我们在浏览网页时,下载了网页上的照片或者视频)