java爬虫之Jsoup入门

1. 网络爬虫
   1. 网络爬虫概念

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

• 1. 网络爬虫用途
• 搜索引擎,常见的搜索引擎背后都是一个庞大无比的爬虫网络,用于随时随地从互联网上抓取信息,例如百度,谷歌,搜狗,bing等.
• 数据分析,获取各种行业数据,通过数据整合和数据清洗来得到需要的数据,例如天眼查,比价网等;
• 舆情监测, 整合互联网信息采集技术及信息智能处理技术通过对互联网海量信息自动抓取、自动分类聚类、主题检测、专题聚焦，实现用户的网络舆情监测和新闻专题追踪等信息需求，形成简报、报告、图表等分析结果，为客户全面掌握群众思想动态，做出正确舆论引导，提供分析依据。
• 基础信息服务,比如游戏中需要获取各种行业信息,球员资料等,例如NBA2K,FIFA 14,实况足球等;
  1. 网络爬虫的原理流程

• 模拟浏览器请求互联网资源,URL,HttpClient,Jsoup,restTemplate等
• 解析得到的资源获取所需数据,String,HtmlParser,Jsoup
• 存储数据:数据库,Excel,TXT