java网络爬虫

java网络爬虫

爬虫基本概念

1. 网页DOM结构

   • DOM是Document Object Model(文档对象模型)的缩写，HTML DOM则是专门适用于HTML / XHTML的文档对象模型。熟悉软件开发的人员可以将HTMLDOM理解为网页的API。它将网页中的各个元素都看做一个对象。从而使网页中的元素也可以被计算机语言获取

   • 

   • 

2. 基本概念

   • Http协议定义了很多与服务器交互的方法，最基本的有4种，分别是GET,POST,PUT,DELETE.一个URL地址用于描述一个网络上的资源，而HTTP中的GET, POST, PUT,DELETE就对应着对这个资源的查，改，增，删4个操作。我们最常见的就是GET和POST了。GET一般用于获取/查询资源信息，而POST一般用于更新资源信息.
   • GET向特定的资源发出请求。注意:GET方法不应当被用于产生“副作用”的操作中，例如在web app.中。其中一个原因是GET可能会被网络蜘蛛等随意访问。POST向指定资源提交数据进行处理请求（例如提交表单或者上传文件)。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。PUT向指定资源位置上传其最新内容。DELETE 请求服务器删除Request-URI所积识的资源。

3. Post 与 Get 的 区别

   • GET提交的数据会放在URL之后，以?分割URL和传输数据，参数之间以&相连，如EditPosts.aspx?name=test1&id=123456. POST方法是把提交的数据放在HTTP包的Body中.
   • GET提交的数据大小有限制〈因为浏览器对URL的长度有限制)，而POST方法提交的数据没有限制.
   • GET方式需要使用Request.QueryString来取得变量的值，而POST方式通过Request.Form来获取变量的值。
   • GET方式提交数据，会带来安全问题，比如一个登录页面，通过GET方式提交数据时，用户名和密码将出现在URL上，如果页面可以被缓存或者其他人可以访问这台机器，.就可以从历史记录获得该用户的账号和密码，

4. 网页编码

   • 常见编码:中文GBK ,繁体中文 Big5 ,日文EUC-JP ,韩文EUC-KR等,每种语言的编码方式是不同的,所以需要使用charset为网页提供了一种编码方式,否则页面很可能出现乱码.
   • UTF-8是没有国家的编码,也就是独立于任何一种语言,任何语言都可以使用

5. 如何获取网页编码

   1. 采用自动获取的方法
   2. 人工参与的方法;
      • 1、打开网页
      • 2、右键选择查看源代码
      • 3、查看content="text/html; charset=gb2312

5.爬虫策略一

• 深度优先策略
• 宽度优先策略

6.爬虫策略二

• 反向链接数策略
  • 反向链接数是指一个网页被其他网页链接指向的数量。反向链接数表示的是一个网页的内容受到其他人的推荐的程度。因此，很多时候搜索引擎的抓取系统会使用这个指标来评价网页的重要程度，从而决定不同网页的抓取先后顺序。
• 非完全PageRank策略
  • 非完全PageRank策略算法借鉴了PageRank算法的思想。按照一定的网页分析算法，预测候选URL与目标网页的相似度，或与主题的相关性，并选取评价最好的一个或几个URL进行抓取，即对于已经下载的网页，连同待抓取URL队列中的URL，形成网页集合，计算每个页面的PageRank值，计算完之后，将待抓取URL队列中的URL按照PageRank值的大小排列，并按照该顺序抓取页面
• 大站优先策略
  • 对于待抓取URL队列中的所有网页，根据所属的网站进行分类。对于待下载页面数多的网站，优先下载，这个策略也因此叫做大站优先策略。