利用Java编写HTML文件分析程序

转载 2004年11月02日 16:43:00


http://it.sohu.com/webcourse/webmonkey/1-teach/java/page8.html

利用Java编写HTML文件分析程序 天津大学 崔航

摘要:本文从实践的角度重点阐述Java语言中输入流类StreamTokenizer在编写HTML文件分析程序中的应用,并介绍了以字节为单位下载Web页面的例程。

一、概述

Web服务器的核心是对HTML文件中的各标记(Tag)作出正确的分析,一种编程语言的解释程序也是对源文件中的保留字进行分析再做解释的。实际应用中,我们也常常会遇到需要对某一特定类型文件进行关键字分析的情况,比如,需要将某个HTML文件下载并同时下载与之相关的.gif、.class等文件,此时就要求对HTML文件中的标记进行分离,找出所需的文件名及目录。在Java出现以前,类似工作需要对文件中的每个字符进行分析,从中找出所需部分,不仅编程量大,且易出错。笔者在近期的项目中利用Java的输入流类StreamTokenizer进行HTML文件的分析,效果较好。在此,我们要实现从已知的Web页面下载HTML文件,对其进行分析后,下载该页面中包含的HTML文件(如果在Frame中)、图像文件和Class(Java Applet)文件。

二、StreamTokenizer类

StreamTokenizer即令牌化输入流的作用是将一个输入流中变成令牌流。令牌流中的令牌实体有三类:单词(即多字符令牌)、单字符令牌和空白(包括Java和C/C++中的说明语句)。

StreamTokenizer类的构造器为: StreamTokenizer(InputStream in)

该类有一些公有实例变量:ttype、sval和nval ,分别表示令牌类型、当前字符串值和当前数字值。当我们需要取得令牌(即HTML中的标记)之间的字符时,应访问变量sval。而读向下一个令牌的方法是调用nextToken()。方法nextToken()的返回值是int型,共有四种可能的返回:

StreamTokenizer.TT_NUMBER: 表示读到的令牌是数字,数字的值是double型,可以从实例变量nval中读取。

StreamTokenizer.TT_WORD: 表示读到的令牌是非数字的单词(其他字符也在其中),单词可以从实例变量sval中读取。

StreamTokenizer.TT_EOL: 表示读到的令牌是行结束符。

如果已读到流的尽头,则nextToken()返回TT_EOF。

开始调用nextToken()之前,要设置输入流的语法表,以便使分析器辨识不同的字符。WhitespaceChars(int low, int hi)方法定义没有意义的字符的范围。WordChars(int low, int hi)方法定义构造单词的字符范围。

三、程序实现

1、HtmlTokenizer类的实现

对某个令牌流进行分析之前,首先应对该令牌流的语法表进行设置,在本例中,即是让程序分出哪个单词是HTML的标记。下面给出针对我们需要的HTML标记的令牌流类定义,它是StreamTokenizer的子类:

import java.io.*;
import java.lang.String;
class HtmlTokenizer extends 
StreamTokenizer {
//定义各标记,这里的标记仅是本例中必须的,
可根据需要自行扩充
  static int HTML_TEXT=-1; 
  static int HTML_UNKNOWN=-2;
  static int HTML_EOF=-3;
  static int HTML_IMAGE=-4;
  static int HTML_FRAME=-5;
  static int HTML_BACKGROUND=-6;
  static int HTML_APPLET=-7;
  
boolean outsideTag=true;  //判断是否在标记之中

  //构造器,定义该令牌流的语法表。
  public HtmlTokenizer(BufferedReader r) {
super(r);
this.resetSyntax();	//重置语法表
this.wordChars(0,255);	//令牌范围为全部字符
this.ordinaryChar('< ');	//HTML标记两边的分割符
this.ordinaryChar('>');
  } //end of constructor

  public int nextHtml(){
int token;  //令牌
try{
switch(token=this.nextToken()){ 
case StreamTokenizer.TT_EOF:  
//如果已读到流的尽头,则返回TT_EOF
return HTML_EOF;
case '< ':   //进入标记字段
outsideTag=false;
return nextHtml();
case '>':  //出标记字段
outsideTag=true;
return nextHtml();
case StreamTokenizer.TT_WORD:  
//若当前令牌为单词,判断是哪个标记
if (allWhite(sval))
  return nextHtml();	//过滤其中空格
else if(sval.toUpperCase().indexOf("FRAME")
!=-1 && !outsideTag) //标记FRAME
  return HTML_FRAME;
else if(sval.toUpperCase().indexOf("IMG")
!=-1 && !outsideTag) //标记IMG
  return HTML_IMAGE;
else if(sval.toUpperCase().indexOf("BACKGROUND")
!=-1 && !outsideTag) //标记BACKGROUND
  return HTML_BACKGROUND;
else if(sval.toUpperCase().indexOf("APPLET")
!=-1 && !outsideTag) //标记APPLET
  return HTML_APPLET;
default:
System.out.println ("Unknown tag: "+token);
return HTML_UNKNOWN;
  } //end of case
}catch(IOException e){
System.out.println("Error:"+e.getMessage());}
return HTML_UNKNOWN;
  } //end of nextHtml

protected boolean allWhite(String s){//过滤所有空格
//实现略
  }// end of allWhite

}   //end of class
以上方法由笔者在近期项目中测试通过,操作系统为Windows NT4,编程工具使用Inprise Jbuilder3。

本文由中国计算机世界提供。

用Java编写HTML文件分析程序

google_ad_client = "pub-8800625213955058";/* 336x280, 创建于 07-11-21 */google_ad_slot = "0989131976";...
  • java169
  • java169
  • 2008年05月23日 03:29
  • 141

编写词法分析程序

Note:这学期修了严厉的Mr.J的编译原理,不定期更新笔记! 欢迎指正!TEST 语言的词法规: 标识符:字母打头,后接任意字母或数字 保留字:标识符的子集,包括:if,else,for,whil...
  • u013298384
  • u013298384
  • 2015年05月12日 21:11
  • 3718

1.01 eclipse上运行一个简单的html文件(Tomcat已安装)

选择新建dynamic web project 输入ProjectName为WebAPP,第一次运行要new Runtime,然后选择你对应的Tomcat版本 点击fini...
  • qq_26414889
  • qq_26414889
  • 2017年03月17日 23:17
  • 195

java动态生成HTML文件

在eclipse中,用java动态生成html文件。
  • xixiruyiruyi
  • xixiruyiruyi
  • 2016年12月05日 16:23
  • 5940

Java 实现词法分析器(编译原理)

不多说,直接贴代码 package edu.software.compile; import java.io.BufferedReader; import java.io.FileNotFound...
  • u012577528
  • u012577528
  • 2015年04月27日 21:17
  • 8111

java读取html文件

public static String do_post(String url) throws IOException { String body = "{}"; De...
  • jiana227
  • jiana227
  • 2015年04月02日 15:16
  • 3110

词法分析器实验报告

词法分析器实验报告 1.实验平台: visual studio 2010 2.实验目的  设计、编制、调试一个词法分析子程序-识别单词,加深对词法分析原理的理解。 3.数字状态转换图: ...
  • superlele123
  • superlele123
  • 2013年03月29日 17:44
  • 5068

Java——获取网页内容并在本地生成HTML文件

使用java.net包下的URL类,可以将一个网页(链接)封装成一个URL对象。 URL对象有一个openStream()方法,使用该方法可以获取该网页的输入流,我们可以通过读取输入流的方式获得网页...
  • u012325167
  • u012325167
  • 2016年03月24日 11:04
  • 11796

javaSE基础编程——线程同步

编写程序模拟3个老师分发80份试卷,每个老师分发试卷为一个线程 package com.cissst.software.thread; public class GivePaper imp...
  • baidu_31040623
  • baidu_31040623
  • 2015年09月04日 18:27
  • 280

ubuntu下编写html文件

使用软件:bluefish
  • thone00
  • thone00
  • 2017年11月07日 15:56
  • 159
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:利用Java编写HTML文件分析程序
举报原因:
原因补充:

(最多只允许输入30个字)