网络蜘蛛程序学习1

网络蜘蛛程序学习1

Bot程序：一种“有意识”的Internet程序，能从指定的Internet站点上检索信息。有人叫这个为：网络机器人。

例如：桌面应用程序会检查邮箱邮件，有新邮件会自动提醒。但是Bot程序是否合法？有些网站明令禁止，比如：股票站点。所以，作为Bot程序搜索必须合法。

Spider程序：一种专业化的Bot程序，用于查找大量的Web页面，Spider程序事先并不知道将要查询的页面，程序通过上一个页面查找下一个页面。有人叫这个为：网络蜘蛛程序。

蜘蛛程序应用在搜索引擎方面比较多，还可以应用于：扫描出中断的链接等。

 

1，java套接字编程技术

Web是建立在HTTP之上的协议，而HTTP又是建立在TCP/IP之上的协议，而TCP/IP它同时也是一种套接字协议。

TCP/IP网络上所有的计算机都看成是平等的，这种类型的网络叫对等网络。服务器和普通的网络也是对等的。

网络编程=套接字编程。网络上的每一台电脑都有很多套接字辅助计算机程序生效。这些套接字叫端口。端口号很重要，其中一个就是80端口号，是HTTP使用。多个客户端是可以同时连接到同一台服务器。但是每个时刻只有一个程序能监听同样的服务器端口。例如：很多电视机（客户端）可以调到一个特定的频道（服务器），但是几个台（服务器群）不可能在同一个频道上播放。

TCP/IP协议是由两个协议组合：传输控制协议（TCP）和Internet协议（IP）。IP负责将数据包从一个节点传到另外一个节点，而TCP负责校验数据正确性。

主机名和IP是多对多的关系。通过ping主机名可以得到主机的IP。

DNS如何将主机名解析成IP地址

主机名转换成IP地址有多精确呢？可以通过DNS来转换。

DNS服务器是指能返回与特定主机名相关联的IP地址的服务器。解析主机名的操作由大批设置在世界各地的DNS服务器完成。而DNS也是通过主机名，为了解决矛盾，DHCP产生了。

在很多网络中，计算机系统都是用DHCP取代强行要求用户指定大部分网络配置信息（包括IP地址和DNS服务器）。利用DHCP使IP网络上的每台jsj都能从DHCP服务器上获取他们的初始配置信息，无需用户自己设置。用户的计算机第一次联网都会申请这些信息。

使用java实现主机名查找IP地址：

package wans.com.chapter1;

import java.net.InetAddress;

import java.net.UnknownHostException;

/**

 * 使用主机名查找IP地址

 * @author wans

 */

public class FindIP {

    public static void main(String[] args) throws UnknownHostException {

       String hostname = "www.baidu.com";    

       if(hostname.length() <= 0) {

           System.out.println("主机名不能为空！");

       }else {

           InetAddress address = InetAddress.getByName(hostname);

           System.out.println("IP地址为： " + address);

       }

    }

}

 

Java I/O编程技术

Java的I/O类由输入流，输出流，阅读器，写入器，过滤器组成。

1，输出流

OutputStream：public abstract class OutputStream extends Object implements Closeable, Flushable

直接已知子类： ByteArrayOutputStream, FileOutputStream, FilterOutputStream, ObjectOutputStream, OutputStream, PipedOutputStream

方法摘要
void	close()                  关闭此输出流并释放与此流有关的所有系统资源。
void	flush()                  刷新此输出流并强制写出所有缓冲的输出字节。
void	write(byte[] b)           将 b.length 个字节从指定的字节数组写入此输出流。
void	write(byte[] b, int off, int len)    将指定字节数组中从偏移量 off 开始的 len 个字节写入此输出流。
abstract  void	write(int b)              将指定的字节写入此输出流。

 

2，输入流

InputStream：public abstract class InputStream extends Object implements Closeable

直接已知子类： AudioInputStream, ByteArrayInputStream, FileInputStream, FilterInputStream, InputStream, ObjectInputStream, PipedInputStream, SequenceInputStream, StringBufferInputStream

方法摘要
int	available()           返回此输入流方法的下一个调用方可以不受阻塞地从此输入流读取（或跳过）的字节数。
void	close()           关闭此输入流并释放与该流关联的所有系统资源。
void	mark(int readlimit)           在此输入流中标记当前的位置。
boolean	markSupported()           测试此输入流是否支持 mark 和 reset 方法。
abstract  int	read()           从输入流读取下一个数据字节。
int	read(byte[] b)           从输入流中读取一定数量的字节并将其存储在缓冲区数组 b 中。
int	read(byte[] b, int off, int len)           将输入流中最多 len 个数据字节读入字节数组。
void	reset()           将此流重新定位到对此输入流最后调用 mark 方法时的位置。
long	skip(long n)           跳过和放弃此输入流中的 n 个数据字节。

 

Java中的套接字编程

Java定义了两个类：Socket和ServerSocket。使用输入和输出流进行交换。

 

2，HTTP超文本传输协议

HTTP和HTTPS（HTTP加密形式）。

URL是URI的一个子集（略）