mina java爬虫_Apache MINA实战之 牛刀小试

Apache的MINA是一个被用来构建高性能和高可伸缩性应用程序的网络应用框架，它提供了一套统一的建立在Java NIO之上的事件驱动的异步API。

对于MINA框架的了解，MINA官方的几篇文章是必须要看的，如下：

* Application Architecture http://mina.apache.org/mina-based-application-architecture.html

* Server Architecture http://mina.apache.org/server-architecture.html

* Client Architecture http://mina.apache.org/client-architecture.html

其中几个主要的组件如下：

I/O Service - 用来处理I/O流，对于Server端就是IOAcceptor的实现类接受Client端的连接请求，对于Client端就是IoConnector的实现类来建立到Server端的连接。

I/O Filter Chain - 用来过滤或转化数据。对于Server端和Client端来说都是IoFilter接口的实现类，MINA自己内建了很多IoFilter接口的实现类。具体可以参考官方文档。

I/O Handler - 用来处理真正业务逻辑的类。对于Server端和Client端来说都是IoHandler接口的实现类，通常来说需要自己编写。

由于Server端和Client端都是基于以上三个组件的，因此对于Server端和Client端编程来说就都有类似的代码结构。

对于Server端来说：

1. 创建I/O service - 这里就是创建IOAcceptor类监听端口。

2. 创建I/O Filter Chain - 这里就是告诉使用那些IoFilter。

3. 创建I/O Handler - 自己的业务逻辑。

对于Client端来说：

1. 创建I/O service - 这里就是创建IOConnector类来建立到Server端的连接。

2. 创建I/O Filter Chain - 这里就是告诉使用那些IoFilter。

3. 创建I/O Handler - 自己的业务逻辑。

下面来通过一个例子看看MINA是怎样工作的。由于大多数应用都是基于TCP/IP的应用，所以这里也就不再说UDP/IP了。

这里我使用了Maven来创建了一个简单java应用程序，具体步骤请参Maven的官方手册。这里只是将我用到的maven配置文件pom.xml列出，方便下面及后续文章使用。具体pom.xml文件内容如下：

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">

4.0.0

com.google.code.garbagecan.minastudy

minastudy

jar

1.0-SNAPSHOT

minastudy

http://maven.apache.org

org.apache.mina

mina-core

2.0.4

org.apache.mina

mina-filter-compression

2.0.4

org.slf4j

slf4j-api

1.3.0

org.slf4j

slf4j-log4j12

1.3.0

首先来看Server端的代码

packagecom.google.code.garbagecan.minastudy.sample1;

importjava.io.IOException;

importjava.net.InetSocketAddress;

importjava.nio.charset.Charset;

importorg.apache.mina.core.service.IoAcceptor;

importorg.apache.mina.core.service.IoHandlerAdapter;

importorg.apache.mina.core.session.IdleStatus;

importorg.apache.mina.core.session.IoSession;

importorg.apache.mina.filter.codec.ProtocolCodecFilter;

importorg.apache.mina.filter.codec.textline.TextLineCodecFactory;

importorg.apache.mina.filter.logging.LoggingFilter;

importorg.apache.mina.transport.socket.nio.NioSocketAcceptor;

importorg.slf4j.Logger;

importorg.slf4j.LoggerFactory;

publicclassMyServer {

privatestaticfinalLogger logger = LoggerFactory.getLogger(MyServer.class);

publicstaticvoidmain(String[] args) {

IoAcceptor acceptor =newNioSocketAcceptor();

acceptor.getFilterChain().addLast("logger",newLoggingFilter());

acceptor.getFilterChain().addLast("codec",newProtocolCodecFilter(newTextLineCodecFactory(Charset.forName("UTF-8"))));

acceptor.setHandler(newIoHandlerAdapter() {

@Override

publicvoidsessionCreated(IoSession session)throwsException {

}

@Override

publicvoidsessionOpened(IoSession session)throwsException {

}

@Override

publicvoidsessionClosed(IoSession session)throwsException {

}

@Override

publicvoidsessionIdle(IoSession session, IdleStatus status)throwsException {

}

@Override

publicvoidexceptionCaught(IoSession session, Throwable cause)throwsException {

logger.error(cause.getMessage(), cause);

session.close(true);

}

@Override

publicvoidmessageReceived(IoSession session, Object message)throwsException {

logger.info("Received message "+ message);

session.write(message);

}

@Override

publicvoidmessageSent(IoSession session, Object message)throwsException {

logger.info("Sent message "+ message);

}

});

try{

acceptor.bind(newInetSocketAddress(10000));

}catch(IOException ex) {

logger.error(ex.getMessage(), ex);

}

}

}1. 首先创建I/O Service，这里使用的是NioSocketAcceptor类来创建了一个IoAcceptor实例。

2. 创建I/O Filter Chain，这里使用了两个IoFilter，一个是LoggingFilter用来记录日志和打印事件消息，另一个是ProtocolCodecFilter实例用来编码数据，这里其实就是将传递的数据编码成文本。

3. 创建I/O Handler，不要害怕，看起来代码多，其实就是一个实现了IoHandler接口的子类，自己需要实现其中的一些方法，这里方法比较多，但是我在这里只实现了messageSent，messageReceived和exceptionCaught方法。

4. 最后就是让IoAcceptor类实例绑定端口实现监听。

下面看看Client端的代码

packagecom.google.code.garbagecan.minastudy.sample1;

importjava.net.InetSocketAddress;

importjava.nio.charset.Charset;

importorg.apache.mina.core.RuntimeIoException;

importorg.apache.mina.core.future.ConnectFuture;

importorg.apache.mina.core.service.IoConnector;

importorg.apache.mina.core.service.IoHandlerAdapter;

importorg.apache.mina.core.session.IdleStatus;

importorg.apache.mina.core.session.IoSession;

importorg.apache.mina.filter.codec.ProtocolCodecFilter;

importorg.apache.mina.filter.codec.textline.TextLineCodecFactory;

importorg.apache.mina.filter.logging.LoggingFilter;

importorg.apache.mina.transport.socket.nio.NioSocketConnector;

importorg.slf4j.Logger;

importorg.slf4j.LoggerFactory;

publicclassMyClient {

privatestaticfinalLogger logger = LoggerFactory.getLogger(MyClient.class);

publicstaticvoidmain(String[] args) {

IoConnector connector =newNioSocketConnector();

connector.setConnectTimeoutMillis(10*1000);

connector.getFilterChain().addLast("logger",newLoggingFilter());

connector.getFilterChain().addLast("codec",newProtocolCodecFilter(newTextLineCodecFactory(Charset.forName("UTF-8"))));

connector.setHandler(newIoHandlerAdapter() {

@Override

publicvoidsessionCreated(IoSession session)throwsException {

}

@Override

publicvoidsessionOpened(IoSession session)throwsException {

for(inti =0; i <10; i++) {

session.write("Hello user_"+ i);

}

session.write("Bye");

}

@Override

publicvoidsessionClosed(IoSession session)throwsException {

}

@Override

publicvoidsessionIdle(IoSession session, IdleStatus status)throwsException {

}

@Override

publicvoidexceptionCaught(IoSession session, Throwable cause)throwsException {

logger.error(cause.getMessage(), cause);

session.close(true);

}

@Override

publicvoidmessageReceived(IoSession session, Object message)throwsException {

logger.info("Received message "+ message);

if(message.toString().equalsIgnoreCase("Bye")) {

session.close(true);

}

}

@Override

publicvoidmessageSent(IoSession session, Object message)throwsException {

logger.info("Sent message "+ message);

}

});

IoSession session =null;

try{

ConnectFuture future = connector.connect(newInetSocketAddress("localhost",10000));

future.awaitUninterruptibly();

session = future.getSession();

}catch(RuntimeIoException e) {

logger.error(e.getMessage(), e);

}

session.getCloseFuture().awaitUninterruptibly();

connector.dispose();

}

}

1. 首先创建I/O Service，这里使用的是NioSocketConnector类来创建了一个IoConnector实例，并设置连接超时为10秒。

2. 创建I/O Filter Chain，和服务器端同样设置了两个IoFilter，一个是LoggingFilter用来记录日志和打印事件消息，另一个是ProtocolCodecFilter实例用来编码数据，这里其实就是将传递的数据编码成文本。

3. 创建I/O Handler，也不要害怕，看起来代码多，其实也是一个实现了IoHandler接口的子类，并且自己实现了sessionOpened，messageSent，messageReceived和exceptionCaught方法。实现sessionOpened方法是为了在建立连接后向Server端发送消息。另外看一下messageReceived方法实现，在接收到服务器端的消息后关闭会话。从而可以使Client程序最终能够退出。

4. 最后就是IoConnector实例类连接远端的Server。

下面测试一下上面的程序，首先运行MyServer类，然后运行MyClient类，就可以分别在各自的终端上看到事件日志以及发送/接收的消息了。