一.Java NIO 核心组成部分:
- Channels
- Buffers
- Selectors
所有的IO在NIO中都从一个Channel开始,Channel有点像流,数据可以从Channel读取到Buffer中,也可以从Buffer写到Channel中.
Channel和Buffer有几种类型: - FileChannel. 从文件中读写数据
- DatagramChannel 能通过UDP读写网络中的数据.
- SocketChannel SocketChannel 能通过TCP读写网络中的数据.
- ServerSocketChannel 可以监听新进来的TCP连接,像Web服务器那样,对每一个新进来的连接都会创建一个SocketChannel.
Java NIO的通道类似流,但又有些不同:
既可以从通道中读取数据,又可以写数据到通道,但流的读写通常是单向的.
通道可以异步地的读写.
通道中的数据总是先读到一个Buffer,或者总是要从一个Buffer中写入.
二.Buffer
1.基本用法(四个步骤):
写入数据到Buffer.
调用flip()方法.
从Buffer中读取数据.
调用clear()方法或者compact()方法. 当向Buffer写入数据时,Buffer会记录写了多少数据,一旦要读取数据,* 需要通过flip()方法将Buffer从写模式切换到读模式,在读模式下,可以读取之前写入到buffer的所有数据.
一旦读完所有数据,就需要清空缓冲区,让它可以再次被写入,clear()方法会清空整个缓冲区,compact()方法只会清除已经读过的数据,任何未读的数据被移动到缓冲区的起始处,新写入的数据放在其后.
Buffer的capacity,position和limit
缓冲区本质是一块可以写入数据,然后可以从中读取数据的内存.
这块内存被包装成NIO Buffer对象,并提供了一组方法,用来方便的访问该块内存.
position和limit的含义取决于Buffer处在读模式还是写模式,不管Buffer处于什么模式,capacity的含义总是一样的.
capacity:Buffer的固定大小值.
position: 初始值为0,当一个byte,long等数据写到Buffer后,position向前移动到下一个可插入数据的Buffer单元,position最大可为capacity-1;
当读数据时,也是从某个特定位置读,当将Buffer从写模式切换到读模式,position会被重置为0,当从Buffer的position处读取数据时,position向前移动到下一个可读的位置.
limit:在写模式下,Buffer的limit表示你最多能往Buffer里写多少数据,写模式下,limit等于Buffer的capacity。
当切换到Buffer的读模式时,limit表示最多能读多少数据,因此,limit会被设置成写模式下的position值.
2.Buffer的分配
ByteBBuffer buf = ByteBuffer.allocate(48);
CharBuffer buf = CharBuffer.allocate(1024);
3.向Buffer中写数据
写数据到Buffer的两种方式:
从Channel写到Buffer。
通过Buffer的put()方法写到Buffer里.
从Channel写到Buffer的例子:
int bytesRead = inChannel.write(buf);
通过put方法写Buffer的例子:
buf.put(127);
4. flip()方法
flip方法将Buffer从写模式切换到读模式。调用flip()方法会将position设回0,并将limit设置成之前position的值。
换句话说,position现在用于标记读的位置,limit表示之前写进了多少个byte、char等 —— 现在能读取多少个byte、char等。
5.从Buffer中读取数据
从Buffer中读取数据有两种方式:
- 从Buffer读取数据到Channel。
int byteRead = inChannel.write(buf). - 使用get()方法从Buffer中读取数据。
byte aByte = buf.get();
6. rewind()方法
Buffer.rewind()将position设回0,所以你可以重读Buffer中的所有数据。limit保持不变,仍然表示能从Buffer中读取多少个元素(byte、char等).
7.mark和reset()方法
通过调用Buffer.mark()方法,可以标记Buffer中的一个特定position。之后可以通过调用Buffer.reset()方法恢复到这个position。
buffer.mark();
//call buffer.get();
buffer.reset();
8.equals()
当满足下列条件时,表示两个Buffer相等:
* 有相同的类型(byte、char、int等)。
* Buffer中剩余的byte、char等的个数相等。
* Buffer中所有剩余的byte、char等都相同。
如你所见,equals只是比较Buffer的一部分,不是每一个在它里面的元素都比较。实际上,它只比较Buffer中的剩余元素。
9.compareTo()方法
compareTo()方法比较两个Buffer的剩余元素(byte,char),如果满足下列条件,则认为一个Buffer小于另外一个Buffer
* 第一个不相等的元素小于另一个Buffer中对应的元素.
* 所有元素都相等,但第一个Buffer比另外一个先耗尽.
10. scatter/gather.
- 分散(scatter)从Channel中读取是指在读操作时将读取的数据写入多个buffer,因此Channel将从Channel中读取的数据”分散(scatter)”到多个Buffer中.
- 聚集(gather)写入Channel是指在写操作时将多个buffer的数据写入同一个Channel,因此,Channel将多个Buffer中的数据”聚集”后发送.
- scatter / gather经常用于需要将传输的数据分开处理的场合,例如传输一个由消息头和消息体组成的消息,你可能会将消息体和消息头分散到不同的buffer中,这样你可以方便的处理消息头和消息体。
11.transferForm()
FileChannel的transferFrom()方法可以将数据从源通道传输到FileChannel中.
public class FileChannelTest {
public static void main(String[] args) {
try{
RandomAccessFile fromFile = new RandomAccessFile("1.cpp","rw");
FileChannel fromChannel = fromFile.getChannel();
RandomAccessFile tofile = new RandomAccessFile("fei.cpp","rw");
FileChannel toChannel = tofile.getChannel();
long position = 0;
long count = fromChannel.size();
toChannel.transferFrom(fromChannel,position,count);
}catch (FileNotFoundException e){
e.printStackTrace();
}catch (IOException t){
t.printStackTrace();
}
}
}
Selector 选择器
Select(选择器)是Java NIO 中能够检测一到多个NIO通道,并能够知晓通道是否为诸如读写事件做好准备的组件,这样,一个单独的线程就可以管理多个channel,从而管理多个网络连接.
1.通过调用Selector.open()方法创建一个Selector,如下:
Selector selector = Selector.open();
2.向Selector注册通道
channel.configureBlocking(false);
Selection key = channel.register(selector,Selectionkey.OP_READ);
与Selector一起使用时,Channel必须处于非阻塞模式下,这意味着不能将FileChannel与Selector一起使用,因为FileChannel不能切换到非阻塞模式,而套接字通道都可以.
可以监听四种不同类型的事件:
1. Connect
2. Accept
3. Read
4. Write
通道触发了一个事件意思是该事件已经就绪。所以,某个channel成功连接到另一个服务器称为“连接就绪”。一个server socket channel准备好接收新进入的连接称为“接收就绪”。一个有数据可读的通道可以说是“读就绪”。等待写数据的通道可以说是“写就绪”。
3.SelectionKey
当向Selector注册Channel时,register()方法会返回一个SelectionKey对象,这个对象包含一些你感兴趣的属性.
interest集合
ready集合
Channel
Selector
4.interest集合
interest集合是你选择的感兴趣的事件集合,可以通过SelectionKey读写interest集合,像这样:
int interestSet = selectionKey.interestOps();
boolean isInterestedInAccept = (interestSet & SelectionKey.OP_ACCEPT) == SelectionKey.OP_ACCEPT;
boolean isInterestedInConnect = interestSet & SelectionKey.OP_CONNECT;
boolean isInterestedInRead = interestSet & SelectionKey.OP_READ;
boolean isInterestedInWrite = interestSet & SelectionKey.OP_WRITE;
可以看到,用”位与”操作interest集合和给定的SelectionKey常量,可以确定某个确定的事件是否在interest集合中.
5.ready集合
ready 集合是通道已经准备就绪的操作的集合。在一次选择(Selection)之后,你会首先访问这个ready set。Selection将在下一小节进行解释。可以这样访问ready集合:
int readySet = selectionKey.readOps();
可以像检测interest集合那样,来检测channel中什么事件或操作已经就绪,但是,也可以使用以下四个方法,它们都会返回一个布尔类型:
selectionKey.isAcceptable();
selectionKey.isConnectable();
selectionKey.isReadable();
selectionKey.isWritable();
Channel + Selector
从SelectionKey访问Channel和Selector很简单,如下:
Channel channel = selectionKey,channel();
Selector selector = selectionKey.selector();
6.通过Selector选择通道
一旦向Selector注册了一个或多个通道,就可以调用几个重载的select()方法,这些方法返回你所感兴趣的事件(如连接,接受,读或写)已经准备就绪的那些通道,换句话说,如果你对”读就绪事件感兴趣”,select()方法会返回读事件已经就绪的那些通道.
1.int select() 阻塞到至少有一个通道在你注册的事件上就绪了.
2.select(long timeout)在timeout之内,有事件发生,返回,超时无事件也返回.
3.selectNow()不会阻塞,不管什么通道就绪立刻返回.没有事件返回0.
4.select()方法返回的int值表示有多少通道已经就绪。亦即,自上次调用select()方法后有多少通道变成就绪状态。如果调用select()方法,因为有一个通道变成就绪状态,返回了1,若再次调用select()方法,如果另一个通道就绪了,它会再次返回1。如果对第一个就绪的channel没有做任何操作,现在就有两个就绪的通道,但在每次select()方法调用之间,只有一个通道就绪了。
selectedKeys()
一旦调用了select()方法,并且返回值表明有一个或更多个通道就绪了,然后可以通过调用selector的selectedKeys()方法,访问”已选择键集”(selected key set )”中就绪通道.如下:
遍历这个已选择的键集合来访问就绪的通道:
Set selectedKeys = selector.selectedKeys();
Iterator keyIterator = selectedKeys.iterator();
while(keyIterator.hasNext()) {
SelectionKey key = keyIterator.next();
if(key.isAcceptable()) {
// a connection was accepted by a ServerSocketChannel.
} else if (key.isConnectable()) {
// a connection was established with a remote server.
} else if (key.isReadable()) {
// a channel is ready for reading
} else if (key.isWritable()) {
// a channel is ready for writing
}
keyIterator.remove();
}
这个循环遍历已选择键集中的每个键,并检测各个键多对应的通道的就绪事件.
注意每次迭代末尾的keyIterator.remove()调用。Selector不会自己从已选择键集中移除SelectionKey实例。必须在处理完通道时自己移除。下次该通道变成就绪时,Selector会再次将其放入已选择键集中。
SelectionKey.channel()方法返回的通道需要转型成你要处理的类型,如ServerSocketChannel或SocketChannel等。
wakeup()
某个线程调用select()方法后阻塞了,即使没有通道已经就绪,也有办法让其select()方法返回,只要让其它线程在第一个线程调用select()方法的那个对象上调用Selector.wakeup()方法即可,阻塞在select()方法上的线程会立马返回.
**如果有其它线程调用了wakeup()方法,但当前没有线程阻塞在select()方法上,下一个调用select()方法的线程会立即”醒来”.
close()
用完Selector后调用其close()方法会关闭Selector,且使注册到该Selector上的所有SelectionKey实例无效,通道本身不会关闭.
7.FileChannel.
FileChannel无法设置为非阻塞模式,它总是运行在阻塞模式下.
1.打开FileChannel
在使用FileChannel之前,必须先打开它,但是,我们无法直接打开一个FileChannel,需要通过使用一个InputStream,OutputStream或RandomAccessFile来获取一个FileChannel实例,
RandomAccessFile aFile = new RandomAccessFile("1.txt","rw");
FileChannel inChannel = aFile.getChannel();
2.从FileChannel读取数据
调用多个read()方法之一从FileChannel中读取数据. 如:
ByteBuffer buf = ByteBuffer.allocate(48);
int bytesRead = inChannel.read(buf);
3.向FileChannel写数据
使用FileChannel.write()方法向FileChannel写数据,该方法的参数是一个Buffer,如:
String newData = "New String to write to file..." + System.currentTimeMillis();
ByteBuffer buf = ByteBuffer.allocate(48);
buf.clear();
buf.put(newData.getBytes());
buf.flip();
while(buf.hasRemaining()){
channel.write(buf);
}
注意FileChannel.write()是在while循环中调用的,因为无法保证write()方法一次能向FileChannel写入多少字节,因此需要重复调用write()方法,直到Buffer已经没有尚未写入通道的字节.
4.关闭FileChannel
channel.close();
FileChannel的position方法.
有时可能需要在FileChannel的某个特定位置进行数据的读/写操作。可以通过调用position()方法获取FileChannel的当前位置。
也可以通过调用position(long pos)方法设置FileChannel的当前位置。
例子如下:
long pos = channel.position();
channel.position(pos +123);
如果将位置设置在文件结束之后,然后试图从文件中读取数据,该方法将返回-1—文件结束标志.
如果将位置设置在文件结束符之后,然后像通道中写数据,文件将撑大到当前位置并写入数据,这可能导致”文件空洞”,磁盘上物理文件中写入的数据间有空隙。
5.FileChannel的size()方法
FileChannel实例的size()方法返回的是该实例锁关联文件的大小.
long fileSize = channel.size();
6.FileChannel的truncate方法
可以使用FileChannel.truncate()方法截取一个文件,截取文件时,文件中指定长度后面的部分将被删除.
channel.truncate(1024).
7.FileChannel的force方法
FileChannel.force()方法将通道里尚未写入磁盘的数据强制写到磁盘上。出于性能方面的考虑,操作系统会将数据缓存在内存中,所以无法保证写入到FileChannel里的数据一定会即时写到磁盘上。要保证这一点,需要调用force()方法。
force()方法有一个boolean类型的参数,指明是否同时将文件元数据(权限信息等)写到磁盘上。
channel.force(true);
8.SocketChannel
SocketChannel 是一个连接到TCP网络套接字的通道.可以通过以下两种方式创建SocketChannel:
* 打开一个SocketChannel并连接到互联网上的某台服务器.
* 一个新连接到达ServerSocketChannel,会创建一个SocketChannel.
打开SocketChannel
1.打开SocketChannel
SocketChannel socketChannel =SocketChannel.open();
SocketChannel.connect(new InetSocketAddress(IP,80));
2.关闭SocketChannel
当用完SocketChannel之后调用SocketChannel.close()关闭SocketChannel:
socketChannel.close();
3.从SocketChannel读取数据
要从SocketChannel中读取数据,调用一个read()的方法之一,以下是例子:
ByteBuffer buf = ByteBuffer.allocate(48);
int bytesRead = socketChannel.read(buf);
首先,分配一个Buffer。从SocketChannel读取到的数据将会放到这个Buffer中。
然后,调用SocketChannel.read()。该方法将数据从SocketChannel 读到Buffer中。read()方法返回的int值表示读了多少字节进Buffer里。如果返回的是-1,表示已经读到了流的末尾(连接关闭了)。
4.从SocketChannel写数据
String newData = "New String to write to file..." + System.currentTimeMillis();
ByteBuffer buf = ByteBuffer.allocate(48);
buf.clear();
buf.put(newData.getBytes());
buf.flip();
while(buf.hasRemaining()){
channel.write(buf);
注意SocketChannel.write()方法的调用是在一个while循环中的。Write()方法无法保证能写多少字节到SocketChannel。所以,我们重复调用write()直到Buffer没有要写的字节为止。
5.非阻塞模式
可以设置SocketChannel为非阻塞模式,设置之后,就可以在异步模式下调用connect(),read()和write()。
connect()
如果SocketChannel在非阻塞模式下,此时调用connect(),该方法可能在连接建立之前就返回了,为了确定连接是否建立,可以调用finishConnect()的方法.像这样:
socketChannel.configureBlocking(false);
socketChannel.connect(new InetSocketAddress(IP,port));
while(!socketChannel.finishConnect()){
//wait,or do something else ...
}
write()
非阻塞模式下,write()方法在尚未写出任何内容时可能就返回了。所以需要在循环中调用write()。
read()
非阻塞模式下,read()方法在尚未读取到任何数据时可能就返回了。所以需要关注它的int返回值,它会告诉你读取了多少字节。
9.ServerSocketChannel
ServerSocketChannel 是一个可以监听进来的TCP连接的通道,就像标准IO中的ServerSocket一样,ServerSocketChannel.
例子:
ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
serverSocketChannel.socket().bind(new InetSocketAddress(9999));
while(true){
SocketChannel socketChannel = serverSocketChannel.accept();
}
1.打开ServerSocketChannel
通过调用ServerSocketChannel.open()方法来打开ServerSocketChannel;
ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
2.关闭ServerSocketChannel
通过调用ServerSocketChannel.close来关闭ServerSocketChannel.
3.监听新进来的连接
通过ServerSocketChannel.accept()方法监听新进来的连接,当accept()返回时,包含一个新进来的连接的SocketChannel.因此.accept()方法会一直阻塞到有新连接到达.
4.非阻塞模式
ServerSocketChannel可以设置成非阻塞模式。在非阻塞模式下,accept() 方法会立刻返回,如果还没有新进来的连接,返回的将是null。 因此,需要检查返回的SocketChannel是否是null.如:
ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
serverSocketChannel.socket().bind(new InetSocketAddress(9999));
while(true){
SocketChannel socketChannel = serverSocketChannel.accept();
if(socketChannel != null){
//do something with socketChannel.
}
}
10 Pipe
管道是2个线程之间的单向数据连接,Pipe有一个source通道和一个sink通道,数据会被写到sink通道,从source通道读取.
1.创建管道
通过Pipe.open()方法打开管道.
Pipe pipe = Pipe.open();
2.向管道中写数据
Pipe.SinkChannel sinkChannel = pipe.sink();
通过调用SinkChannel的Write()方法,将数据写入到SinkChannel,像这样:
String
String newData = "New String to write to file..." + System.currentTimeMillis();
ByteBuffer buf = ByteBuffer.allocate(48);
buf.clear();
buf.put(newData.getBytes());
buf.flip();
while(buf.hasRemaining()){
channel.write(buf);
3.从管道中读取数据
Pipe.SourceChannel sourceChannel = pipe.source();
ByteBuffer buf =ByteBuffer.allocate(48);
int bytesRead = sourceChannel.read(buf);
read()方法的返回值int会告诉我们多少自己被读进了缓冲区.