最近重温了下多线程,有了一些新的收获。其中就包括用多线程对大数据处理。
当然,在单核的的情况下,这也许不太能看出多线程的优势,因为只是时间片的分配,效率上不会有大的提升。然而在多核或者众多计算机连成的集群环境下,多线程并发执行必定能发挥其高效的特点。
以下demo暂不考虑多线程安全性的问题(因为是单个线程对象共享的是一个资源,所以没有用锁),以后会再补充。
package day18_threadio;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.RandomAccessFile;
public class IoThread implements Runnable
{
/*角标,控制读取的位置*/
private int step= 0;
/*保存要用到的线程个数*/
int n ;
/*原文件地址*/
File f = new File("/home/soft02/javabase50_copy.txt");
/*要拷贝到的目标文件地址*/
File copyFile = new File("/home/soft02/javabase502_copy.txt");
public IoThread(int n)
{
this.n = n;
}
public void run()
{
try
{
FileInputStream fis = new FileInputStream(f);
FileOutputStream fos = new FileOutputStream(copyFile,true);
RandomAccessFile raf = new RandomAccessFile(f,"rw");
/*没次读取文件的1/n到数组中*/
byte[] b1 = new byte[(int) (f.length()/n)];
raf.seek(step);//定位读取的开始位置
raf.read(b1);
fos.write(b1);//写进新文件
/*文件拷贝进度*/
float fl = ((float)step+f.length()/n)/f.length();
/*文件长度不能被线程数整除情况*/
if(f.length()%n!=0){
String process = (int)(fl*100)+1 +"%";
System.out.println("文件 "+process+" 部分拷贝完成!");
}
/*文件长度能被线程数整除情况*/
else{
String process = (int)(fl*100)+"%";
System.out.println("文件 "+process+" 部分拷贝完成!");
}
/*角标值加到文件大小的一半*/
step += f.length()/n;
} catch (Exception e)
{
e.printStackTrace();
}
}
}
package day18_threadio;
public class Main
{
public static void main(String[] args) throws InterruptedException
{
/*线程数*/
int n = 2;
IoThread it = new IoThread(n);
for(int x=0;x<n;x++){
Thread thx = new Thread(it);
thx.start();
thx.join();
}
}
}