- 博客(2)
- 资源 (6)
- 收藏
- 关注
原创 关于读取大文本文件
昨天晚上开始着手写这个程序,看了很多网上的方法,用文件流,用多线程。本来想用多线程来处理,一个线程读文件,读到一个一个缓存中,然后再调用一个线程一个一个处理这些缓存,写到每个小文件中,从而实现分割,但是尝试了下,发现不知道线程到底处理到哪里了,而且读,写文件也有很大的问题,不知道如何从读完了第一个大小的文件,再如何从刚刚读完的地方读下一个文件,搞了半天分割了文件却都是同一个内容。 这个还在慢慢研究,我想多线程的先放放,看看是不是写个日志监控下,先吧分割文件的解决了,不知道是用文件流读起来比较快
2011-01-25 20:51:00 1234
原创 关于大文本文件分割的问题
<br /> 今天在公司要处理日志文件,一个文件解压下来8G多,在本地用UE打开,由于要查找错误,必须通过关键字查找,UE承受不了,或者说我的电脑承受不了,找不了那么大的文件,卡死了,只能把UE关了,重来还是不行。后来在unix系统下查看,说那个unix系统配置比较高,用more查看,搜索关键字,间隔100多行的还好,间隔个几千几万行的也不行,卡死了,一直说在计算行数。<br /> 没办法,今天一定要把错误查清楚,只能用unix下的split命令把这个文件按1G划分,然后再查看,果
2011-01-24 18:04:00 7178
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人