2011年01月_fleplf

01月

原创关于读取大文本文件

昨天晚上开始着手写这个程序，看了很多网上的方法，用文件流，用多线程。本来想用多线程来处理，一个线程读文件，读到一个一个缓存中，然后再调用一个线程一个一个处理这些缓存，写到每个小文件中，从而实现分割，但是尝试了下，发现不知道线程到底处理到哪里了，而且读，写文件也有很大的问题，不知道如何从读完了第一个大小的文件，再如何从刚刚读完的地方读下一个文件，搞了半天分割了文件却都是同一个内容。这个还在慢慢研究，我想多线程的先放放，看看是不是写个日志监控下，先吧分割文件的解决了，不知道是用文件流读起来比较快

2011-01-25 20:51:00 1234

原创关于大文本文件分割的问题

<br /> 今天在公司要处理日志文件，一个文件解压下来8G多，在本地用UE打开，由于要查找错误，必须通过关键字查找，UE承受不了，或者说我的电脑承受不了，找不了那么大的文件，卡死了，只能把UE关了，重来还是不行。后来在unix系统下查看，说那个unix系统配置比较高，用more查看，搜索关键字，间隔100多行的还好，间隔个几千几万行的也不行，卡死了，一直说在计算行数。<br /> 没办法，今天一定要把错误查清楚，只能用unix下的split命令把这个文件按1G划分，然后再查看，果

2011-01-24 18:04:00 7176