DataExtraction 本工具可以从文件中按关键字提取数据和排序功能 [版本 0.88] BY Hong Wenjun

本工具可以从文件中按关键字提取数据和排序功能 [版本 0.88] BY Hong Wenjun

 

示例 1 ：D:/>DataExtraction.exe  "关键字"  D:/原始数据.txt

示例 2 ：D:/>DataExtraction.exe  /W   D:/原始数据.txt  -S

示例 3 ：D:/>DataExtraction.exe  ***  D:/原始数据.txt  -S

 

请输入一个关键字！！[ "关键字"    ***    /W    /D ] 按四种方式选择一种

*** 关键字  提取所有数据，和-S参数配合排序

/W  关键字 匹配纯字母，不包含数字

/D  关键字 匹配全数字，不包含字母

-S  参数   排序优化，删除重复数据

 

D:/>DE /W D:/600W.txt -s       //文件名改成DE.exe 方便使用

当前提取关键字：/W

>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

原来数据记录数目：6583939       新的数据记录数目：3235633

提取数据花费时间：9.578 秒

正在排序优化中，请等候....

排序优化后数据量：2981874       排序数据花费时间：7.532 秒

正在把数据写到新文件中......    如果数据重复,可以最后加参数 -S 优化排序

<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<保存新数据文件花费时间：17.438 秒

 

已经生成新的包含关键字的数据文件 newData.txt

 

工程项目 源代码 和 VC 和 GC 编译的 可执行文件 下载地址
http://cid-0604030941ce925d.office.live.com/self.aspx/CPPSourceCode/DataExtractionV88.7z

 

源代码，就一个文件 DataExtraction.cpp

 

#include <iostream>
#include <string>
#include <vector>
#include <algorithm>
#include <cstring>
#include <cctype>
#include <fstream>
#include <sstream>
// #define WIN32 //VC 编译器开关
#include <time.h>
#ifdef WIN32
#   include <windows.h>
#else
#   include <sys\time.h>
#endif
#ifdef WIN32
int gettimeofday(struct timeval *tp, void *tzp)
{
    time_t clock;
    struct tm tm;
    SYSTEMTIME wtm;
    GetLocalTime(&wtm);
    tm.tm_year     = wtm.wYear - 1900;
    tm.tm_mon     = wtm.wMonth - 1;
    tm.tm_mday     = wtm.wDay;
    tm.tm_hour     = wtm.wHour;
    tm.tm_min     = wtm.wMinute;
    tm.tm_sec     = wtm.wSecond;
    tm. tm_isdst    = -1;
    clock = mktime(&tm);
    tp->tv_sec = clock;
    tp->tv_usec = wtm.wMilliseconds * 1000;
    return (0);
}
#endif /* WIN32 */
using std::stringstream;
using std::vector;
using std::string;
using std::fstream;
void help(); // 调用使用帮助
bool isdigit(const std::string& str); // overload function  重载函数
bool isalpha(const std::string& str);
stringstream & load_sstream(stringstream &oss, fstream &infile); // 加载文件到sstream
vector<string> & sortVecData(vector<string> & vecData); // 排序和删除重复

int main(int argc, char* argv[])
{
    using namespace std;
    if ((1 == argc)||(2 == argc)) {      //错误输入处理
        help();
        return -1;
    }
    string Value = argv[1];
    fstream inFile;
    inFile.open(argv[2],ios_base::in);
    if (!inFile) {
        cerr << "文件错误：不能打开输入文件: " << argv[2] << endl <<endl ;
        help();
        return -1;
    }
    bool sortData = false;     // 排序开关
    if (argc >= 4 && ('s' == argv[3][1] || 'S' == argv[3][1])) {
        sortData = true;
    }
    stringstream oss;
    ofstream ofDataFile;
    ofDataFile.open("newData.txt"); //保存到 新的数据档文件
    long ixold = 0, ixnew = 0;
    string::size_type pos;
    string  strData;
    vector<string> vecData;
    cout << "当前提取关键字：" << Value << endl;
    // 取时间断点
    timeval tv;
    gettimeofday(&tv, NULL);
    double cl = tv.tv_sec + (double)tv.tv_usec / 1000000;

    // while(getline(cin , inFile))      //整行处理，以备修改
    while (inFile >> strData) {          //数据文件 数据输入
        if ('/' == argv[1][0]) {
            //  /W  匹配纯字母，不包含数字
            if (isalpha(strData) && ('w' == argv[1][1] || 'W' == argv[1][1] ) ) {
                vecData.push_back(strData);
            }
            //  /D  匹配全数字，不包含字母
            if (isdigit(strData) && ('d' == argv[1][1] || 'D' == argv[1][1]) ) {
                vecData.push_back(strData);
            }
        } else {    //数据是否有关键字 Value  *** 全部提取
            if ('*' == argv[1][0]) {
                vecData.push_back(strData);
            } else {
                pos = strData.find(Value);
                if (pos != string::npos  ) {
                    vecData.push_back(strData);      //数据记录到容器
                }
            }
        }
        ixold++;  //旧数据计数器
        if (ixold % 100000 == 0) cout << ">";
    }
    gettimeofday(&tv, NULL);
    cl = (tv.tv_sec + (double)tv.tv_usec / 1000000) - cl;
    cout << "\n原来数据记录数目：" << ixold << "\t";
    cout << "新的数据记录数目：" << vecData.size() << endl;
    cout << "提取数据花费时间：" << cl << " 秒\n";
    if (sortData) {
        cout << "正在排序优化中，请等候....\n";
        gettimeofday(&tv, NULL);
        cl = tv.tv_sec + (double)tv.tv_usec / 1000000;

        sortVecData(vecData);  //数据排序 删除重复
        cout << "排序优化后数据量：" << vecData.size() << "\t";
        gettimeofday(&tv, NULL);
        cl = (tv.tv_sec + (double)tv.tv_usec / 1000000) - cl;
        cout << "排序数据花费时间：" << cl << " 秒\n";
    }
    cout << "正在把数据写到新文件中......\t如果数据重复,可以最后加参数 -S 优化排序\n" ;
    gettimeofday(&tv, NULL);
    cl = tv.tv_sec + (double)tv.tv_usec / 1000000;
    vector<string>::iterator iter = vecData.begin();
    while (iter != vecData.end()) {
        oss << *iter++ << endl;  //数据写到文件
        if (ixnew++ % 100000 == 0) cout << "<";    //新数据计数器
    }
    ofDataFile <<oss.str();
    gettimeofday(&tv, NULL);
    cl = (tv.tv_sec + (double)tv.tv_usec / 1000000) - cl;
    cout << "保存新数据文件花费时间：" << cl << " 秒\n";
    cout << "\n已经生成新的包含关键字的数据文件 newData.txt" << endl;
    inFile.close();
    ofDataFile.close();
    return 0;
}
// overload function  重载函数 isdigit
bool isdigit(const std::string& str)
{
    bool flag=true;
    for(std::string::size_type i=0; i<str.length(); i++) {
        while(!isdigit(str[i])) {
            flag=false;
            break;
        }
    }
    return flag;
}
bool isalpha(const std::string& str)
{
    bool flag=true;
    for(std::string::size_type i=0; i<str.length(); i++) {
        while(!isalpha(str[i])) {
            flag=false;
            break;
        }
    }
    return flag;
}
void help()
{
    using std::cerr;
    cerr << "本工具可以从文件中按关键字提取数据和排序功能 [版本 0.98] BY Hong Wenjun\n\n";
    cerr << "示例 1 ：D://>DataExtraction.exe  \"关键字\"  D://原始数据.txt  \n" ;
    cerr << "示例 2 ：D://>DataExtraction.exe  /W   D://原始数据.txt  -S\n" ;
    cerr << "示例 3 ：D://>DataExtraction.exe  ***  D://原始数据.txt  -S\n\n" ;
    cerr << "请输入一个关键字！！[ \"关键字\"    ***    /W    //D ] 按四种方式选择一种\n";
    cerr << "*** 关键字  提取所有数据，和-S参数配合排序\n";
    cerr << "/W  关键字 匹配纯字母，不包含数字\n";
    cerr << "/D  关键字 匹配全数字，不包含字母\n";
    cerr << "-S  参数   排序优化，删除重复数据\n";
}

stringstream & load_sstream(stringstream &oss, fstream &infile) // 加载文件到sstream
{
    oss << infile.rdbuf();
    return oss;
}

vector<string> & sortVecData(vector<string> &vecData) // 排序和删除重复 数字序列
{
    sort(vecData.begin(), vecData.end());  //数据排序
    vector<string>::iterator end_unique = unique(vecData.begin(), vecData.end());  // 移动重复到最后
    vecData.erase(end_unique, vecData.end());  //删除重复
    return vecData;
}