我和我的输入提示--格式化输入文件

把原始文件进行格式化处理。去掉一些噪声内容。

原始文件的格式为:

前缀,查询词,权重,过滤信息|扩展信息

其中：前缀就好比市编号。每个市下面有自己的数据。要查询的时候就要指定市。

查询词，要显示的内容。

权重，最后会把符合条件的结果按照权重进行排序。【可以为空】

过滤信息，一个short类型的数字，最后的显示结果可以根据这个值进行过滤。可以获取指定过滤信息值的结果，或者指定区间的结果等。【可以为空】

扩展信息，最后显示在结果中，让结果显示的更加丰富。【可以为空】

格式化后文件的格式为：

在原始文件的前面增加了一项，为格式化后的内容

格式化查询词后的结果,前缀,查询词,权重,过滤信息|扩展信息

#include "isformat/FormatFile.h"
#include "util/ConfigReader.h"
#include "util/ReadBigFile.h"
#include "util/WriteBigFile.h"
#include "util/XHStrUtils.h"


int CFormatFile::RunFormat(const string & strFileIn, const string & strPath, const string & strFileOut)
{
        printf("path:%s; filein:%s; fileout:%s\n", strPath.c_str(), strFileIn.c_str(), strFileOut.c_str());
        string strPathNew = strPath;
        int iPos = strPath.size() - 1;
        for(; iPos > 0; iPos--) {
                if(strPath[iPos] != '\\') {
                        break;
                }
        }
        if(iPos == 0) {
                printf("error: RunFormat path error:%s\n", strPath.c_str());
                return -1;
        }
        strPathNew = strPathNew.substr(0, iPos + 1);
        m_strFileIn  = strPathNew + "/" + strFileIn;
        m_strFileOut = strPathNew + "/" + strFileOut;
        return Process();
}


int CFormatFile::Process()
{
        CReadBigFile fdR;
        CWriteBigFile fdW;
        CWriteBigFile fdWError;
        string strError = m_strFileIn + ".error";
        fdR.Open(m_strFileIn.c_str());
        fdW.Open(m_strFileOut.c_str());
        fdWError.Open(strError.c_str());


        char *p;
        map<string, int> mapHasCollected;
        while(fdR.GetLine(p)) {
                vector<string> vecSplit;
                XHStrUtils::StrTokenize(vecSplit, p, ",");
                if(vecSplit.size() < 2) {
                        string strErrMsg = "error:(less than 2 paramter)";
                        strErrMsg += p;
                        fdWError.WriteLine((const char *)strErrMsg.c_str());
                        continue;
                }
                string strValue = vecSplit[1];
                XHStrUtils::FiltNoiseSymbol(strValue); //去除噪音
                XHStrUtils::ToCase(strValue, false);   //转换成小写
                XHStrUtils::JoinMultiSpace(strValue);  //把多个空格合并成一个
                XHStrUtils::trim(strValue);            //去除字符串两端的空格
                if(strValue.size() < 2) {
                        string strErrMsg = "error:(after format, less than 2 charater)";
                        strErrMsg += p;
                        fdWError.WriteLine((const char *)strErrMsg.c_str());
                        continue;
                }
                string strPreAndValue = vecSplit[0] + "#" + strValue;
                if(mapHasCollected.find(strPreAndValue) != mapHasCollected.end()) {
                        string strErrMsg = "error:(has collected key)";
                        strErrMsg += p;
                        fdWError.WriteLine((const char *)strErrMsg.c_str());
                        continue;
                }
                mapHasCollected[strPreAndValue] = 1;
                string strResult = "";
                //把格式化好的新的放到最前面
                strResult = strValue + ",";
                strResult += p;
                fdW.WriteLine((const char *)strResult.c_str());
        }                     
        return 0;
}