数据转存小任务总结

最新推荐文章于 2024-09-19 11:19:54 发布

mwkfeng

最新推荐文章于 2024-09-19 11:19:54 发布

阅读量1.6k

点赞数

分类专栏： Database 文章标签：任务 sqlite null 数据库 insert fp

本文链接：https://blog.csdn.net/mwkfeng/article/details/5903163

版权

Database 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

本文介绍了作者在完成一个数据转存任务的过程中，使用SQLite数据库进行数据导入的经验。首先，将TXT文本转换为Unicode格式，然后通过C语言编写程序，提取数据并构造SQL插入语句。接着，将Unicode文本转换为ANSI格式，通过SQLite执行批量添加记录。文章还讨论了在VC环境下使用SQLite的注意事项，包括字符串特殊字符处理、事务使用以及性能优化，如使用索引来提高查询速度。

摘要由CSDN通过智能技术生成

师兄给了个小任务，用 sqlite 建个数据库文件，里面建立一张表 (DictCnToEn) ，属性项为： ID,Cn,En,Symbol 。将一个有相关数据的 txt 文本导入其中。用 C 写完这个东西，感觉学到了不少东西，主要是字符编码，还有数据库操作的知识。

之前对编码和数据库的编程不熟悉，过程有点曲折，但最后做出来的步骤很简单：

1. 将 txt 文本转成 Unicode 格式，从文件读入文本内容。

2. 提取出感兴趣的内容，并做成数据库命令的格式，输出到文本，还是 Unicode 格式。

3. 将文本文件的编码转化成 ANSI 格式后，操作数据库从文件读入命令来添加记录。

4. 优化和完善。

具体过程是这样的：

1. 先将文本转成 Unicode 格式，因为 Unicode 编码方式中每个字符都是两个字节。

在 C/C++ 中定义双字节字符 ( 也可称宽字符 ) 可以使用 wchar_t, wchar_t 原型是 unsigned short 型的整数，占两个字节。使用宽字符串常量需要加大写 L ，例如 wchar_t s[] = L” 中文是 chinese”; s[] 的大小就是 11 个宽字符 *sizeof(wchar_t), 即 22 个字节，其中字符串结尾的标记也是两个字节，即 0x0000 。

对于宽字符串，使用的库函数也相应地改变了，比如单字节字符串操作 strcpy ， strlen ， strstr 变成了 wcscpy ， wcslen ， wcswcs 。同样，文件输入输出函数， fgetc, fgets, fputc, fputs ，相应变成了 fgetwc, fgetws, fputwc, fputws 等，但是参数的类型除 char 变成 wchar_t 外，其他都没有变化。

2. 提取感兴趣的内容，主要用到 wcswcs() 函数查找作为标记的子串，通过简单的方法，将需要的内容提取出来。输出到文件中的格式为数据库查询命令的格式。比如在一行中提取到一组 (“ 中文 ”, “chinese”, “sn2ji”) ，那么就做成形如 insert into DictCnToEn values(NULL, ' 中文 ', 'chinese', 'sn2ji') 的格式保存到文件，每一组对应一条 insert 语句。这样一来，就能通过文件方便地添加记录至 sqlite.

转换格式的代码：

#include <stdio.h> #include <stdlib.h> #include <sqlite3.h> #include <windows.h> const int MAX_CHAR_IN_LINE = 330; const int MAX_CHAR_EN = 330; const int MAX_CHAR_CN = 330; const int MAX_CHAR_SYM = 330; bool Iss(wchar_t ch) { if(ch==L' ' || ch==L'/t') return true; return false; } int main() { FILE *f1, *f2; f1 = fopen("D://task//test//data.txt", "rb"); //二进制只读, 读入原数据文件 f2 = fopen("D://task//test//sql.txt", "wb"); //二进制只写 wchar_t ch; //一个宽字符 wchar_t *pLine, *pEn, *pCn, *pSym; //整行，中文，英文，音标 pLine = (wchar_t *)malloc(MAX_CHAR_IN_LINE*sizeof(wchar_t)); //给一行字符分配空间两字节 pEn = (wchar_t *)malloc(MAX_CHAR_EN*sizeof(wchar_t)); pCn = (wchar_t *)malloc(MAX_CHAR_CN*sizeof(wchar_t)); pSym = (wchar_t *)malloc(MAX_CHAR_SYM*sizeof(wchar_t)); //读Unicode文件头,(两个字节) ch = fgetwc(f1); fputwc(ch, f2); int cnt = 0; //统计命令条数 fputws(L"begin transaction|/r/n", f2); cnt++; while(fgetws(pLine, MAX_CHAR_IN_LINE, f1)!=NULL) { int len = wcslen(pLine); //wcslen()计算长度 if(cnt%10000==0) //每一万条记录使用事务写入一次 { fputws(L"commit transaction|/r/n", f2); fputws(L"begin transaction|/r/n", f2); cnt++; cnt++; } //找英文单词定义英文段为开始至"<"之前 wchar_t *pSt = pLine; wchar_t *pEd = wcswcs(pLine, L"<"); if(pEd==NULL) { printf("Line %d 找不到英文段的结束符</n", cnt); } while(pSt < pLine+len && Iss(*pSt)) pSt++; while(pEd > pSt && Iss(*(pEd-1))) pEd--; wchar_t *idxEn = pEn; wchar_t *idxLine = pSt; while(idxLine != pEd) { *idxEn = *idxLine; idxEn++; idxLine++; } *idxEn = 0; //字符串以0结尾 //英文搞定 //找中文解释定义中文解释段为"<2>"之后，换行符"/r/n"之前 (需要处理中文解释/n) pSt = wcswcs(pLine, L"<2>"); if(pSt==NULL) { printf("Line %d 找不到中文开始<2>/n", cnt); } pSt += 3; pEd = wcswcs(pLine, L"/r/n"); while(pSt < pLine+len && Iss(*pSt)) pSt++; while(pEd > pSt && Iss(*(pEd-1))) pEd--; idxLine = pSt; wchar_t *idxCn = pCn; while(idxLine != pEd) { if(*idxLine==L'n' && *(idxLine-1)==L'//') //处理中文解释中的'/n' { *(idxCn-1) = 13; *idxCn = 10; idxLine++; idxCn++; continue; } *idxCn = *idxLine; idxCn++; idxLine++; } *idxCn = 0; //中文搞定 //找注释, 定义注释为"<1>"之后,"<2>"之前 pSt = wcswcs(pLine, L"<1>"); if(pSt!=NULL) //有注释 { pSt += 3; pEd = wcswcs(pLine, L"<2>"); if(NULL==pEd) { printf("Line %d 找不到注释的结束符<2>",cnt); } while(pSt < pLine+len && Iss(*pSt)) pSt++; while(pEd > pSt && Iss(*(pEd-1))) pEd--; idxLine = pSt; wchar_t *idxSym = pSym; while(idxLine != pEd) { *idxSym = *idxLine; idxSym++; idxLine++; } *idxSym = 0; } else //如果无注释直接赋值为0 { *pSym = 0; } //格式化为insert into DictCnToEn values(NULL, '中文', '英文', '注释')| fputws(L"insert into DictCnToEn values(NULL, '", f2); fputws(pCn, f2); fputws(L"', '", f2); fputws(pEn, f2); fputws(L"', '", f2); fputws(pSym, f2); fputws(L"')|/r/n", f2); cnt++; } fputws(L"commit transaction|/r/n", f2); cnt++; //printf("%d/n", cnt); fclose(f1); fclose(f2); return 0; } /* 函数名：wcswcs 用法：wchar_t* wcswcs(wchar_t* src, wchar_t* dist) 功能：在src字符串中查找dist字符串返回：如果找到，则返回src字符串中第一个出现dist的位置指针，否则返回NULL。 */ /* 函数名：fgetwc 用法：wchar_t fgetwc(FILE* fp) 功能：从fp所指向文件位置读入一个宽字符返回：如果执行成功，返回所读取的字符(两字节)；如果fgetwc()遇到文件结束符,则返回65535。 */ /* 函数名：fputwc 用法：wchar_t fgetwc(wchar_t ch, FILE* fp) 功能：向fp所指向文件位置写入一个宽字符返回值：返回写入的字符。 */ /* 函数名：fgetws 用法：wchar_t* fgetws(wchar_t* pLine, int len, FILE* fp) 功能：从fp所指向文件位置读入一个宽字符串，以0结尾返回：返回宽字符串的指针 */ /* 函数名：fputws 用法：wchar_t* fputws(wchar_t* pLine, fp) 功能：从fp所指向文件位置写入一个宽字符串，以0结尾返回：返回宽字符串的指针,文件结束返回NULL */ /* 通过winhex查看文件: ANSI编码文本文件无开始标志 Unicode编码的文本文件开始两个字节为FFFE(0xFEFF,65279) Unicode big endian开始两个字节为FEFF(0xFFFE,65534) UTF8编码的文本文件开始三个字节为EFBBBF */

添加记录至数据库的代码：

#include <stdio.h> #include <stdlib.h> #include <sqlite3.h> #include <windows.h> char head[500] = "insert into DictCnToEn values(NULL, '"; char *strCn; char ops1[400] = "', '"; char *strEn; char ops2[300] = "', '"; char *strSym; char tail[200] = "')"; int main(int argc, char* argv[]) { sqlite3 *db; int result; char * errmsg = NULL; char **dbResult; int nRow, nColumn; int i , j; int index; //打开数据库 result = sqlite3_open("D://task//Dict.db", &db); if( result != SQLITE_OK ) { printf("failed to open database!/n"); return -1; } FILE* fp; char *ex; fp = fopen("D://task//test//SaveToDatabase//sql(ansi-commit).txt", "rb"); ex = (char*)malloc(500); /* while((fgets(ex, 200, fp))!=NULL) { result = sqlite3_exec(db, ex, NULL, NULL, &errmsg ); }*/ //总数是457639个 int cnt = 457639; while(cnt--) { char ch; int pos = 0; while((ch=fgetc(fp))!='|') { ex[pos++] = ch; } ex[pos] = 0; result = sqlite3_exec(db, ex, NULL, NULL, &errmsg ); if(cnt%10000 == 0) { printf("%d/n", cnt); } } /* //查询 result = sqlite3_get_table( db, "select * from DictCnToEn", &dbResult, &nRow, &nColumn, &errmsg ); //result = sqlite3_exec( db, "select * from DictCnToEn", NULL, NULL, &errmsg ); if( SQLITE_OK == result ) { index = nColumn; printf( "total %d records/n", nRow ); for( i = 0; i < nRow ; i++ ) //有nRow个元组 { for( j = 0 ; j < nColumn; j++ ) //有nColumn个属性 { printf( "segment name:%s segment value:%s/n", dbResult[j], dbResult [index] ); ++index; } printf("-------/n"); } } sqlite3_free_table( dbResult ); */ sqlite3_close( db ); return 0; }

3. 如何在 VC 下使用 sqlite 数据库参见另两篇文章： VC 环境编译使用 sqlite 数据库全过程 [zz] 、 sqlite3 使用总结 [zz] 。

另外，发现只能将 ANSI 格式的字符串作为查询命令传递给 sqlite3_exec(); 所以还要先将刚刚得到的保存 sql 语句的 Unicode 文件转化成 ANSI 格式。

数据库的操作中遇到的三个问题。

第一个问题是得到了形如 insert into DictCnToEn values(NULL, ' 我是 ', 'I’m', ''), “I’m” 中的 ’ 和字符串前后的 ’ 相冲突了 ( 数据库会把 I’m 中的 ’ 当成当前字符串的结束 ) ，这个时候有两种解决方法：一是字符串的标记改成双引号 insert into DictCnToEn values(NULL, “ 我是 ”, “I’m”,””) ；二是在字符串中的 ’ 前再加一个 ’ ，如 insert into DictCnToEn values(NULL, ' 我是 ', 'I’’m', '') 。