自制工具：CSV代码生成器：自动生成CSV文件对应的C++实体类和字段类型解析代码

 

本文乃Siliphen原创，转载请注明出处：http://blog.csdn.net/stevenkylelee

  

更有开发效率地使用CSV文件

为了更有效率地使用CSV文件，我制作了一个工具：Code代码生成器。

这个工具可以对CSV文件进行简单地配置，自动生成这个CSV文件对应的C++数据结构和字段类型解析函数代码。

工程项目只要加入这些自动生成的代码，就可以更方便地使用来自CSV配置文件的数据。

用工具自动生代码，可以省去了手工编写、手工维护那些大量的、无聊繁琐的类型定义、数据转换的代码的过程，

还可以防止手工编程可能的错误。

工具截图如下：

CSV代码生成器的下载地址

 

http://download.csdn.net/detail/stevenkylelee/8546461

程序的CSV文件夹下有一些CSV文件，可供参考。

回顾一下之前写的CSV类

上次发的CSV解析类：《CSV文件格式解析器的实现：从字符串Split到FSM》

http://blog.csdn.net/stevenkylelee/article/details/38440663

资源下载页面评论的反响还不错。

无意中在网上也看到一些人基于我写的CSV类进行扩展、修改、发表博文的，

比如：《Cocos数据篇[3.4](5) ——CSV文件解析》

http://shahdza.blog.51cto.com/2410787/1614802

这哥们貌似对我的类进一步做了封装，支持更灵活、更细粒的数据访问。

自从写了那个CSV解析类后，我就在后来的几个cocos2d-x的项目中一直用它。

为了使用简单方便，我都是在程序运行初时，把所有的csv表读入内存保留，

用的时候查表获取数据，而不是需要时再读取磁盘。

这样做的好处不仅是使用简单，而且也加快了访问速度，

实时读取磁盘的速度太慢，如果csv表加密了的话，还要经过一层解密，

这些都可能会造成延迟卡顿。

若表太大不适合常驻内存，那么可能已经不适合用csv存储了，

应该考虑用Sqlite等数据库。

我的CSV类设计的接口很简单。

主要就是一个Parse解析函数，可以从内存中解析CSV数据。

一个GetGrid函数，返回解析的结果。

解析结果是一个vector< vecotr< string > > 类型的数据结构，

用来模拟二维数组，表示原始的CSV网格数据。

CSV类遵循SRP（单一职责原则），它的用处就是对CSV数据流进行解析。

在实际项目中使用自己的CSV类的总结

 

最早使用CSV类，我是写了一个函数，

把 vector< vecotr< string > > 原始CSV表数据转换成

unordered_map< string , unordered_map< string , string > > 来用。

这样的数据结构表示了它是一种用Key来访问内容的结构。

最外层的map的key是一个记录的key，

内层的map的key是这条记录的字段名。

 

图示如下：

 

 

对于以上的表，要访问Id为12的记录的TaskName字段的值可以这样做：

 

unordered_map< string , unordered_map< string , string > >  Table ;

.... // 调用函数，把vector< vector< stirng > > 原始CSV表数据转换成Table的类型。

Table[ "12" ][ "TaskName" ] ; // 访问数据

 

约定某一列为记录的Key，某一行为字段的Key进行数据转换。
数据转换的好处是，让代码更清晰，适应性更强。

要获取具体的值，不依赖于这个值所在的CSV表中的单元格位置。

只要索引的Key不变，单元格的位置改变是不影响的，

还是可以通过Key索引到内容。

 

在游戏项目中，经常会通过工厂函数创建出实体。

这些实体会根据配置的数据进行初始化。

我传给工厂Create函数的就是这个实体在CSV表中某条记录的Key，

表示用这条记录来创建实体。

因为之前的2级映射的数据结构是无类型的，所有的字段值都是string类型，

所以，在工厂函数中，就有了大量的数据类型转换函数，

atoi , atof , Split等把数据转换后再填到实体上。

结果，实体工厂函数塞满了大量的类型转换，把string转换成各种不同的类型。

 

有一天我突然觉得，某些CSV表字段太多，工厂函数实在太长，

每次创建一个实体，都要进行大量的数据类型转换，会影响性能。

转换应该只进行一次。

考虑了一段时间，我觉得应该为每个CSV表手工定义一个数据结构，预先转换好字段的值。

 

对于像这样的表：

 

 

应该有一个对应的数据结构：

例如 一个对应的头文件应该如下

 

#include <string>   
using namespace std ;  

// 道具信息数据结构  
class PropInfo  
{  

public:  

    // 字段的ID  
    string Id ;  

    // 字段的备注  
    string Remark ;  

    // 使用说明  
    int UseTip ;  

    // 价格  
    int Price ;  

} ; 

// 道具信息表。道具信息数据结构的集合  
unordered_map< string , Prop > TableProp ;

 

这个想法冒出后，在新的小项目中，

我就为每个CSV表手工建立了对应的XXX.h头文件，

头文件中，包含了这个表表示的实体class的定义，

并且配套了一个解析转换函数，

把从CSV原始数据中读入的string值转换成各种不同的实体字段的类型，然后对应赋值。

在程序运行初时，就把表类型都转换成对应的专属class数据结构，

原先的Create工厂函数，就消除了对字段做类型转换的职责。

 

这样干了一段时间后，发现用于配置的CSV表不断增多，

并且时常会在原有的表上进行增加，删除字段。

一直手工增加，维护那些对应的class类，写类定义，写类字段的解析转换代码，

让我感觉有点不太科学。

这些大量、无聊，重复、无技术含量的工作占用了我的精力和时间，

我的精力应该集中在更加高层的设计和算法的实现上。

 

观察自己写的那些代码，突然想到：这些代码是否可以用工具来自动生成和维护？

 

身为深圳华强北第一程序猿！

 

 

 

拒绝做码工！

拒绝写那些有规律的重复无聊的代码！

 

几年前在的一家公司就有尝试用过《动软.Net代码生成器》来做项目。

我不妨自己设计一个CSV代码生成器来替我做那些劳动。

 

 

CSV代码生成器对CSV表数据的规定

 

 

有了做这个工具的想法后，腾出了一些时间，用了几天设计和实现。

并且对表的结构做了一些定义，以便于能让工具正确作用在其上。

表数据有2种风格排列：字段横着排。字段竖着排。

 

字段横着排如下图：

 

 

第2行是字段的注释。

第3行是字段名。

从第4开始往后，是记录。记录是竖着堆叠的。

 

字段竖着排如下图：

 

 

第1列从第2行开始是字段的注释。

第2列从第2行开始是字段名。

从第3列第2行开始，是记录。记录横着向右排列。

 

这2种风格的表排列都是等价的，只是在Excel中看起来不同。

表的第一行用作保留。可以表示表本身的一些数据。

第一行第一列，目前有2种可能的取值：

FieldOrientation=Landscape

FieldOrientation=Portrait 

前者表示CSV表的字段是横向排列的，也就是第一种风格。

后者表示CSV表的字段是纵向排列的，第二种风格。

 

我写了一个类，输入CSV的原始数据，可以转换成逻辑上的用关键字索引的

unordered_map< string , unordered_map< string , string > > 结构，

内部通过CSV表第一行第一列单元格的内容进行判断。

 

代码如下：

头文件：

#pragma once

#include <string>
#include <unordered_map>
#include <vector>
using namespace std ;


typedef unordered_map< string , unordered_map< string , string > > TableWithKey ;

/*
	CSV原始网格型数据转换器。
*/
class CsvRawGridDataConvert
{
public:
	CsvRawGridDataConvert( );
	~CsvRawGridDataConvert( );

public :

	//转换成带关键字索引的表
	static void ToTableWithKey( 	const vector< vector< string > >& GridData , 
		unordered_map< string , unordered_map< string , string > >& Ret ) ;

private : 

	/*
	处理横向风格的表格
	KeyColumnIndex 指定主键列
	ColumnHeaderIndex 指定列头的行索引
	DataStartIndex 数据列开始的索引
	*/
	static void ProcessLandscape(
		const vector< vector< string > >& GridData ,
		unordered_map< string , unordered_map< string , string > >& Ret , 
		int KeyColIdx = 0 ,
		int HeaderRowIdx = 0 ,
		int RecordStartRowIdx = 1
		) ;

	/*
	处理纵向风格的表格
	*/
	static void ProcessPortrait(
		const vector< vector< string > >& GridData ,
		unordered_map< string , unordered_map< string , string > >& Ret ,
		int KeyRowIdx = 0 ,
		int HeaderColIdx = 0 ,
		int RecordRowIndex = 1
		) ;


};

实现文件：

#include "CsvRawGridDataConvert.h"


CsvRawGridDataConvert::CsvRawGridDataConvert( )
{
}


CsvRawGridDataConvert::~CsvRawGridDataConvert( )
{
}


void CsvRawGridDataConvert::ToTableWithKey( const vector< vector< string > >& GridData , unordered_map< string , unordered_map< string , string > >& Ret )
{
	// 通过 0,0 单元格判断表类型

	auto str = GridData[ 0 ][ 0 ] ;
	if ( str == "FieldOrientation=Landscape" )
	{
		ProcessLandscape( GridData , Ret , 0 , 2 , 3 ) ;
	}
	else if ( str == "FieldOrientation=Portrait" )
	{
		ProcessPortrait( GridData , Ret , 1 , 1 , 1 ) ;
	}

}


void CsvRawGridDataConvert::ProcessLandscape( const vector< vector< string > >& GridData , 
	unordered_map< string , unordered_map< string , string > >& Ret , 
	int KeyColIdx ,
	int HeaderRowIdx  ,
	int RecordStartRowIdx )
{
	Ret.clear( ) ;

	// 获取列名
	const auto& ColHeader = GridData[  HeaderRowIdx ] ;

	for ( size_t row = RecordStartRowIdx ; row < GridData.size( ) ; ++row )
	{
		const string& Key = GridData[ row ][ KeyColIdx ] ;

		auto& Row = Ret[ Key ] ;

		for ( size_t col = 0 ; col < GridData[ row ].size( ) ; ++col )
		{
			const string& ColName = ColHeader[ col ] ;
			Row[ ColName ] = GridData[ row ][ col ] ;
		}
		// end for

	}
	// end for


}

void CsvRawGridDataConvert::ProcessPortrait( const vector< vector< string > >& GridData , 
	unordered_map< string , unordered_map< string , string > >& Ret ,
	int KeyRowIdx  , 
	int HeaderColIdx , 
	int RecordRowIndex  )
{
	Ret.clear( ) ;

	for ( size_t row = RecordRowIndex ; row < GridData.size( ) ; ++row )
	{
		const auto& KeyRecord = GridData[ KeyRowIdx ][ RecordRowIndex ] ;

		const string& Key = GridData[ row ][ HeaderColIdx ] ;

		for ( size_t col = 0 ; col < GridData[ row ].size( ) ; ++col )
		{
			
			Ret[ KeyRecord ][ Key ] = GridData[ row ][ col ] ;
		}

	}


}

 

CSV代码生成器的使用

 

首先点击菜单“CSV文件 -> 打开CSV文件” 打开一个按照上述规定的CSV表。

可以打开多个不同的CSV表，这些CSV表以Tab页的形式排列。

然后可以设置每个表的每个字段的代码生成配置。

 

如下图：

 

 

上图中，可以设置字段的注释，字段的类型，字段的解析函数 等。

 

然后点“输出 -> 输出代码”

可以把这个CSV文件表示的C++类代码给生成出来。

生成的C++代码如下：

 

/*
本代码由“CSV代码生成器”生成。
该软件作者：Siliphen（李锋）
CSDN Blog：http://blog.csdn.net/stevenkylelee
*/

#pragma once

#include "SiliphenCodeGenHeader.h"



class Sprite
{

public:

	/*
	字段ID
	*/
	string Id ; 
	
	/*
	文件名
	*/
	string FileName ; 
	
	/*
	位置
	*/
	Point Position ; 
	
	/*
	透明度
	*/
	float Opacity ; 
	
	/*
	缩放
	*/
	float Scale ; 
	
	/*
	本地Z序
	*/
	int LocalZOrder ; 
	
	/*
	全局Z序
	*/
	int GlobalZOrder ; 
	
	/*
	锚点
	*/
	Point AnchorPoint ; 
	
	

};



// CSV数据表转换器
class CsvTableConvertSprite
{
public:

	// CSV数据表转换成实体数据表
	static void Convert( const unordered_map< string , unordered_map< string , string > >& csvTable , unordered_map< string , Sprite >& Table )
	{
		const string* pStr = 0 ;

		for ( auto it = csvTable.begin( ) , end = csvTable.end( ) ; it != end ; ++it )
		{

			const auto& Ci = it->second ; 
			
			Sprite item ; 
			
			pStr = &Ci.find( "Id" )->second ; 
			Parser::ParseString( *pStr , item.Id ) ; 
			
			pStr = &Ci.find( "FileName" )->second ; 
			Parser::ParseString( *pStr , item.FileName ) ; 
			
			pStr = &Ci.find( "Position" )->second ; 
			Parser::ParsePoint( *pStr , item.Position ) ; 
			
			pStr = &Ci.find( "Opacity" )->second ; 
			Parser::ParseFloat( *pStr , item.Opacity ) ; 
			
			pStr = &Ci.find( "Scale" )->second ; 
			Parser::ParseFloat( *pStr , item.Scale ) ; 
			
			pStr = &Ci.find( "LocalZOrder" )->second ; 
			Parser::ParseInt( *pStr , item.LocalZOrder ) ; 
			
			pStr = &Ci.find( "GlobalZOrder" )->second ; 
			Parser::ParseInt( *pStr , item.GlobalZOrder ) ; 
			
			pStr = &Ci.find( "AnchorPoint" )->second ; 
			Parser::ParsePoint( *pStr , item.AnchorPoint ) ; 
			
			Table[ item.Id ] = item ; 
			
			

		} // end for

	}

};

 

以上生成的代码实际上和cocos2d-x的Sprite类名冲突了。

可以设置生成的实体类名，比如，加一个前缀：CiSprite，CfgSprite什么的。

Ci：ConfigItem 配置项。Cfg：Config。

应该为这些自动生成的类加一个统一的前缀或者后缀，防止名字冲突。

我个人比较喜欢前缀的做法，这会让有相同前缀的东西以列表形式在一起显示时排列很整齐。

 

工具只生成头文件，字段类型解析转换的实现代码也放到头文件中。

Remark字段没生成出来，因为设置中，没有勾选“是否生成代码”。

每个字段从string的解析函数也生成了。

但解析的过程，是调用一些Parser::ParseXXX方法。

 

每个头文件都会有一句：#include "SiliphenCodeGenHeader.h"。

每次“输出代码”都会复制程序的“Prefabs”文件夹下的所有文件到目标目录中。

这个 SiliphenCodeGenHeader.h 头文件就是从 Prefabs文件夹下复制的。

如果用户想修改SiliphenCodeGenHeader.h 里面的内容，可以到程序的Prefabs文件夹下修改原始模板。

SiliphenCodeGenHeader.h头文件中，会包含#include "Parser.h"，

这个 Parser.h 有一些默认的Parser::ParseXXX 方法的实现。我自己编写的默认实现 ^_^

 

如果用户设置的字段是一种工具不知道的类型，那怎么自动生成代码呢？

比如有一个是UserCustom类型的字段。

在“类型”一栏中输入用户自定义的类型名。

在”解析函数“一栏中输入自己实现的解析函数名。

如下图：

 

 

解析函数名的签名应该是：void ( const string& str , 用户自定义类型& Ret )

在工具的Prefabs文件夹下编写MyParser类，

实现 staitcvoid ParseUserCustom(const string& str,UserCustom& Ret ) 函数。

然后在 SiliphenCodeGenHeader.h 中加上一句 #include "MyParser.h" 包含自己写的类的头文件就可以了。

 

工具会自动在Convert函数中生成调用 MyParser::ParseUserCustom 的语句。

其实，我的工具类似QT的代码生成系统。

 

输出代码的话，会把所有打开的CSV文件的一并输出代码到目标目录下，如下图：

 

 

 

 

用户配置完每个CSV文件的每个字段后，希望保存这些配置以便于下次使用。

有时候，一个CSV表增加了一些字段，会想用工具再生成一次代码，

而之前的配置过的字段不想再重新配置。

用户只需要点“配置->保存配置”，保存下当前的配置即可。

工具会记下，当前打开了多少个CSV文件，这些CSV文件的字段是如何配置的。

当一些CSV表结构改变时，从CSV中删除的字段不会在工具中显示，

从CSV表中增加的字段会显示出来，使用默认的配置。

 

使用工具生成的代码的流程

 

Setp 1 :

先用指定平台的文件读取函数，把整个CSV文件从磁盘读到内存。

比如C语言的fopen，Win32的CreateFile , QT，cocos2d-x 引擎的文件读取函数。

 

Setp2 :

使用我的CSV类的Parse方法解析内存的CSV数据流。

也许CSV文件需要加密，用户自己处理解密再把明文数据传给CSV类解析。

这一步会得到CSV原始网格数据，数据结构是：vector< vector< string > >

 

Setp3 :

把 Setp 2 的结果转换为使用关键字Key来索引数值的结构：

unordered_map< string , unordered_map< string , string > >

使用这种数据结构的代码更易读、易维护。

这一步会把各种不同数据组织的表转换成统一的格式，屏蔽差异方便下一步处理。

上面我提供了一份自己的实现。

 

Setp4.

把 Setp 3 的结果，传给工具自动生成的解析函数。

这一步会输出另一种指定结构的表，记录的字段有专有的数据类型。

到了这一步，表数据才是程序最终能直接使用的数据类型。

 

工具其实只是做第4步的自动化工作。

注意，工具要求CSV表具备指定的格式，

也就是上面说的纵向和横向排列的格式。

编写、使用这个工具的意义

在新的小项目中，我用自己的工具，生成了总共1000多行无趣的C++代码。

以后CSV表改变，也是用工具来重新生成一遍代码，不人工修改。

也就是说，表结构的维护也交给工具了。

 

手工去编写那些代码虽然不难，也可能并不费时。

但会耗掉人的精力和时间。

想象一下，如果某个表增加了一个字段，那么，我们要去修改2个地方：

1.去那个表对应的class中增加一个字段。

2.去那个表对应的转换函数中增加对这个字段的转换代码的调用。

项目的文件稍微多点后，要找到表对应的class文件也需要一点精力。

干嘛要把精力放在这种事上呢，能省一点就算一点。

 

CSV表的字段注释修改了，那么也要去代码中手工修改那个字段的注释。

用工具只是点点鼠标的事，更加方便维护。

 

用工具其实更切合数据驱动的编程思想。

类可以通过CSV表的定义自动生成出来，

也就是说，CSV表的设置驱动了类代码的生成。

这刚好就是数据驱动的思想。

总结

自己动手丰衣足食。

写完这个工具蛮高兴的，可以给自己的工作带来些许方便。

使用工具也是一种流程化的建立，流程化是能提高生产力的。

也许这个工具现在还不完善，在以后的实践使用中，再慢慢完善它吧。