一种不太完善的OpenStreetMap字典汉化方法

已于 2022-07-12 15:51:29 修改
阅读量1.8k 收藏 1
点赞数
分类专栏： Qt OpenStreetMap&GIS
于 2017-08-14 09:20:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/goldenhawking/article/details/77152559
版权

根据世界地名词典，对OpenStreetMap进行汉化，使用了下面的代码。不太完善，这里仅贴出来。
地名字典在我的资源世界地名大词典下载。

#include <QCoreApplication>
#include <QDebug>
#include <QFile>
#include <QHash>
#include <QMap>
#include <QRegExp>
#include <QString>
#include <QSqlDatabase>
#include <QSqlError>
#include <QSqlQuery>
#include <QTextStream>
#include <QVector>

QHash <QString, QMap<int,QVector<QString> > >  make_dictionary(QSqlDatabase db);
void outputDictionary(QHash <QString, QMap<int,QVector<QString> > > dict);
void prepareToTranslate(const QHash <QString, QMap<int,QVector<QString> > > dict,
					   QSqlDatabase db,
					   const QString & tableName,
					   QVector<qint64> & vec_osmid,
					   QVector<QString> & vec_rawName,
					   QVector<QString> & vec_TransName
					   );
int main(int argc, char *argv[])
{
	QCoreApplication a(argc, argv);
	QTextStream Stdout(stdout,QIODevice::WriteOnly);
	QSqlDatabase db = QSqlDatabase::addDatabase("QPSQL");
	if (db.isValid()==false)
		return 0;
	db.setHostName("127.0.0.1");
	db.setDatabaseName("gis");
	db.setUserName("archosm");
	db.setPassword("archosm");
	if (db.open()==false)
	{
		Stdout << db.lastError().text()<<"\n";
		qDebug() << db.lastError().text();
		return 0;
	}
	try
	{
		QHash <QString, QMap<int,QVector<QString> > >   dict = make_dictionary(db);
		outputDictionary(dict);

		//! start to translate
		QSqlQuery queryWordsToTrans(db);

		const QString tableNames[4] = {
			QString("planet_osm_line"),QString("planet_osm_point"),QString("planet_osm_polygon"),QString("planet_osm_roads")
		};

		//输出
		QFile fpDict(QCoreApplication::applicationDirPath()+"/trans.txt");
		if (fpDict.open(QIODevice::WriteOnly)==false)
			return 0;
		QTextStream stout(&fpDict);
		QSqlQuery queryUpdate(db);
		queryUpdate.setForwardOnly(true);
		db.transaction();
		for (int i=0;i<4;++i)
		{
			QVector<qint64>  vec_osmid;
			QVector<QString>  vec_rawName;
			QVector<QString>  vec_TransName;
			prepareToTranslate(dict,db,tableNames[i],vec_osmid,vec_rawName,vec_TransName);
			QMap<QString, QString> map_trans;
			int nTransed = vec_osmid.size();
			for (int j=0;j<nTransed;++j)
				map_trans[vec_rawName[j]] = vec_TransName[j];
			QList<QString> key_raws = map_trans.keys();
			foreach (QString str_rawName, key_raws)
			{
				QString strTransName = map_trans[str_rawName];
				stout<<tableNames[i]<<","<<str_rawName<<","<<strTransName<<"\n";
				queryUpdate.prepare(QString("update %1 set name = ? , trans_name_chs = ? where name = ? and trans_name_chs is null;").arg(tableNames[i]));
				queryUpdate.addBindValue(str_rawName + ","+strTransName);
				queryUpdate.addBindValue(strTransName);
				queryUpdate.addBindValue(str_rawName);
				if (queryUpdate.exec()==false)
					throw queryUpdate.lastError().text();
				stout.flush();
				fpDict.flush();
			}
		}
		db.commit();
		fpDict.close();

	}
	catch (QString errMessage)
	{
		db.rollback();
		Stdout<<"Error!"<<errMessage<<"\n";
		qDebug()<<"Error!"<<errMessage;
	}

	db.close();


	Stdout<<"Finished!\n";
	qDebug()<<"Finished!";
	exit(0);
	return a.exec();
}

//预处理原始数据，生成词典
QHash <QString, QMap<int,QVector<QString> > >  make_dictionary(QSqlDatabase db)
{
	QVector<QString> lst_tails;
	//这些后缀去掉后，会得到更多的有效词根。
	lst_tails.push_back(QString::fromUtf8("国家野生动物保护区"));
	lst_tails.push_back(QString::fromUtf8("国家森林公园"));
	lst_tails.push_back(QString::fromUtf8("野生动物保护区"));
	lst_tails.push_back(QString::fromUtf8("森林公园"));
	lst_tails.push_back(QString::fromUtf8("国家公园"));
	lst_tails.push_back(QString::fromUtf8("深海平原"));
	lst_tails.push_back(QString::fromUtf8("海底峡谷"));
	lst_tails.push_back(QString::fromUtf8("断裂带"));
	lst_tails.push_back(QString::fromUtf8("自治区"));
	lst_tails.push_back(QString::fromUtf8("裂口"));
	lst_tails.push_back(QString::fromUtf8("盐湖"));
	lst_tails.push_back(QString::fromUtf8("内湖"));
	lst_tails.push_back(QString::fromUtf8("海岭"));
	lst_tails.push_back(QString::fromUtf8("环礁"));
	lst_tails.push_back(QString::fromUtf8("大区"));
	lst_tails.push_back(QString::fromUtf8("机场"));
	lst_tails.push_back(QString::fromUtf8("山口"));
	lst_tails.push_back(QString::fromUtf8("公园"));
	lst_tails.push_back(QString::fromUtf8("半岛"));
	lst_tails.push_back(QString::fromUtf8("冰川"));
	lst_tails.push_back(QString::fromUtf8("沙漠"));
	lst_tails.push_back(QString::fromUtf8("峡谷"));
	lst_tails.push_back(QString::fromUtf8("山谷"));
	lst_tails.push_back(QString::fromUtf8("海沟"));
	lst_tails.push_back(QString::fromUtf8("水道"));
	lst_tails.push_back(QString::fromUtf8("水库"));
	lst_tails.push_back(QString::fromUtf8("大坝"));
	lst_tails.push_back(QString::fromUtf8("神庙"));
	lst_tails.push_back(QString::fromUtf8("干河"));
	lst_tails.push_back(QString::fromUtf8("平原"));
	lst_tails.push_back(QString::fromUtf8("海岸"));
	lst_tails.push_back(QString::fromUtf8("群岛"));
	lst_tails.push_back(QString::fromUtf8("火山"));
	lst_tails.push_back(QString::fromUtf8("浅滩"));
	lst_tails.push_back(QString::fromUtf8("大桥"));
	lst_tails.push_back(QString::fromUtf8("洼地"));
	lst_tails.push_back(QString::fromUtf8("瀑布"));
	lst_tails.push_back(QString::fromUtf8("海峡"));
	lst_tails.push_back(QString::fromUtf8("熔岩"));
	lst_tails.push_back(QString::fromUtf8("岛"));
	lst_tails.push_back(QString::fromUtf8("湖"));
	lst_tails.push_back(QString::fromUtf8("湾"));
	lst_tails.push_back(QString::fromUtf8("山"));
	lst_tails.push_back(QString::fromUtf8("河"));
	lst_tails.push_back(QString::fromUtf8("滩"));
	lst_tails.push_back(QString::fromUtf8("村"));
	lst_tails.push_back(QString::fromUtf8("市"));
	lst_tails.push_back(QString::fromUtf8("坝"));
	lst_tails.push_back(QString::fromUtf8("港"));
	lst_tails.push_back(QString::fromUtf8("区"));
	lst_tails.push_back(QString::fromUtf8("县"));
	lst_tails.push_back(QString::fromUtf8("省"));
	lst_tails.push_back(QString::fromUtf8("礁"));
	lst_tails.push_back(QString::fromUtf8("角"));
	lst_tails.push_back(QString::fromUtf8("峰"));
	lst_tails.push_back(QString::fromUtf8("站"));
	lst_tails.push_back(QString::fromUtf8("岭"));
	const int remvSz = lst_tails.size();
	QSqlQuery query(db);
	query.setForwardOnly(true);
	if (false == query.exec("select * from national_place_names"))
		throw query.lastError().text();
	QHash <QString, QMap<int,QVector<QString> > >  hash_dict;
	//Make dictionary
	while (query.next())
	{
		const QString raw_name = query.value("place_name").toString()
				.replace("<u>","")
				.replace("</u>","")
				.replace("<rt>","")
				.replace("</rt>","")
				.replace("<ruby>","")
				.replace("</ruby>","");
		const QString raw_trans = query.value("trans_name").toString();
		///Replace some split comma.
		//! Replace "见"
		QStringList lst_raw_name = raw_name.split(QRegExp(QString::fromUtf8("[〈〉见，()]")),QString::SkipEmptyParts);
		if (lst_raw_name.size())
		{
			QString word = lst_raw_name.first();
			QString upperKey = word.toUpper().trimmed();
			upperKey.replace(QRegExp(QString::fromUtf8("[ ,，　]")),"_");
			upperKey.replace("-","_");
			upperKey.replace(".","_");
			QStringList listWordsKey = upperKey.split("_");
			int n = listWordsKey.size();
			for (int i = 0 ;i < n; ++i)
			{
				QString finalKey;
				for (int j = 0;j<=i;++j)
				{
					if (j)
						finalKey += "_";
					finalKey += listWordsKey.at(j);
				}
				//CHS
				QStringList chslists = raw_trans.split(QRegExp(QString::fromUtf8("[()（），；。]")),QString::SkipEmptyParts);
				if (chslists.size())
				{
					bool bfound = false;
					int deleted = 0;
					QString chs_value = chslists.first();
					do
					{
						bfound = false;
						for (int k = 0; k< remvSz ;++k)
						{
							if (chs_value.endsWith(lst_tails[k]))
							{
								QString newv = chs_value.left(chs_value.length()-lst_tails[k].length());
								if (newv.size())
								{
									bfound = true;
									chs_value = newv;
									++deleted;
									break;
								}
							}
						}//end for (int k = 0; k< remvSz && bfound==true;++k)
					}while (bfound); //end do remove laterFix
					hash_dict[finalKey][deleted-i].push_back(chs_value);

				}//end if (chslists.size())
			}//end for i = 1 ~ n n = listWordsKey.size();
		}//end if (lst_raw_name.size())
	}
	return hash_dict;
}

void outputDictionary(QHash <QString, QMap<int,QVector<QString> > > dict)
{
	QFile fpDict(QCoreApplication::applicationDirPath()+"/dict.txt");
	if (fpDict.open(QIODevice::WriteOnly)==false)
		return;
	QTextStream stout(&fpDict);
	QList<QString> words = dict.keys();
	std::sort(words.begin(),words.end());
	foreach (QString word, words)
	{
		stout<<word<<":";
		const QMap<int,QVector<QString> >  & vals = dict[word];
		QList<int> simrts = vals.keys();
		foreach (int simrt, simrts)
		{
			stout<<simrt<<"={";
			const QVector<QString> & transs = vals[simrt];
			const int nPoss = transs.size();
			for(int i=0;i<nPoss;++i)
				stout<<transs[i]<<",";
			stout<<simrt<<"}; ";
		}
		stout<<"\n";
	}
	fpDict.close();
}

void prepareToTranslate(QHash <QString, QMap<int,QVector<QString> > > dict,
					   QSqlDatabase db,
					   const QString & tableName,
					   QVector<qint64> & vec_osmid,
					   QVector<QString> & vec_rawName,
					   QVector<QString> & vec_TransName
					   )
{
	QSqlQuery query(db);
	query.setForwardOnly(true);
	if (false == query.exec(QString("select osm_id,name from %1 where name > ' ';").arg(tableName)))
		throw query.lastError().text();
	while (query.next())
	{
		qint64 osmid = query.value(0).toLongLong();
		const QString strRawName = query.value(1).toString();
		QString transName;
		if (strRawName.size()>1)
		{
			QString upperKey = strRawName.toUpper().trimmed();
			upperKey.replace(QRegExp(QString::fromUtf8("[ ,，　]")),"_");
			upperKey.replace("-","_");
			upperKey.replace(".","_");
			QStringList listWordsKey = upperKey.split("_");
			int n = listWordsKey.size();
			if (n )
			{
				for (int i = n-1 ;i >=0; --i)
				{
					QString finalKey;
					for (int j = 0;j<=i;++j)
					{
						if (j)
							finalKey += "_";
						finalKey += listWordsKey.at(j);
					}
					if (dict.contains(finalKey))
					{
						if (finalKey.size()>3)
						{
							if (transName.size())
								transName +="_";
							transName += dict[finalKey].first().first();
							for (int j = 0; j<=i;++j)
								listWordsKey.pop_front();
						}
						break;
					}
					if (i<2)
						break;
				}
			}
		}
		if (transName.size())
		{
			vec_osmid.push_back(osmid);
			vec_rawName.push_back(strRawName);
			vec_TransName.push_back(transName);
		}
	}
}
丁劲犇
关注
专栏目录
Python零基础入门篇㉕〗- Python字典的常用方法
易编橙 · 终身成长社群，相遇已是上上签！
03-02 4万+
看到 [ ] 我们就会想到列表和元组中利用中括号获取成员(元素)的索引，或者是利用索引对成员(元素)进行修改的操作，但是中括号在字典中的的用法却并非如此。
【SpringBoot】24、SpringBoot中实现数据字典
热门推荐
Asurplus
07-17 23万+
数据字典是指对数据的数据项、数据结构、数据流、数据存储、处理逻辑等进行定义和描述，其目的是对数据流程图中的各个元素做出详细的说明，使用数据字典为简单的建模项目
使用hstore实现OpenStreetMap瓦片汉化-附件资源
03-05
使用hstore实现OpenStreetMap瓦片汉化-附件资源
使用hstore实现OpenStreetMap瓦片汉化
丁劲犇技术发布空间
12-30 4703
就着2018年元旦的契机，我的ArchLinux Openstreetmap服务器要导入近期的数据，再一次遇到了汉化的问题。这一次，不准备用过时的地名大字典来匹配了。采用OpenStreetMap官方的国际化策略，可以方便的得到地名汉语标记。...
OpenStreetMap初探（一）——了解OpenStreetMap
Mr.An 的专栏
04-17 8万+
1、 开始关注OpenStreetMap始于此博文：《微软对抗谷歌的秘密武器：开源地图OpenStreetMap》  http://news.csdn.net/a/20120328/313612.html 另外可以参看：《共享免费地图：OpenStreetMap》http://www.oschina.net/question/12_620 感兴趣但不太了解的可以参考维基和百度百科：http:
OpenStreetMap矢量图_中国
11-18
OpenStreetMap是一个可供自由编辑的世界地图，它是由像您这样的用户创造的。OpenStreetMap允许您查看，编辑或者使用世界各地的地理数据来帮助您
openStreetMap (winform Demo) 2点间的用线标注以及点的确认
11-10
代码已经做了共通处理，完成了输入城市名称，完成标记以及标注。 对于2城市之间进行了线的标注，可以自己进行颜色的配置。
python修改字典里面的某一个值_2种修改python字典内的值方法总结
weixin_39988779的博客
11-29 9227
如何修改python字典内的值今天这篇文章中我们来了解一下python之中的字典，在这文章之中我会对python字典修改进行说明,以及举例说明如何修改python字典内的值。废话不多说，我们开始进入文章吧。首先我们得知道什么是修改字典修改字典向字典添加新内容的方法是增加新的键/值对，修改或删除已有键/值对如下实例:# !/usr/bin/pythondict = {'Name': 'Zara', ...
【SpringBoot】37、SpringBoot整合EasyPoi自定义字典导出Excel
Asurplus
11-06 22万+
前面我们介绍了 SpringBoot 中使用 JeecgBoot 的 Autopoi 导出 Excel，其实 Autopoi 的底层也是 EasyPoi，对于 Excel 的导入/导出也是非常方便的。那 EasyPoi 也是基于 POI 的，如果对这方面想要深究的，可以先看看原生 POI 的导入/导出方式，你会回来选择 EasyPoi 的 一、简介 EasyPoi 功能如同名字 easy，主打的功能就是容易，让一个没见接触过poi的人员就可以方便的写出 Excel 导出，Excel 模板导出，Excel 导
python字典对象的方法返回字典的值列表_python对象转字典的两种实现方式示例
weixin_39543655的博客
11-28 6515
本文实例讲述了python对象转字典的两种实现方式。分享给大家供大家参考，具体如下：一. 方便但不完美的__dict__对象转字典用到的方法为__dict__. 比如对象对象a的属性a.name='wk', a.age=18, 那么如果直接将使用a.__dict__获得对应的字典的值为: {name: 'wk', aget:18}, 很方便, 但是也存在一些限制. 其不完美之处在于:比如:clas...
OpenStreetMap 应用
GIS摆渡人
01-15 3640
OpenStreetMap 应用   https://live.osgeo.org/en/overview/osm_dataset_overview.html
Open Street Map维基世界地图初探--概念、开发
viewcode的专栏
11-14 1万+
1. 什么是open street map(osm)? 2. 开发者应该知道哪些概念？包括地图的内容、格式等 3. OSM开发有哪些环境？ 4. libosmscout环境的搭建 5. libosmscout的使用示例、配置文件 1. 什么是OSM? Open Street Map 维基世界地图，一个开源的在线地图项目，包括软件和地图数据。 官网介绍 http://wiki
OpenStreetMap开放街道地图(OSM)介绍
最新发布
weixin_39676449的博客
02-01 3万+
OpenStreetMap开放街道地图（ OSM） 是一个非常详细的地图数据，是一个建构自由内容之网上地图协作计划，目标是创造一个内容自由且能让所有人编辑的世界地图，并且让一般的移动设备有方便的导航方案。其OSM数据开源，可以自由下载使用，免费的全球地图数据库。OpenStreetMap（OSM）是一款由网络大众共同打造的免费开源、可编辑的地图服务，好比是地图领域的维基百科。
OpenStreetMap开发文档
juemuren444的博客
01-13 2514
OpenStreetMap社区是一个由地图制作爱好者组成的社区，这些爱好者提供并维护世界各地关于道路、小道、咖啡馆、铁路车站等各种各样的数据。 OpenStreetMap开源项目可以让程序开发更加灵活，图源更加丰富，例如可以使用谷歌地图，以解决国内无法使用谷歌服务的尴尬。 国内户外导航软件，例如：行者、户外帮和小狼信标都使用了OpenStreetMap。
QGIS——（三）下载OSM OpenStreetMap
GIS特战兵
03-22 4169
PostGIS——（三）下载OSM OpenStreetMap
openstreetmap数据下载大全（路网、水系、历史数据下载）
qq_912917507的博客
02-12 4万+
首先需要知道openstreetmap网站的地址https://www.openstreetmap.org/ 观察地图网站页面 右侧可以加载的图层 如果要下载数据，需要点导出 会提示你集中方法，手动选择区域导出 Overpass API 从 OpenStreetMap 数据库的一个镜像下载此限定边框 OSM 星球 定期更新的完整 OpenStreetMap 数据...
搭建Openstreetmap地图服务器（Ubuntu 16.04LTS)
Soe_7的博客
01-11 4022
国内关于OpenStreetMap的资料较少，主要通过整理国外网站资料加自己多方尝试，终于成功搭建环境.本教程在Ubuntu16.04中进行了测试，运行良好。Openstreetmap服务器需要至少2GB RAM以及40GB的内存。
OpenStreetMap：对抗谷歌帝国的共享开源地图
lc1852109的博客
11-21 9017
本文重点讲述了OpenStreetMap即OSM的发展历程，从谷歌的庞大商业帝国出发，再到创始人科斯特的小小目标开始，OSM历经近20年，从默默无名再到成为主流，告诉了我们开源、共享才是现代社会的主流。
Android地图开发之OpenStreetMap基础教程
其实并不难,是你太悲观
08-03 4万+
【注意】由于OpenStreetMap此类教程在国内不太多，本文是本人花费多日通过一些国外网站论坛总结所得，如要转载，请保留文章出处，尊重一下作者，谢谢。 开端 本文皆在指引大家在自己的项目里嵌入OpenStreetMap，并可以在地图上添加覆盖物、折线等常用地图功能。 1.0 OSM地图简介 the project that creates and pro
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

丁劲犇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值