Oracle里令人头疼的生僻字处理案例

已于 2024-05-09 11:03:21 修改
阅读量897 收藏 24
点赞数 12
分类专栏： Oracle数据库记录 文章标签： 运维 服务器 oracle 数据库
于 2024-05-09 11:01:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xxddxhyz/article/details/138605434
版权

事情起因

有小伙伴找到我问一下生僻字的问题，数据库是oracle 11g，字符集是zhs16gbk
 

image.png


下图里显示的？？应该是“𧿹”这个字，算是个生僻字。
 

image.png


问应用厂家就说数据库字符集建错了，要改库的字符集。what???，这库都用了好几年了，现在改库字符集也不现实啊。
检查下字典点，看表里也是？？显示

image.png

模拟测试

为了测试， 先创建个测试表，第1列是varchar2，第2列是nvarchar2
这里为了方便测试，使用scott用户

CREATE TABLE "SCOTT"."TEST_NAME" ( "BIANMA" NUMBER NOT NULL ENABLE, "VARCHAR2_NAME" VARCHAR2(200 BYTE), "NVARCHAR2_NAME" NVARCHAR2(200), CONSTRAINT "TEST_NAME_PK" PRIMARY KEY ("BIANMA") USING INDEX PCTFREE 10 INITRANS 2 MAXTRANS 255 STORAGE( INITIAL 65536 NEXT 1048576 MINEXTENTS 1 MAXEXTENTS 2147483645 PCTINCREASE 0 FREELISTS 1 FREELIST GROUPS 1 BUFFER_POOL DEFAULT FLASH_CACHE DEFAULT CELL_FLASH_CACHE DEFAULT) TABLESPACE "USERS" ENABLE ) SEGMENT CREATION DEFERRED PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 NOCOMPRESS LOGGING STORAGE( INITIAL 65536 NEXT 1048576 MINEXTENTS 1 MAXEXTENTS 2147483645 PCTINCREASE 0 FREELISTS 1 FREELIST GROUPS 1 BUFFER_POOL DEFAULT FLASH_CACHE DEFAULT CELL_FLASH_CACHE DEFAULT) TABLESPACE "USERS" ;

创建如下图
 

image.png


这里提供几个把生僻字转换为Unicode的网址

http://unicode.wiicha.com/
https://www.bejson.com/convert/unicode_chinese/

查询一下这个字
 

image.png


\u是转换字符，用的时候去掉
查询一下

select utl_raw.cast_to_nvarchar2('d85fdff9') from dual;

image.png

在库里组合查询一下，看出来也可以显示

select utl_raw.cast_to_nvarchar2('d85fdff96307') from dual;

image.png


更新一下两个列里的内容

insert into  test_name  values (1,(select utl_raw.cast_to_nvarchar2('d85fdff96307') from dual),(select utl_raw.cast_to_nvarchar2('d85fdff96307') from dual));
commit;
select * from test_name

image.png

可以看出来，使用这种unicode转换的方式，只对nvchar2生效，varchar2还是显示乱码

关于varchar2和nvchar2

引用ASKTOM里的解答
NVARCHAR Vs. VARCHAR - Ask TOM (oracle.com)

Thanks for the question, Andrew.
Asked: September 04, 2015 - 3:00 pm UTC
Last updated: February 25, 2020 - 8:20 am UTC
Version: 12.0.2
Viewed 50K+ times! This question is 

img

You Asked
In a database with character sets defined as:
NLS_CHARACTERSET = AL32UTF8
NLS_NCHAR_CHARACTERSET = UTF8
Would there be any difference in the (language) character sets that could be stored by VARCHAR2 Vs. NVARCHAR2? As in
NAME VARCHAR2(60 CHAR)
Vs.
NAME NVARCHAR2(60 CHAR)
and Chris said…
NVARCHAR2 is a unicode-only data type. It’s useful if you want to have unicode for some columns (those that are NVARCHAR2) but have the rest of the database use a different characterset. In all other cases stick with using VARCHAR2.
In your case the only difference between UTF8 and AL32UTF8 is the AL version includes “supplementary characters”.
See also:
http://www.oracle.com/technetwork/database/database-technologies/globalization/twp-appdev-unicode-10gr2-129234.pdf
and
http://docs.oracle.com/database/121/NLSPG/ch6unicode.htm#NLSPG006

解决办法

根据以上测试的情况来看，有几个方案：
方案1、列由原来的varchar2改为nvarchar2，再插入unicode编码。
方案2、新建个utf8字符集的库，导出现有全库，再导入回去。
方案3、𧿹改写成别的可识别字符，如（足母）代替。
下面一个一个说一下几个方案：
方案1
需要停业务改表，结构，测试了一下，varchar2可以直接改成nvarchar2，但是nvarchar2改成varchar2要求必须没有数据。实际生产我也没测试过直接改列的字段类型，不知道会不会有问题。。
目前从网上收录2个操作方法
操作A
1、将表字段修改类型为：NVARCHAR2(),无论该字段是否存值都可以直接修改 alter table 表名 modify (字段名 nvarchar2(20));
注：如果想从NVARCHAR2（）改回VARCHAR2,会报错：“ORA-01439:要更改数据类型,则要修改的列必须为空”，
解决方案为：①、将该字段A改名B；②、新建表字段，命名为A，将B值更新到A；③、删除B字段
2、使用该sql将生僻字插入到表中： update 表名 set 字段名 = N’生僻字’ where …
注意set字段名字前一定要有N，且在’'外。
操作B
也有人提供一个中转的解决办法:
修改字段类型，需要先将该字段清空，如果需要保存数据，可以先建一个临时的字段存储这些数据，然后删除要修改的列，再重新创建

--临时字段
alter table test_name add TEMP nvarchar2(200);
--赋转换后的值
update test_name set TEMP=cast(VARCHAR2_NAME as nvarchar2(200));
commit;
--删除字段
alter table test_name drop column VARCHAR2_NAME;
--重建
ALTER TABLE TEST_NAME ADD (VARCHAR2_NAME NVARCHAR2(200) );
--赋值
update test_name set VARCHAR2_NAME=TEMP;
--临时字段的使命完成了
alter table test_name drop column TEMP;
select * from test_name
insert into  test_name  values (2,(select utl_raw.cast_to_nvarchar2('d85fdff96307') from dual),(select utl_raw.cast_to_nvarchar2('d85fdff96307') from dual));

image.png


方法2：
基本不可行，一是停机时间太长，再就是改了字符集再重新导入的时候也可能会遇到字段长度不够的问题。
方法3：
就是真实案例，问了一下别家医院（几个不同厂家的HIS系统）是怎么解决这个问题的，结果。。。。就是写成（足母），别笑，真的好多家都这么搞的！！
 

image.png


另1家医院也是这样

image.png

总结后记

虽然这个能有办法解决。
但是还有一点我没想明白，人名生僻字他们咋解决的？？难道人名的字段类型本来就是nvarchar2???
有知道的小伙伴可以告诉我一下，谢谢！

20240509

后来大佬们给的结果就是，在把varchar2改成nvarchar2，再重新录入。看来要整库都改生僻字是个大工程，1个1个改肯定是不好办。

image.png

 也欢迎关注我的公众号【徐sir的IT之路】，一起学习————————————————————————————
公众号：徐sir的IT之路
CSDN ：https://blog.csdn.net/xxddxhyz?type=blog
墨天轮：https://www.modb.pro/u/3605
PGFANS：https://www.pgfans.cn/user/home?userId=5568————————————————————————————

徐sir（徐慧阳）
关注
  • 12
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Oracle中文乱码，字符集问题处理
01-19
这里将告诉您Oracle中文乱码，字符集问题处理，具体实现方法: 　　1. 右键计算机，选择属性，增加环境变量 NLS_LANG:SIMPLIFIED CHINESE_CHINA.ZHS16GBK 　　2.进入注册表，依次单击HKEY_LOCAL_MACHINE –>SOFTWARE –> ORACLE–>KEY_OraDb11g_home1，找到NLS_LANG，设置数值为：SIMPLIFIED CHINESE_CHINA.ZHS16GBK 　　3.查看数据库的字符集是否为ZHS16GBK ，不是的话刚更正 　　SQL命令语句：select * from v$nls_
三步解决oracle生僻字展示为乱码的问题
秦无解的博客
08-23 2095
三步解决oracle生僻字展示为‘’的问题
场景解决之Oracle数据库特殊字符或生僻字乱码
Neoest的博客
03-28 1005
处理数据库字符集问题时，务必谨慎并充分测试任何变更。在对数据库进行结构性调整之前，确保备份所有数据，并在非生产环境中进行测试。如果你不确定如何操作，或者觉得任务超出了你的技术范围，最好咨询经验丰富的数据库管理员。
oracle 生僻字乱码问题
Q010_的博客
04-11 2577
varchar2在存储汉字时受到数据库字符集编码的影响，例如GBK编码时一个汉字占两个字节，UTF-8编码时一个汉字占三个字节。一种是将生僻字的数据类型由varchar2改成nvarchar2，并使用utl_raw.cast_to_nvarchar2函数来插入和查询数据。varchar2是可变长度的字符类型，最多可以存放4000字节的数据，而nvarchar2是可变长度的国家字符类型，最多可以存放2000个字符。insert into TEST values(1,n’张学𡚸䄲友’,n’张学𡚸䄲友’);
生僻字ORACLE存储,WEB访问
零星世界
04-29 552
现状描述： ·客户的名字，某䶮，这个䶮是生僻字，好多字体展示不出，显示为？，再导出的pdf中该字被隐藏。 解决办法： http://www.bejson.com/convert/unicode_chinese/ -- 生僻字的问题 nvarchar2能存储生僻字，而存储的方式需要转为unicode进行存储，而oracle的varchar2字段不能存储生僻字。 alter table...
oracle 生僻字 转码,Oracle 生僻字乱码解决方案
weixin_28840591的博客
04-09 1973
Oracle生僻字乱码解决方案“”(此+夕)【suǒ】字乱码，无法正常显示(变成问号); 生僻字“”(此+夕)(suo)在ZHS16GBK字符集下默认无法正常显示； 测试将生僻字类型由varchar2改成nvarchar2，同时使用utl_raw.cast_to_nvarchar2函数可以在数据库里正常显示； select * from t1; 数据库字符集如下：select * from n...
部署 PHP 系列： 加速用于 Oracle 的 PHP 代码运行速度
老夏课堂-夏曹俊的技术专栏
01-14 894
部署 PHP 系列，第 3 部分： 加速用于 Oracle 的 PHP 代码运行速度作者：Ilia Alshanetsky 加速 PHP 应用程序的简单有效技巧的指南
部署 PHP 系列，第 3 部分： 加速用于 Oracle 的 PHP 代码运行速度
杨文海的专栏
04-04 881
http://blog.itpub.net/1384/viewspace-432929/ 在过去的 10 年中，PHP 已经赢得了开发人员的芳心，它即使不是 Web 开发的最流行脚本语言，也是最流行脚本语言之一。 现在它支持着 2000 多万个站点，其范围从小型主页到大型公司电子商务应用程序。 PHP 的爆炸式增长很大程度上得益于它大量易用内置功能和出色的文档，这些都大大简化
linux人必须知道之人
weixin_33918357的博客
08-10 150
Linux之父(李纳斯·托沃兹/Linus Torvalds) 导语：28岁的芬兰青年李纳斯创造了一个全新的世界：就是一种名为Linux的操作系统。它所产生的力量决定了编程领域的新氛围，正如我们的环境决定了动植物的特性一样。创造简洁优雅的程序，写出干净而无冗长的代码，或者是超一流的程序，就足以赢得同行们的...
oracle加入生僻字,ORACLE数据库中如何插入生僻字
weixin_35433920的博客
04-03 3481
ORACLE数据库中如何插入生僻字发布时间：2020-08-16 23:44:09来源：ITPUB博客阅读：184作者：巡完南山巡南山本文转自oracle官方博客，很多客户的数据库的字符集是ZHS16GBK ，但是有些特殊的生僻字在这个字符集里并不包括，下面就以䶮㼆为例,说明如何把这2个字符插入到数据库。1.说明:数据库的nls_characterset是ZHS16GBK, NLS_NCHAR_C...
解决Oracle存储生僻字、oracle生僻字，oracle偏僻字、数据库生僻字，数据库偏僻字
qq_29062045的博客
03-31 6850
Oracle存储生僻字 通过以下方法处理： -- 解决Oracle存储生僻字、oracle生僻字，oracle偏僻字、数据库生僻字，数据库偏僻字 -- 只能保证业务系统能正常读取生僻字 -- 第一步： 将需要存储生僻字的字段类型修改为 nvarchar2 （注意：不是 varchar2） alter table TBL_CASE_ARCHIVES modify SQRMC nvarchar2(400); -- 第二步： 手工通过数据库图形化工具 将生僻字转换后 插入该字段（单引号
学习整理 docker
wonder_dog的博客
05-31 311
nexus。
llama-factory微调大模型
05-31 425
微调或者全量调大语言模型，还包括deepseek,想找个快速的微调教程，网上暂时没有。原理：搭建环境太累了，还是docker环境镜像简单快捷。如果用本身的会自动从huggingface下载，2、拉去LLAMA-factory repo。3、要根据自己的目录调整启动镜像。这下不了（也没有提示）
运维开发详解
modaoshi51991的博客
06-01 724
运维开发（DevOps）是开发（Development）和运维（Operations）的结合，旨在通过自动化和协作提高软件开发和交付的效率、速度和可靠性。DevOps强调文化、实践和工具的融合，以实现持续集成（CI）、持续交付（CD）和持续监控。Stack Overflow、Reddit的r/devops、DevOps相关的Slack和Discord社区。通过系统学习和实践，逐步掌握DevOps的核心概念、工具和实践，可以显著提高软件开发和运维的效率和质量。
Linux部署安装
Love_Ban的博客
05-29 1155
Linux: Linux是目前全球使用量最多的服务器操作系统（开源）其体系很强大，其分支有很多（数不胜数）,其目前主要的分支有：RedHat （红帽）、Debian、乌班图 （ubuntu）、CentOS等等。其在世界范围最大的使用分支是安卓。
【已解决】Error in the HTTP2 framing layer
PleaseBeStrong的博客
06-01 401
打开gitbash，并输入：（-C 后面对应的是你自己的邮箱，最好跟github绑定的一致）会在 .ssh 目录生产两个文件：id_rsa（私有密钥）和id_rsa.pub（公开密钥）在使用git将代码上传github的时候在最后一部push的时候遇到这个fatal。http协议下行不通不妨试一试ssh协议下，就有如下解决方案。由于我原先设置的origin是http协议下的，如下。如果出现如下的提示，则说明ssh可以正常连接使用啦！
【VMware虚拟机中ubuntu系列】—— 在虚拟机中使用本机摄像头的详细教程与常见问题分析及解决
最新发布
2401_82458959的博客
06-02 1344
通过配置虚拟机调用本机摄像头，用户可以在虚拟机中直接使用摄像头设备，而不需要额外安装虚拟摄像头设备或者其他插件。这种方法极大地简化了虚拟机与物理设备的交互，使用户能够在虚拟环境中轻松实现视频采集和处理。具体配置步骤通常包括在虚拟机管理软件中（如VMware、VirtualBox等）启用摄像头支持，并将物理摄像头设备映射到虚拟机中。此外，这种方法确保了数据的实时性和传输的稳定性，从而为用户提供了更为流畅和高效的操作体验。
容器是什么
洛秋的博客
05-28 545
容器技术近年来在软件开发和部署中变得越来越重要，尤其是在云计算和微服务架构中。本文将详细介绍什么是容器、其工作原理、优势以及常见的容器技术。容器是一种轻量级、可移植的虚拟化技术，它允许在一个主机操作系统上运行多个独立的应用程序环境。每个容器包含了运行应用程序所需的全部组件，包括代码、运行时、系统工具、库和设置。这使得应用程序可以在任何容器化环境中一致地运行，而无需担心底层系统的差异。容器技术通过轻量级虚拟化和资源隔离，为现代软件开发和部署提供了强大的支持。
设置无标题 android
05-02
在Android应用中，设置无标题是一种简洁和美观的设计方式，可以为用户提供更流畅的使用体验。以下是一些实现设置无标题的方法： 1. 在Android的Manifest文件中，找到对应Activity的标签，并添加”android:theme="@android:style/Theme.NoTitleBar"“属性。这样可以通过Android自带的主题去掉标题栏。 2. 使用自定义的主题，可以在样式表中添加以下代码： <style name="AppTheme" parent="Theme.AppCompat.NoActionBar"> <!-- ...其他样式... --> </style> 这种方式可以通过设置主题去除ActionBar和标题栏，同时保留其他布局元素。 3. 去掉代码中的setTitle()方法，这是一种最简单的方法，通过不设置Activity的标题来实现无标题。 以上就是三种常见的实现Android无标题的方式，开发者可以根据实际需求进行选择。值得注意的是，去除标题栏可能会影响用户的导航体验，因此在设计上需要考虑周全。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

徐sir（徐慧阳）

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值