c++读取utf8等不同编码文件

已于 2022-10-26 23:19:04 修改
阅读量1.1w 收藏 8
点赞数
分类专栏： C/C++ 文章标签： utf-8 unicode c++ 乱码
于 2013-09-18 22:51:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011320646/article/details/11821217
版权

我们经常会遇到文件打开乱码的情况，特别是用C语言操作文件的时候。我用notepad++打开发现是utf8编码的，后来上网查了一下，UTF-8是变长的，一般情况下文件开头有个BOM（Byte Order Mark）作为标识，一般文本编码的BOM:

ANSI：没有BOM，直接是内容。

UNICODE（LE）：FF FE
UNICODE（BE）：FE FF
UTF-8：EF BB BF

【注】还有一种无BOM的UTF-8编码，这里不考虑。

ANSI采取的是英文字符一个字节，汉字字符两个字节的编码方式，而UNICODE采取使用0-0x10FFFF的数字来映射所有字符，被称为万国码，这里的UNICODE(LE),UNICODE(BE),UTF-8都是UNICODE的子集，其中UNICODE（LE）,UNICODE（BE）采用固定两个字节长度的编码，UTF-8采用1到4个字节的变长字节的编码。

LE，BE分别指Little Endian，Big Endian。BIG-ENDIAN就是低位字节排放在内存的高端，高位字节排放在内存的低端。而LITTLE-ENDIAN正好相反。

【举个栗子】现在要编码数字1，我们知道1的4字节编码是0x00000001

采用BE编码，四个字节分别是 0x00,0x00,0x00,0x01

采用LE编码，四个字节分别是 0x01,0x00,0x00,0x00

【注】CPU读取内存从低地址到高地址

这里可以用Python来验证下


                

        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  一蓑烟雨17815
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    8
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  2
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
使用C++读取UTF8及GBK系列的文本方法及原理

				
			

			

				

					weixin_33725270的博客
				

				

					03-28
					
					956
					
				

			

		

		

			
				
作者：jostree转载请注明出处http://www.cnblogs.com/jostree/p/4374404.html
1.读取UTF-8编码文本原理
首先了解UTF-8的编码方式,UTF-8采用可变长编码的方式，一个字符可占1字节-6字节，其中每个字符所占的字节数由字符开始的1的个数确定，具体的编码方式如下：
U-00000000 - U-0000007F: 0xxxxxxx U...

			
		

	



                

              
                



	

		

			

				
					
c++读取UTF8编码文件乱码

				
			

			

				

					qq_41529799的博客
				

				

					01-29
					
					3331
					
				

			

		

		

			
				
我由于需要将某一文件的空行删掉，反正闲着无聊，就准备自己写个代码实现。本来应该就那么几行就可以解决的，结果却发现是乱码。然后，本来几分钟就ok的事，我花了一整个下午的时间才解决。果然写代码才是最好的消磨时间的方法。

解决方案一：把要改的文件另存为ANSI编码就不会乱码。

解决方案二：


string UTF8ToANSI(const char *str)
{
	string res;
	wc...

			
		

	



                


  
              

                


	

		

			

				
					
C语言判断读取的文件内容字符编码是UTF-8还是GBK

				
			

			

				

					weixin_45084986的博客
				

				

					12-01
					
					2419
					
				

			

		

		

			
				
自定义两个字符编码判断函数
bool is_str_utf8(const char* str);
bool is_str_gbk(const char* str);
测试文件

代码详细：
#include <stdio.h>
#include <string.h>
#include <stdlib.h>

bool is_str_utf8(const char* str);
bool is_str_gbk(const char* str);

//判断是否是UTF-8


			
		

	





	

		

			

				
					
C++代码判断字符编码类型及编码格式转换(utf-8、gbk)

				
			

			

				

					weixin_38595946的博客
				

				

					11-18
					
					1万+
					
				

			

		

		

			
				
这篇文章主要是将go语言实现的版本改为C/C++版本实现，主要思路是一样的，具体思路请看:
GO代码实现判断字符编码格式及编码格式转换（utf-8、gbk）
而本文更主要说明windows及linux平台下utf-8与gbk的转换。

判断是否是gbk
bool isGBK(unsigned char* data, int len)  {
    int i  = 0;
    while (i ...

			
		

	



		

			
		



	

		

			

				
					
C语言操作UTF-8编码和GBK编码的文件的示例

					
最新发布

				
			

			

				

					weixin_46158019的博客
				

				

					05-31
					
					841
					
				

			

		

		

			
				
在C语言中，处理文件编码（如UTF-8或GBK）时，需要注意C标准库中的文件操作函数（如fopen, fread, fwrite, fclose等）并不直接支持Unicode或特定字符集的编码。这些函数通常处理字节流，而不是字符流，因此需要确保在读取或写入文件时以正确的编码格式处理这些字节。对于UTF-8编码，由于它是兼容ASCII的，并且是一个变长编码，可以直接使用C标准库的文件操作函数。但是，对于GBK（或GB2312、GB18030），可能需要使用特定的库（如ICU或。

			
		

	





	

		

			

				
					
C++字符串(UTF-8编码)中识别中文、英文字母、字符、空格

				
			

			

				

					Rurcher的博客
				

				

					05-19
					
					3889
					
				

			

		

		

			
				
这里写自定义目录标题UTF-8字节编码规则新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入
UTF-8字节编码规则

一字节编码范围：0x00-0x7F
二字节编码范围：0xC2-0xDF 0x80-0xBF
三字节编码范围

			
		

	





	

		

			

				
					
c++读取utf8文件_渗透测试——文件内容读取命令行工具

				
			

			

				

					weixin_39627751的博客
				

				

					11-28
					
					265
					
				

			

		

		

			
				
一 **** 命令行工具参数读取测试提取def start(): if len(sys.argv)==7: opts, args = getopt.getopt(sys.argv[1:], "u:t:d") for k, vin opts: if k=='-u': url=v elif k=='-t': thread=v elif k=='-d': dic=v print('url'+url) p...

			
		

	





	

		

			

				
					
C++ 读取UTF8编码，调试过程显示乱码问题

				
			

			

				

					jianminfly的博客
				

				

					05-18
					
					3482
					
				

			

		

		

			
				
1.原因
std::string不支持utf8编码，因此在调试器中看到的是乱码，并且使用一些不支持utf8编码的api判断该字符串对应的文件路径时，也会判定失败。所以要想在调试过程中正常显示utf8编码的中文内容，就要把字符串转换成gbk编码
2.解决
string UTF8ToGB(const char* str)
{
	string result;
	WCHAR* strSrc;
	LPSTR szRes;

	//获得临时变量的大小
	int i = MultiByteToWideChar(CP_UT

			
		

	





	

		

			

				
					
C++ fopen、CFile如何以UTF-8编码格式读写文件

					
热门推荐

				
			

			

				

					玄冬Wong
				

				

					05-13
					
					1万+
					
				

			

		

		

			
				

 
How to write UTF-8 file with fprintf in C++
http://stackoverflow.com/questions/10028750/how-to-write-utf-8-file-with-fprintf-in-c
 
ou shouldn't need to set your locale or set any special mode...

			
		

	





	

		

			

				
					
C++读取UTF8编码文件，乱码测试数据

				
			

			

				

					06-07
				

			

		

		

			
				
在本场景中，我们关注的是如何在C++中正确读取UTF8编码的文件，因为"标题"提到的是"C++读取UTF8编码文件，乱码测试数据"。UTF8是一种广泛使用的字符编码标准，它能表示Unicode字符集中的所有字符，包括各种语言的...

			
		

	





	

		

			

				
					
C/C++ 读取16进制文件的方法

				
			

			

				

					08-31
				

			

		

		

			
				
由于文本文件通常是以字符编码（如ASCII或UTF-8）存储的，直接读取可能会导致乱码问题。为了解决这个问题，我们可以将文件内容视为16进制值，从而避免字符编码的困扰。本文将介绍如何在C/C++中读取16进制文件。  ...

			
		

	





	

		

			

				
					
UTF8.rar_UTF8_字符编码转换

				
			

			

				

					09-24
				

			

		

		

			
				
UTF8.cpp很可能是一个C++源代码文件，它可能包含了实现UTF-8和Unicode编码转换的函数或类。在编程中，处理不同字符编码之间的转换是非常常见的需求，尤其是在处理国际化和本地化问题时。UTF-8编码的特点是每个ASCII...

			
		

	





	

		

			

				
					
MFC UTF-8文件批量转成GB2312 解决中文乱码问题

				
			

			

				

					09-28
				

			

		

		

			
				
在本场景中，我们面对的问题是“MFC UTF-8文件批量转成GB2312 解决中文乱码问题”，这涉及到文件的读取、编码转换以及文件的写入操作。  首先，我们需要理解UTF-8和GB2312这两种编码的区别。UTF-8是一种变长的...

			
		

	





	

		

			

				
					
MFC读取utf8示例

				
			

			

				

					03-30
				

			

		

		

			
				
本示例主要关注的是如何在MFC环境中读取UTF-8编码的文本文件，这在处理多语言或含有特殊字符的文本时显得尤为重要。  UTF-8是一种广泛使用的Unicode编码，能够表示Unicode字符集中的所有字符。在Windows系统中，标准...

			
		

	





	

		

			

				
					
创建UTF8 文件

				
			

			

				

					09-06
				

			

		

		

			
				
在读取UTF-8文件时，也需要类似的处理，确保输入流以UTF-8模式打开。  总的来说，虽然C++标准库本身对UTF-8的支持有限，但通过第三方库和适当的编码转换技巧，我们仍然可以在C++程序中创建和操作UTF-8编码的文件。...

			
		

	





	

		

			

				
					
C++ 实现unicode到utf-8的转码

				
			

			

				

					09-13
				

			

		

		

			
				
本篇文章将深入探讨如何使用C++实现Unicode到UTF-8的转码过程。Unicode是一种通用的字符集，它包含了世界上几乎所有的字符和符号，而UTF-8是Unicode的一种广泛使用的编码方式。  Unicode是一个标准化的编码系统，其...

			
		

	





	

		

			

				
					
C++ 判断字符串是否为UTF-8格式

				
			

			

				

					YoungHong1992
				

				

					11-03
					
					1956
					
				

			

		

		

			
				
原文地址 ： http://www.zedwood.com/article/cpp-is-valid-utf8-string-function
#include <iostream>
 
using namespace std;
 
bool utf8_check_is_valid(const string& string);
 
int main(int argc, char *argv[])
{
    string hello = "hello world"; //length 1

			
		

	





	

		

			

				
					
非常有用的CChineseCode类

				
			

			

				

					helonSY欢迎您的到来！
				

				

					11-21
					
					1475
					
				

			

		

		

			
				
该类来自网上，大家可以自由转载

class CChineseCode
{
public:
static void UTF_8ToUnicode(wchar_t* pOut,char *pText);  // 把UTF-8转换成Unicode
static void UnicodeToUTF_8(char* pOut,wchar_t* pText);  //Unicode 转换成UTF-8
s

			
		

	





	

		

			

				
					
C++打开特定编码格式的文件（utf-8）

				
			

			

				

					haimengao的专栏
				

				

					11-23
					
					7598
					
				

			

		

		

			
				
// FileEncoding.cpp : 定义控制台应用程序的入口点。
//

#include "stdafx.h"
#include 
#include 
#include 

using namespace std;


int _tmain(int argc, _TCHAR* argv[])
{    wchar_t linex[100];
    FILE * f1;
    //f1

			
		

	





	

		

			

				
					
我现在想要用C++ 打开并读取UTF8编码文件，要求不能乱码

				
			

			

				

					06-07
				

			

		

		

			
				
您可以使用C++中的fstream库来打开和读取UTF-8编码文件。下面是一个简单的示例代码：

```c++
#include <iostream>
#include <fstream>
#include <string>

int main()
{
    std::ifstream file("test.txt", std::ios::in | std::ios::binary);

    if (file.is_open())
    {
        // 获取文件长度
        file.seekg(0, std::ios::end);
        int length = file.tellg();
        file.seekg(0, std::ios::beg);

        // 读取文件内容
        char* buffer = new char[length + 1];
        file.read(buffer, length);
        buffer[length] = '\0';

        // 转换编码格式
        std::wstring_convert<std::codecvt_utf8_utf16<wchar_t>> converter;
        std::wstring wide_string = converter.from_bytes(buffer);

        // 输出内容
        std::wcout << wide_string << std::endl;

        // 释放内存
        delete[] buffer;
    }
    else
    {
        std::cout << "Failed to open file!" << std::endl;
    }

    return 0;
}
```

在这个示例中，我们首先打开一个UTF-8编码的文件，并读取其内容到一个char数组中。接着，我们使用std::wstring_convert类将char数组中的UTF-8编码转换为宽字符格式，并输出到控制台中。

需要注意的是，我们在使用std::wstring_convert类之前需要包含头文件`<locale>`和`<codecvt>`, 并在编译时需要指定C++11标准或以上。

另外，如果您的文件中包含BOM(Byte Order Mark)头部，需要在打开文件时指定打开方式为`std::ios::binary`，以确保BOM头部不会被误解析。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 2

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值