字符集，编码

http://hi.baidu.com/cubeking/blog/item/8c2525b5e706dbe530add104.html

 

http://baike.baidu.com/view/15482.htm

 

 

http://apps.hi.baidu.com/share/detail/36907170

http://wenku.baidu.com/view/ab2248563c1ec5da50e2702d.html

 

http://hi.baidu.com/9856226/blog/item/8158c88324dcf6aa0cf4d285.html

 

http://bbs.spforum.net/viewthread.php?tid=175091

 

http://fenglingdangyang.blog.sohu.com/165066059.html

 

 

 

 

http://www.baidu.com/s?bs=ASCII%C0%A9%D5%B9&f=8&wd=ASCII%D3%EBUCS2%B1%E0%C2%EB&n=2&inputT=16461

 

 

 

http://blog.csdn.net/shyboy_NWPU/archive/2009/08/10/4431878.aspx

 

 

 

使用iconv命令轻松实现linux下字符集编码的转换

http://qq164587043.blog.51cto.com/261469/63349

 

昨天晚上郎师兄打电话说，我的结果文件他打开是乱码，问我是不是字符编码没处理好。早晨早早的来到实验室，请教了下同学，才知道linux shell 配置文件中默认的字符集编码为UTF－8 。UTF－8是unicode的一种表达方式，gb2312是和unicode都是字符的编码方式，所以说gb2312跟utf－8的概念应该不是一个层次上的。在LINUX上进行编码转换时,可以利用iconv命令实现,这是针对文件的,即将指定文件从一种编码转换为另一种编码。
         查了下iconv命令用法如下：
iconv [选项...] [文件...]

有如下选项可用:

输入/输出格式规范：
-f, --from-code=名称 原始文本编码
-t, --to-code=名称 输出编码

信息：
-l, --list 列举所有已知的字符集

输出控制：
-c 从输出中忽略无效的字符
-o, --output=FILE 输出文件
-s, --silent 关闭警告
--verbose 打印进度信息

所以，我在程序的末尾直接加了一句
iconv -f utf-8 -t gb2312 /server_test/reports/software_.txt > /server_test/reports/software_asserts.txt
解决了问题。

在网上查了些资料还知道在LINUX上进行编码转换时,还可以利用iconv函数族编程实现。

/*以下内容摘自[url]http://www.xrss.cn/Info/10425.Html[/url]*/

iconv函数族的头文件是iconv.h,使用前需包含之。
#include <iconv.h>
iconv函数族有三个函数,原型如下:
(1) iconv_t iconv_open(const char *tocode, const char *fromcode);
此函数说明将要进行哪两种编码的转换,tocode是目标编码,fromcode是原编码,该函数返回一个转换句柄,供以下两个函数使用。
(2) size_t iconv(iconv_t cd,char **inbuf,size_t *inbytesleft,char **outbuf,size_t *outbytesleft);
此函数从inbuf中读取字符,转换后输出到outbuf中,inbytesleft用以记录还未转换的字符数,outbytesleft用以记录输出缓冲的剩余空间。 (3) int iconv_close(iconv_t cd);
此函数用于关闭转换句柄,释放资源。
例子1: 用C语言实现的转换示例程序

/* f.c : 代码转换示例C程序 */
#include <iconv.h>
#define OUTLEN 255
main()
{
char *in_utf8 = "姝ｅ?ㄥ??瑁?";
char *in_gb2312 = "正在安装";
char out[OUTLEN];

//unicode码转为gb2312码
rc = u2g(in_utf8,strlen(in_utf8),out,OUTLEN);
printf("unicode-->gb2312 out=%sn",out);
//gb2312码转为unicode码
rc = g2u(in_gb2312,strlen(in_gb2312),out,OUTLEN);
printf("gb2312-->unicode out=%sn",out);
}
//代码转换:从一种编码转为另一种编码
int code_convert(char *from_charset,char *to_charset,char *inbuf,int inlen,char *outbuf,int outlen)
{
iconv_t cd;
int rc;
char **pin = &inbuf;
char **pout = &outbuf;

cd = iconv_open(to_charset,from_charset);
if (cd==0) return -1;
memset(outbuf,0,outlen);
if (iconv(cd,pin,&inlen,pout,&outlen)==-1) return -1;
iconv_close(cd);
return 0;
}
//UNICODE码转为GB2312码
int u2g(char *inbuf,int inlen,char *outbuf,int outlen)
{
return code_convert("utf-8","gb2312",inbuf,inlen,outbuf,outlen);
}
//GB2312码转为UNICODE码
int g2u(char *inbuf,size_t inlen,char *outbuf,size_t outlen)
{
return code_convert("gb2312","utf-8",inbuf,inlen,outbuf,outlen);
}

例子2: 用C++语言实现的转换示例程序

/* f.cpp : 代码转换示例C++程序 */
#include <iconv.h>
#include <iostream>

#define OUTLEN 255

using namespace std;

// 代码转换操作类
class CodeConverter {
private:
iconv_t cd;
public:
// 构造
CodeConverter(const char *from_charset,const char *to_charset) {
cd = iconv_open(to_charset,from_charset);
}

// 析构
~CodeConverter() {
iconv_close(cd);
}

// 转换输出
int convert(char *inbuf,int inlen,char *outbuf,int outlen) {
char **pin = &inbuf;
char **pout = &outbuf;

memset(outbuf,0,outlen);
return iconv(cd,pin,(size_t *)&inlen,pout,(size_t *)&outlen);
}
};

int main(int argc, char **argv)
{
char *in_utf8 = "姝ｅ?ㄥ??瑁?";
char *in_gb2312 = "正在安装";
char out[OUTLEN];

// utf-8-->gb2312
CodeConverter cc = CodeConverter("utf-8","gb2312");
cc.convert(in_utf8,strlen(in_utf8),out,OUTLEN);
cout << "utf-8-->gb2312 in=" << in_utf8 << ",out=" << out << endl;

// gb2312-->utf-8
CodeConverter cc2 = CodeConverter("gb2312","utf-8");
cc2.convert(in_gb2312,strlen(in_gb2312),out,OUTLEN);
cout << "gb2312-->utf-8 in=" << in_gb2312 << ",out=" << out << endl;
}

 

 

 

 

 

 

 

 

 

 

 

 

 

http://stauren.net/log/i5rh3jf19.html

You are at: http:// STauren.net/ log/ i5rh3jf19.html  Reload

 使用 iconv 自动判断文件编码

• 1/2512
• stauren
• 823d ago
•  

做项目的时候，文件编码为UTF-8，需要临时转码到GBK，开始的时候用 iconv 来转换，很简单。不久之后，项目扩大，需要处理 源代码为 GBK 的文件，当一个GBK的文件被拿给 iconv 做转换的时候，如果这个文件本身是GBK编码，就会报错，终止整个shell自动处理流程。为什么会这样呢？
因为：

iconv -f UTF-8 -t GBK file.name

iconv 的调用命令强制用户输入 -f 参数，即原始文件编码，如果文件不是该编码，则会报错：

iconv: illegal input sequence at position 0

在google上找了下，发现大家都似乎使用同一个解决方案：enca
我不太喜欢为了这么简单的事情再安装一个包，并且，经过我的查找，在项目使用的cygwin平台，也没有这个包可以装，那么，这个问题在只有 iconv 的情况下就不能解决么？
当然是可以解决的，到目前为止，这个项目只涉及到2种文件编码，所以我们可以轮询一下：

iconv -f utf8 file.name 1>/dev/null 2>/dev/null && echo 1
iconv -f gbk file.name 1>/dev/null 2>/dev/null && echo 2

或者干脆把是否该编码包装成一个函数：

isEnc () {
  local temp=`iconv -f $2 $1 1>/dev/null 2>/dev/null && echo 'true'`;
  if [ "$temp" = 'true' ]; then
    return 0;
  fi;
  return -1;
}

像这样使用：

isEnc file.name utf8 && echo 'file is utf8'
isEnc file.name gbk && echo 'file is gbk'

所以，谁说 iconv 不能做文件编码类型识别呢？当然，还做不到自动识别文件的编码类型，但是可以询问一个文件是否某指定编码类型（网上传的很多的 enca 似乎也只能做到这一步，使用 enca -L zh_CN file 这样的参数）
将 nerdy 进行到底！！ stauren.net 就是一个 nerdy blog！！ we are jerks, we are geeks, we are nerds!!!!

---

--- post by  stauren from  IP hidden at  2009-03-05 15:14 (823d ago)

Comment #1 vincent (202.22.248.213) at 2009-05-25 13:20 (742d ago)

iconv filename_src -f utf8 -t gbk -c -o filename_des
-c参数是略过错误继续进行