nginx的web目录下处理中文文件和文件夹以及编码格式问题

为什么80%的码农都做不了架构师？>>>   

有时候网站的根目录下有中文文件名或者文件夹时，在客户端进行访问这些相关文件时就会  出现显示的问题。

下面尝试了一些方法解决，可用。

[root@testandqa0101 ~]# echo $LANG
en_US.UTF-8
[root@testandqa0101 ~]# cat /etc/sysconfig/i18n
LANG="en_US.UTF-8"
SYSFONT="latarcyrheb-sun16"
#LANG="zh_CN.GB18030"
#LANGUAGE="zh_CN.GB18030:zh_CN.GB2312:zh_CN"
#SUPPORTED="zh_CN.UTF-8:zh_CN:zh:en_US.UTF-8:en_US:en"
#SYSFONT="lat0-sun16"
[root@testandqa0101 ~]# cat /etc/nginx/nginx.conf

user  nginx;
worker_processes  2;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {




     include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;
    charset  utf-8;
    include /etc/nginx/conf.d/*.conf;

这个时候我们需要把网站目录下的文件夹 和文件的名字字符集格式转化为UTF-8。此时就会用到工具convmv。

convmv 可以从http://j3e.de/linux/convmv 下载，

tar -zxvf convmv-1.14.tar.gz

cd convmv-1.14

make clean;

make install;

如：

./convmv -f GB2312 -t UTF-8 -r --nosmart --notest userfiles/*.*

以上表示 userfiles下的所有文件的文件名由GB2312转换为UTF-8

有时候需要确定文件内容编码格式也是UTF-8，可以vim查看文件编码格式。

######################################################################

convmv能帮助我们很容易地对一个文件，一个目录下所有文件进行编码转换，比如gbk转为utf8等。
安装yum install convmv

语法：
convmv [options] FILE(S) ... DIRECTORY(S)
主要选项：
1、-f ENCODING
指定目前文件名的编码，如-f gbk
2、-t ENCODING
指定将要转换成的编码，如-f utf-8
3、-r
递归转换目录下所有文件名
4、--list
列出所有支持的编码
5、--notest
默认是只打印转换后的效果，加这个选项才真正执行转换操作。
常 用参数：-r 递归处理子文件夹–notest 真正进行操作，默认情况下是不对文件进行真实操作–list 显示所有支持的编码–unescap 可以做一下转义，比如把%20变成空格-i 交互模式（询问每一个转换，防止误操作）convmv 的使用方法：convmv -f 源编码 -t 新编码 [选项] 文件名例子：这样转换以后“GBK编码的文件名”会被转换成UTF-8编码（只是文件名编码的转换，文件内容不会发生变化）。注意：不要在NTFS和 FAT文件系统中使用此命令，否则可能产生意外结果，如果要在Linux中正确的显示NTFS和 FAT的中文件名，可以通过mount参数来解决，具体方法参考man手册。

例子：
递归转换centos目录下的目前文件名编码gbk为utf-8:

1.convmv -f gbk -t utf-8 --notest -r centos

2.代码示例:convmv -f GBK -t UTF-8 --notest -r 303i.com/*（303i.com/*为要转编码的文件的当前目录）

最后可以搜索convmv的相关用法。

####################################################

如果你需要在Linux 中操作windows下的文件 ，那么你可能会经常遇到文件 编码 转换的问题。Windows中默认的文件  格式是GBK(gb2312)，而Linux 一般都是UTF-8。下面介绍一下，在Linux 中如何查看 文件 的编码 及如何进行对文件 进行编码  转换。

查看文件编码
在Linux 中查看 文件 编码 可以通过以下几种方式：
    1.在Vim 中可以直接查看文件编码
:set fileencoding
即可显示文件编码格式。
如果你只是想查看 其它编码 格式的文件 或者想解决用Vim查看 文件 乱码的问题，那么你可以在
~/.vimrc 文件 中添加以下内容：

set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936

这样，就可以让vim自动识别文件 编码 （可以自动识别UTF-8或者GBK编码 的文件 ），其实就是依照 fileencodings提供的编码 列表尝试，如果没有找到合适的编码 ，就用latin-1(ASCII)编码 打开。
    2. enca (如果你的系统中没有安装这个命令，可以用sudo yum install -y enca 安装 )查看 文件 编码
$ enca filename
filename: Universal transformation format 8 bits; UTF-8
CRLF line terminators
需要说明一点的是，enca对某些GBK编码 的文件 识别的不是很好，识别时会出现：
Unrecognized encoding

    文件编码转换
1.在Vim中直接进行转换文件 编码 ,比如将一个文件 转换成utf-8格式
:set fileencoding=utf-8

2. enconv 转换文件 编码 ，比如要将一个GBK编码 的文件 转换成UTF-8编码 ，操作如下
enconv -L zh_CN -x UTF-8 filename

3. iconv 转换，iconv的命令格式如下：
iconv -f encoding -t encoding inputfile
比如将一个UTF-8 编码 的文件 转换成GBK编码
iconv -f GBK -t UTF-8 file1 -o file2


Linux 文件名编码转换
从Linux 往windows拷贝文件 或者从windows往Linux 拷贝文件 ，有时会出现中文文件 名  乱码的情况，出现这种问题的原因是因为，windows的文件 名 中文编码 默认为GBK,而Linux 中默认文件 名 编码 为UTF8,由于编码  不一致，所以导致了文件 名 乱码的问题，解决这个问题需要对文件 名 进行转码。

在Linux 中专门提供了一种工具convmv进行文件 名 编码 的转换 ，可以将文件 名 从GBK转换 成UTF-8编码 ,或者从UTF-8转换 到GBK。

首先看一下你的系统上是否安装了convmv,如果没安装的话用:
yum -y install convmv
安装。
下面看一下convmv的具体用法：

convmv -f 源编码 -t 新编码 [选项] 文件 名

常用参数：
-r 递归处理子文件 夹
--notest 真正进行操作，请注意在默认情况下是不对文件 进行真实操作的，而只是试验。
--list 显示所有支持的编码
--unescap 可以做一下转义，比如把%20变成空格
比如我们有一个utf8编码 的文件 名 ，转换 成GBK编码 ，命令如下：

convmv -f UTF-8 -t GBK --notest utf8编码 的文件 名

这样转换 以后"utf8编码 的文件 名 "会被转换 成GBK编码 （只是文件 名 编码 的转换 ，文件 内容不会发生变化）。

 dos 和unix 文本文件格式

    dos 和unix  文本文件格式主要是回车的编码方式不同。原来unix下的回车是用0x0A表示的，而dos下的回车则是0x0D0A。可以是使用ultraedit  中的hex编辑查看。在实际工作中遇到的问题。openldap 的启动文件需要从配置文件slapd.conf  获取数据文件的目 录。                                                                             ·LANG=C  grep '^directory[[:space:]]+[[:print:]]' /etc/openldap/slapd_pri.conf |  sed s,^directory,,·在dos格式下始终不能正确获取到directroy的值。

    转换方法：1.在windows中可以ultraedit 保存为unix格式。在linux中可以使用dos2unix工具进行转换。

                   2.用 vim 转换,用vim打开文本文件，用 set fileformat=unix 转换
                      vim test.txt 
                      :set fileformat=unix
                       :wq

转载于:https://my.oschina.net/daquan/blog/504300