[迁移]从utf8文件中列举所有的字符（文件是utf8格式的)python

声明：因网易博客将关闭，移到此

#coding=utf-8
#
# read all charactor from a file
# 读取所有的文字
# 这里主要是通过, unicode来对一个字符串进行编码成utf8这样就正确读取个数和获取信息了

import os

def read_all_char(filename):
    local_filename = unicode(filename, 'utf8');
    f = open(local_filename, "r");
    ctx = f.readlines();
    t = {};
    for line in ctx:
        local_line = unicode(line, 'utf8');
        num = len(local_line);
        for l in local_line:
            t[l] = True;

    lstr = "";
    for d in t:
        lstr = lstr + d;
    print(lstr);
    return;

read_all_char("G/TEST.txt");

比如说要做一个fnt的png文件，你想把几个文件夹下的所有文件里面的字符都拿出来，又或者flash里面需要导出一个字体，过滤掉不需要的字符，这个就麻烦点了。