搜狗词库scel格式转txt文本

由于项目中要用到词库，而下载的搜狗词库是.scel格式，所以就用python脚本将搜狗词库.scel格式文件转化为.txt格式文件。

亲测可用！

[python]  view plain  copy

1. import struct  
2. import sys  
3. import binascii  
4. import pdb  
5.   
6. try:  
7.     reload(sys)  
8.     sys.setdefaultencoding('utf-8')  
9. except:  
10.     pass  
11.   
12. # 搜狗的scel词库就是保存的文本的unicode编码，每两个字节一个字符（中文汉字或者英文字母）  
13. # 找出其每部分的偏移位置即可  
14. # 主要两部分  
15. # 1.全局拼音表，貌似是所有的拼音组合，字典序  
16. #       格式为(index,len,pinyin)的列表  
17. #       index: 两个字节的整数 代表这个拼音的索引  
18. #       len: 两个字节的整数 拼音的字节长度  
19. #       pinyin: 当前的拼音，每个字符两个字节，总长len  
20. #  
21. # 2.汉语词组表  
22. #       格式为(same,py_table_len,py_table,{word_len,word,ext_len,ext})的一个列表  
23. #       same: 两个字节 整数 同音词数量  
24. #       py_table_len:  两个字节 整数  
25. #       py_table: 整数列表，每个整数两个字节,每个整数代表一个拼音的索引  
26. #  
27. #       word_len:两个字节 整数 代表中文词组字节数长度  
28. #       word: 中文词组,每个中文汉字两个字节，总长度word_len  
29. #       ext_len: 两个字节 整数 代表扩展信息的长度，好像都是10  
30. #       ext: 扩展信息 前两个字节是一个整数(不知道是不是词频) 后八个字节全是0  
31. #  
32. #      {word_len,word,ext_len,ext} 一共重复same次 同音词 相同拼音表  
33.   
34. # 拼音表偏移，  
35. startPy = 0x1540;  
36.   
37. # 汉语词组表偏移  
38. startChinese = 0x2628;  
39.   
40. # 全局拼音表  
41.   
42. GPy_Table = {}  
43.   
44. # 解析结果  
45. # 元组(词频,拼音,中文词组)的列表  
46. GTable = []  
47.   
48.   
49. def byte2str(data):  
50.     '''''''将原始字节码转为字符串'''  
51.     i = 0;  
52.     length = len(data)  
53.     ret = u''  
54.     while i < length:  
55.         x = data[i] + data[i + 1]  
56.         t = unichr(struct.unpack('H', x)[0])  
57.         if t == u'\r':  
58.             ret += u'\n'  
59.         elif t != u' ':  
60.             ret += t  
61.         i += 2  
62.     return ret  
63.   
64.   
65. # 获取拼音表  
66. def getPyTable(data):  
67.     if data[0:4] != "\x9D\x01\x00\x00":  
68.         return None  
69.     data = data[4:]  
70.     pos = 0  
71.     length = len(data)  
72.     while pos < length:  
73.         index = struct.unpack('H', data[pos] + data[pos + 1])[0]  
74.         # print index,  
75.         pos += 2  
76.         l = struct.unpack('H', data[pos] + data[pos + 1])[0]  
77.         # print l,  
78.         pos += 2  
79.         py = byte2str(data[pos:pos + l])  
80.         # print py  
81.         GPy_Table[index] = py  
82.         pos += l  
83.   
84.         # 获取一个词组的拼音  
85.   
86.   
87. def getWordPy(data):  
88.     pos = 0  
89.     length = len(data)  
90.     ret = u''  
91.     while pos < length:  
92.         index = struct.unpack('H', data[pos] + data[pos + 1])[0]  
93.         ret += GPy_Table[index]  
94.         pos += 2  
95.     return ret  
96.   
97.   
98. # 获取一个词组  
99. def getWord(data):  
100.     pos = 0  
101.     length = len(data)  
102.     ret = u''  
103.     while pos < length:  
104.         index = struct.unpack('H', data[pos] + data[pos + 1])[0]  
105.         ret += GPy_Table[index]  
106.         pos += 2  
107.     return ret  
108.   
109.   
110. # 读取中文表  
111. def getChinese(data):  
112.     # import pdb  
113.     # pdb.set_trace()  
114.   
115.     pos = 0  
116.     length = len(data)  
117.     while pos < length:  
118.         # 同音词数量  
119.         same = struct.unpack('H', data[pos] + data[pos + 1])[0]  
120.         # print '[same]:',same,  
121.   
122.         # 拼音索引表长度  
123.         pos += 2  
124.         py_table_len = struct.unpack('H', data[pos] + data[pos + 1])[0]  
125.         # 拼音索引表  
126.         pos += 2  
127.         py = getWordPy(data[pos: pos + py_table_len])  
128.   
129.         # 中文词组  
130.         pos += py_table_len  
131.         for i in xrange(same):  
132.             # 中文词组长度  
133.             c_len = struct.unpack('H', data[pos] + data[pos + 1])[0]  
134.             # 中文词组  
135.             pos += 2  
136.             word = byte2str(data[pos: pos + c_len])  
137.             # 扩展数据长度  
138.             pos += c_len  
139.             ext_len = struct.unpack('H', data[pos] + data[pos + 1])[0]  
140.             # 词频  
141.             pos += 2  
142.             count = struct.unpack('H', data[pos] + data[pos + 1])[0]  
143.   
144.             # 保存  
145.             GTable.append((count, py, word))  
146.   
147.             # 到下个词的偏移位置  
148.             pos += ext_len  
149.   
150.   
151. def deal(file_name):  
152.     print '-' * 60  
153.     f = open(file_name, 'rb')  
154.     data = f.read()  
155.     f.close()  
156.   
157.     if data[0:12] != "\x40\x15\x00\x00\x44\x43\x53\x01\x01\x00\x00\x00":  
158.         print "确认你选择的是搜狗(.scel)词库?"  
159.         sys.exit(0)  
160.         # pdb.set_trace()  
161.   
162.     print "词库名：", byte2str(data[0x130:0x338])  # .encode('GB18030')  
163.     print "词库类型：", byte2str(data[0x338:0x540])  # .encode('GB18030')  
164.     print "描述信息：", byte2str(data[0x540:0xd40])  # .encode('GB18030')  
165.     print "词库示例：", byte2str(data[0xd40:startPy])  # .encode('GB18030')  
166.   
167.     getPyTable(data[startPy:startChinese])  
168.     getChinese(data[startChinese:])  
169.   
170.   
171. if __name__ == '__main__':  
172.   
173.     # 将要转换的词库添加在这里就可以了  
174.     o = [u'明星【官方推荐】.scel',]  
175.   
176.   
177.     for f in o:  
178.         deal(f)  
179.   
180.         # 保存结果  
181.     f = open('amuse.txt', 'w')  
182.     for word in GTable:  
183.         # GTable保存着结果，是一个列表，每个元素是一个元组(词频,拼音,中文词组)，有需要的话可以保存成自己需要个格式  
184.         # 我没排序，所以结果是按照上面输入文件的顺序  
185.         #f.write(unicode(word).encode('GB18030'))  # 最终保存文件的编码，可以自给改  
186.         f.write(word[2])  
187.         f.write('\n')  
188.     f.close()