jieba分词源码学习-------基于前缀词典的词典树构建

def gen_pfdict(self, f):
        lfreq = {} #词频字典
        ltotal = 0
        f_name = resolve_filename(f)  #——compat.py中的函数 return f.name ？？？
		#从索引1 开始遍历文件，
		"""
		词典格式
		词 词频 词性
		AT&T 3  nz
		B超  3   n
		c#   3    nz
		"""
        for lineno, line in enumerate(f, 1):
            try:
                line = line.strip().decode('utf-8') #每行去首尾空格并解码
                word, freq = line.split(' ')[:2] #以空格分割为列表并取前两个元素，词与词频
                freq = int(freq)
                lfreq[word] = freq #词与词频 组合构成键值对的形式
                ltotal += freq #总词数统计
                for ch in xrange(len(word)):
                    wfrag = word[:ch + 1] #每个单词细分割，eg: 你好吗    你-》你好 -》你好吗   你和你好都可以是词前缀
                    if wfrag not in lfreq: #判断该词中是否含有词前缀
                        lfreq[wfrag] = 0#不是前缀词 频率赋值0
            except ValueError:
                raise ValueError(
                    'invalid dictionary entry in %s at Line %s: %s' % (f_name, lineno, line)) #错误处理 文件 行号 行
        f.close()
        return lfreq, ltotal #返回词频列表与总词数