MTLD计算方法

计算方法

传入一个词的list，其实MTLD就是计算词串的长度，有个要求，词串的长度小于10他的数值就会失效，还有github上边有另外一种说法就是总词数不能小于50，我们用的后面那种。传进来后，挨个词进行ttr计算，就是比如说第一个词，词数是1，唯一词数也是1，那么我们ttr就是1，然后判断1>0.72，所以继续看下一个词，如果下一个词和第一个一样，那么词数是2，唯一词是1，ttr = 0.5<0.72，在这里断开，前面两个词就是一个词串，一个词串factors+1

最后有一个词叫做IFS下面有算法，得出最后一个ttr然后计算IFS，然后factors总数+IFS=最终IFS，然后正向的MTLD = 总词数/最终IFS，然后在反向求一次求平均

Python代码实现：

def MTLD(self,tokens):
    # 判断list要够长，否则当前ttr的值没有效果
    if len(tokens) < 50:
        return -1
    # 先得到一个type的list
    types = []
    factors = 0.0
    now_ttr = 1.0
    ttr_standard = 0.72
    tokens_number = 0
    types_number = 0
    for gram in tokens:
        gram = gram.lower()
        tokens_number+=1
        if gram not in types:
            types_number+=1
            types.append(gram)
        now_ttr = types_number*1.0/tokens_number
        if now_ttr < ttr_standard:
            factors+=1.0
            now_ttr = 1.0
            tokens_number = 0
            types_number = 0
            types = []
    RS = now_ttr
    # print now_ttr
    IFS = (1-RS)*1.0/0.28
    IFS+=factors
    if IFS != 0:
        return len(tokens)/IFS