NLP：高频词提取

import glob
import jieba


def get_content(path):
    with open(path,'r',encoding='gbk',errors='ignore') as f:
        content=''
        for l in f:
            l=l.strip()
            content+=l
        return content
def get_TF(words,topK=10):
    tf_dic ={}
    for w in words:
        tf_dic[w]=tf_dic.get(w,0)+1
    return sorted(tf_dic.items(),key=lambda x:x[1],reverse=True)[:topK]

def stop_word(path):
    with open(path) as f:
        return [l.strip() for l in f]

if __name__ == '__main__':
    files=glob.glob('./data/*.txt')
    corpus=[get_content(x) for x in files]
    index =1
    split_words =[x for x in jieba.cut(corpus[index]) if x not in stop_word('stop_words.txt')]
    print('content:'+corpus[index])
    print('分词效果：' +'/'.join(split_words))
    print('样本的top10:'+str(get_TF(split_words)))

结果：

/Users/dongyang/AI/anaconda3/python.app/Contents/MacOS/python /Users/dongyang/PycharmProjects/high_freq_word_ext/main.py
Building prefix dict from the default dictionary ...
Loading model from cache /var/folders/vg/y17wt4m521xf_z8jwnq8jjnw0000gn/T/jieba.cache
Loading model cost 0.698 seconds.
Prefix dict has been built succesfully.
content:本报讯（记者 马海邻）记者昨天得到确切消息，新浪公司今天将宣布由曹国伟接替汪延担任CEO，汪延则任董事会重要职位。曹国伟此前是新浪总裁兼CFO（首席财务官）。他于1999年加入新浪，任主管财务的副总，之后任职CFO、CFO兼COO（首席运营官）。曹国伟先后获得复旦大学新闻学学士、美国奥克拉荷马大学新闻学硕士学位，1993年获德国奥斯町大学商业管理学院财务专业硕士学位后，任职普华永道。其人被外界评价为强势的鹰派管理风格，曾获《首席财务官》杂志和IDG中国共同评选的“2005年度杰出CFO”。外界认为，由曹国伟主导的2003年1月收购讯龙、2004年3月收购深圳网兴科技，这两笔收购不仅奠定了新浪此后在无线增值业务上的地位，同时也增加了新浪经营模式的多样性与稳定性，对新浪意义非凡。新浪董事会对公司2005年以来业绩的滑坡、非广告业务收入下滑感到忧虑，希望曹国伟能够力挽狂澜，加强新业务的拓展。汪延于2003年5月取代茅道临出任新浪CEO。有关新浪再次换帅的传闻，起于去年下半年。昨晚新浪内部一名高层人士证实，今天在发布财务季报的同时，宣布人事变动.
分词效果：本报讯/记者/ /马海邻/记者/昨天/得到/确切/消息/新浪/公司/今天/将/宣布/由/曹国伟/接替/汪延/担任/CEO/汪延则/任/董事会/重要/职位/曹国伟/此前/是/新浪/总裁兼/CFO/首席/财务/官/他于/1999/年/加入/新浪/任/主管/财务/副总/之后/任职/CFO/CFO/兼/COO/首席/运营官/曹国伟/先后/获得/复旦大学/新闻学/学士/美国/奥克拉荷/马/大学/新闻学/硕士学位/1993/年/获/德国/奥斯/町/大学/商业/管理/学院/财务/专业/硕士学位/后/任职/普华永道/其人/被/外界/评价/为/强势/鹰派/管理/风格/曾/获/《/首席/财务/官/》/杂志/和/IDG/中国/共同/评选/“/2005/年度/杰出/CFO/”/外界/认为/由/曹国伟/主导/2003/年/1/月/收购/讯/龙/2004/年/3/月/收购/深圳网/兴/科技/这/两笔/收购/不仅/奠定/了/新浪/此后/在/无线/增值/业务/上/地位/同时/也/增加/了/新浪/经营/模式/多样性/与/稳定性/对/新浪/意义/非凡/新浪/董事会/对/公司/2005/年/以来/业绩/滑坡/非/广告业务/收入/下滑/感到/忧虑/希望/曹国伟/能够/力挽狂澜/加强/新/业务/拓展/汪延于/2003/年/5/月/取代/茅道临/出任/新浪/CEO/有关/新浪/再次/换帅/传闻/起于/去年/下半年/昨晚/新浪/内部/一名/高层人士/证实/今天/在/发布/财务/季报/同时/宣布/人事变动/.
样本的top10:[('新浪', 10), ('年', 6), ('曹国伟', 5), ('财务', 5), ('CFO', 4), ('首席', 3), ('月', 3), ('收购', 3), ('记者', 2), ('公司', 2)]