中文词频统计及词云制作

1.中软国际华南区技术总监曾老师还会来上两次课，同学们希望曾老师讲些什么内容？（认真想一想回答）

大数据会用到哪些技术？

2.中文分词

1. 下载一中文长篇小说，并转换成UTF-8编码。
2. 使用jieba库，进行中文词频统计，输出TOP20的词及出现次数。
3. **排除一些无意义词、合并同一词。

   import jieba
   book = "wlh.txt"
   txt = open(book,"r",encoding='utf-8').read()
   ex = {'乃是','在于'}
   
   words = jieba.cut(txt)
   counts = {}
   for word in words:
       if len(word) == 1:
           continue
       else:
           counts[word] = counts.get(word,0) + 1
   for word in ex:
       del(counts[word])
   items = list(counts.items())
   items.sort(key=lambda x:x[1],reverse=True)
   for i in range(20):
       word,count = items[i]
       print("{0:<8}{1:>4}".format(word,count))

4. **使用wordcloud库绘制一个词云。

   import jieba
   from wordcloud import WordCloud
   import matplotlib.pyplot as plt
   txt=open('song.txt','r',encoding='utf-8').read()
   mywc = WordCloud().generate(txt)
   plt.imshow(mywc)
   plt.axis("off")
   plt.show()

    

转载于:https://www.cnblogs.com/wlh353/p/7593104.html