自然语言处理-机器学习算法应用实战
自学视频编写的笔记,
1 贝叶斯算法:案例:新闻分类实战、垃圾邮件分类
2 隐马尔可夫模型:案例:打造自定义的分词器
太阳不热
此人不懒,其实该写的都写了
展开
-
贝叶斯算法(3)新闻分类任务实战:jieba中文分词、tfidf特征词提取、wordcloud词云展示、LDA主题建模、朴素贝叶斯算法分析预测
1 加载数据 import pandas as pd import jieba # 数据源:http://www.sogou.com/labs/resource/ca.php val_path = '/Users/haiwangluo/Downloads/人工智能全套/自然语言处理(Python版)/第六章:贝叶斯算法-新闻分类任务/贝叶斯Python文本分析/Python文本分析/data/val.txt' df_news = pd.read_table(val_path,names=['categor原创 2020-06-10 09:26:08 · 1589 阅读 · 1 评论 -
贝叶斯算法(2)贝叶斯算法实现单词拼写检查器
1 思路分析 求解:argmaxc P(c|w) -> argmaxc P(w|c) P© / P(w) P©, 文章中出现一个正确拼写词 c 的概率, 也就是说, 在英语文章中, c 出现的概率有多大 P(w|c), 在用户想键入 c 的情况下敲成 w 的概率. 因为这个是代表用户会以多大的概率把 c 敲错成 w argmaxc, 用来枚举所有可能的 c 并且选取概率最大的 编辑距离: 两个词之间的编辑距离定义为使用了几次插入(在词中插入一个单字母), 删除(删除一个单字母), 交换(交换相邻两个字原创 2020-06-08 16:51:57 · 383 阅读 · 0 评论 -
贝叶斯算法(1)概述:贝叶斯算法原理、公式推导、贝叶斯常见应用实例:拼写纠正实例、垃圾邮件过滤、拼写检查器
1 贝叶斯要解决的问题 1. 正向概率:假设袋子里面有N个白球,M个黑球,你伸手进去摸一把, 摸出黑球的概率是多大 (P = M/N) 2. 逆向概率:如果我们事先并不知道袋子里面黑白球的比例,而是闭着眼睛 摸出一个(或好几个)球,观察这些取出来的球的颜色之后,那么我们可 以就此对袋子里面的黑白球的比例作出什么样的推测 2 Why贝叶斯? 1. 现实世界本身就是不确定的,人类的观察能力是有局限性的 我们日常所观察到的只是事物表面上的结果,因此我们需要 提供一个猜测 2.1 男生女生的概率推断问题 已原创 2020-06-08 11:43:11 · 586 阅读 · 0 评论