2018年02月_野孩子1991

04月 03月 02月

原创朴素贝叶斯（二）实现NBCorpus分类（附代码和数据）

理论可参考：朴素贝叶斯（一）公式：（P(x)为常数，可忽略不考虑）平滑：Nyk是类别为yk的样本个数，n是特征的维数，Nyk,xi是类别为yk的样本中，第i维特征的值是xi的样本个数，α是平滑值。在对NBCorpus词分类时，带入上面的公式可得：某词属于某类别的概率 = （该类别该词的个数 + 1/ 该类别词的总数 + 所有类别所有不重复单词总数） ×（该类别样本个数 / 所有类别总样本个数）...

2018-02-28 14:37:54 1067 1

原创朴素贝叶斯（一）

朴素贝叶斯（Naive Bayes）是一种简单的分类算法，它的经典应用案例为人所熟知：文本分类（如垃圾邮件过滤）。总结1、朴素贝叶斯有个前提的假设：每个条件（属性）互相之间是独立的。2、最初公式的分母是一个常数，忽略不计。3、在做词分类时，考虑到词很多需要做大量的乘法会影响效率，再者小数的乘法会越乘越小导致数据很小丢失数据，因此对最终的公式做ln处理，不影响单调性，把乘法转换成加法。4、为了防止在...

2018-02-28 14:18:46 2329

原创 numpy常用方法

求平均值 mean求方差 std3numpy scipy pandas 区别读mat文件 loadmat求几次方数组求和 sum排序下标 argsortdict getdict排序 sorted统计次数 bincount最大小值max最大小值的下标argmaxnprandomuniformstart end size13np的flatten vs ravelnpmgrid 生成网格15 npaminamax npminmaxnpvstacktuple nphstacktuple

2018-02-26 11:28:05 633

原创最大似然

最小二乘法思想是求欧式距离最小值。即求出一条线，样本距离这条线的和最小。最大似然符和高斯分布时，和最小二乘法的结果一样。最大似然是站在概率上考虑的，推导出一个概率函数表示目标函数，它希望这个概率函数越大越好。最大似然中心思想，假设拿出来的样本数据有很大的参考性，用这个样本数据反推“导致”这个结果的参数。

2018-02-26 11:20:58 392 1

NBCorpus（只是为了代码，很小的一部分）

朴素贝叶斯实现NBCorpus分类。这个NBCorpus只是很小的一部分。实现代码http://blog.csdn.net/u010668907/article/details/79400078

2018-02-28

修改过的hadoop-core-1.0.2.jar

hadoop 1.X版本在windows下的eclipse里连接hadoop集群时报类似错：Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700这是因为hadoop-core-1.0.2.jar的org.apache.hadoop.fs.FileUtil文件中找到以下部分，注释掉checkReturnValue方法中的下面代码有段需要注释： private static void checkReturnValue(boolean rv, File p, FsPermission permission) throws IOException { /* //win7 connect to linux hadoop if (!rv) { throw new IOException("Failed to set permissions of path: " + p +" to " + String.format("o", permission.toShort())); } */ } 这个jar包是修改过的jar包。用时直接加在项目里即可。

2016-01-21