tiandilinghuo-CSDN博客

原创 KL散度备忘

举一个实际的例子吧：比如有四个类别，一个方法A得到四个类别的概率分别是0.1,0.2,0.3,0.4。另一种方法B（或者说是事实情况）是得到四个类别的概率分别是0.4,0.3,0.2,0.1,那么这两个分布的KL-Distance(A,B)=0.1*log(0.1/0.4)+0.2*log(0.2/0.3)+0.3*log(0.3/0.2)+0.4*log(0.4/0.1) 这个里面有正的，有负...

2019-03-20 13:37:32 154

原创 solrCloud搭建笔记

1、tomcat 主要配置参数 -Dsolr.log=/niub/www/sentiment/logs -DzkHost=10.24.235.70:2181,10.24.234.190:2181,10.24.235.15:2181/solrcloud/online/sentiment （也可配置在solr home 的 solr.xml中） -Dsolr.solr.home=/ni...

2019-03-15 13:49:41 129

转载 PCA 特征值特征向量理解

定义：主成分分析（Principal Component Analysis，PCA），是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。PCA的思想是将n维特征映射到k维上（k<n），这k维是全新的正交特征。这k维特征称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。简单解释：具体的，假如我...

2019-03-14 17:57:05 2235

原创 GDBT回归树算法备忘

GDBTGradientBoostingDecisionTree 以波士顿房价数据为例输入数据如下 0.00632,18,2.31,0,0.538,6.575,65.2,4.09,1,296,15.3,396.9,4.98,24 0.02731,0,7.07,0,0.469,6.421,78.9,4.9671,2,242,17.8,396.9,9.14,21.6 0.02729,...

2019-03-07 15:23:42 150

原创 Hbase 操作mark

def go(): '''restful方式创建namespace''' ui='http://127.0.0.1:12345/namespaces/jt_2' head={'Accept':'text/json','Content-Type': 'text/json'} #r=requests.get(ui) r=requests.post(ui,json={},header...

2019-02-28 19:36:57 75

转载 softmax function

softmax function 对于多类分类问题即输出多个概率的问题，sigmoid函数就使不上劲了。这时候就需要运用softmax了。 softmax是如何由来的呢？举个简单的例子（例子来自udacity的深度学习课程里的解释），要建立一个模型，对于我们看到的动物，我们要分别输出为鸭子，海狸和海豹的概率。基于种种特征输入，现在鸭子，海狸和海豹得到的分数分别为 2 , 1 和 0。计算概率的...

2019-02-27 21:17:23 220

原创 sort uniq 用法

sort 命令 sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。 -b：忽略每行前面开始出的空格字符； -c：检查文件是否已经按照顺序排序； -d：排序时，处理英文字母、数字及空格字符外，忽略其他的字符； -f：排序时，将小写字母视为大写字母； -i：排序时，除了040至176...

2019-02-27 19:41:40 184

原创 jieba分词 mark

jieba.enable_parallel(60) ##可以设置并发进程数 ##并发是将长文按行切分分配到不同进程加速

2019-02-26 14:34:15 274

转载 python发邮件

import smtplib mailto_list=['604406136@qq.com'] #收件人(列表) mail_host="smtp.cnpat.com.cn" #使用的邮箱的smtp服务器地址，这里是163的smtp地址 mail_user="带@后面的" #用户名

2017-09-15 16:13:23 219

原创 gensim自定义词典加载

很久以前用过gensim这种python版本的NLP，机器学习工具，现在忘差不多了，今天又捡起来 genSim处理中文过程中，第一步先进行分词，采用的python的结巴分词，分词完毕后，针对特定语料集，形成自己的词典，gensim工具要求的词典格式如下 103385 0 内部电源 37 1 运输汽车 2 2 傅里叶级数 2 3 盘式 145 4 柴油发动机 177

2017-09-15 14:56:08 2099