阿米什-CSDN博客

原创 2021-06-11

Python3 阿里云API签名from datetime import datetimefrom urllib import parseimport uuidimport base64import hmacimport hashlibimport sysimport urllibclass AliAuth(object): Timestamp =datetime.utcnow().strftime('%Y-%m-%dT%H:%M:%SZ') Signatu

2021-06-11 13:20:50 118

原创中文切词过滤停顿词

# -*- coding: utf-8 -*-import jiebaimport timeimport osimport pickledef get_stopword_list(): stop_word_path=os.path.join(os.path.dirname(__file__),'../files/stopword.txt') stopword_list=[sw.replace('\n','') for sw in open(stop_word_path,encod

2021-01-05 20:19:26 213 1

原创 tf-idf gensim 文本相似度

tf-idf文本相似度计算import pickleimport pandas as pdimport jiebafrom gensim.models.tfidfmodel import TfidfModelfrom gensim import corpora,similarities,modelsimport timeimport os#读取数据集with open(os.path.join(os.path.dirname(__file__),'../files/job_info.pk

2021-01-05 19:23:55 338 4

原创 python mht 文件转html文件

import emailimport mimetypes# 把mht文件转为html文件def parse(file_name): print(file_name) # mht = open(file_name,'r',encoding='utf-8') mht = open(file_name, 'r', encoding='gbk') msg = email.message_from_file(mht) mht.close() # file_path

2020-12-08 14:32:15 1878 4

原创 python 获取文件编码方式（包括html txt doc等）

python 获取文件编码方式（包括html txt doc等）import chardetdef get_file_encoding(file_path): f3 = open(file_path, mode='rb') # 以二进制模式读取文件 data = f3.read() # 获取文件内容 f3.close() # 关闭文件 result = chardet.detect(data) # 检测文件内容 return result.get("en

2020-12-08 14:29:00 1361

原创交叉熵误差（cross entropy error)

熵真是一个神奇的东西，据说之所以把它命名为熵就是因为它难以理解但是它确实是一个很有用的西东，光机器学习里面，就经常见到它的身影，决策树要用到它，神经网络和logistic回归也用到了它。先说熵的定义：熵定义为信息的期望，某个待分类事物可以划分为多个类别，其中类别的信息为(为的概率)：熵为所有类别的信息期望值：交叉熵误差：为实际的分类结果，为预测的结果，（并且...

2019-03-01 16:48:42 9821

原创共轭函数两个性质的证明

学习机器学习的时候有涉及到共轭函数（也叫对偶函数），这边文章总结一下共轭函数的学习共轭函数的定义：对于函数其定义如下：表示函数的定义域，可以这样理解这个函数：首先它是关于的函数，给定一个值时，关于的函数在定义域上的最大值，即对应的值共轭函数在支持向量机的数学理论证明有涉及过，在最近火的不行的Gan生成对抗神经网络进阶版本的数学推理中也发挥着神奇的作用（听说待学习）因...

2019-02-18 13:40:04 6526 1

布鲁克林有一棵树