Machine Learning
枪枪枪
见贤思齐焉,见不贤而内自省也。
君子生非异也,善假于物也。
君子博学而日参省乎己,则知明而行无过矣。
展开
-
[pytorch]序列标注算法评估模块 seqeval 的使用
参考资料:序列标注算法评估模块 seqeval 的使用https://mp.weixin.qq.com/s/PUwGp4fTJj1d38_ZasjBPQ准确率: accuracy = 预测对的元素个数/总的元素个数查准率:precision = 预测正确的实体个数 / 预测的实体总个数召回率:recall = 预测正确的实体个数 / 标注的实体总个数F1值:F1 = 2 *准确率 * 召回率 / (准确率 + 召回率)pip install seqeval这个包将accuracy、pr原创 2020-11-24 16:58:43 · 882 阅读 · 0 评论 -
阅读源码-理解pytorch_pretrained_bert中from_pretrained的工作方式
vocab.txt的两种来源网络PRETRAINED_VOCAB_ARCHIVE_MAP = { 'bert-base-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-vocab.txt", 'bert-large-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncas原创 2020-11-10 15:20:40 · 10135 阅读 · 0 评论 -
Windows 10 使用IIS部署flask网站
文章目录开始启用CGI安装URL重写组件安装wfastcgi启用wfastcgi创建web.config文件配置IIS目录及权限创建并访问你的网站开放端口参考资料开始启用CGI安装URL重写组件https://www.microsoft.com/web/downloads/platform.aspx安装wfastcgipip install wfastcgi启用wfastcgi以管理员身份启动cmd切换到wfastcgi-enable.exe路径下d:cd D:\main\A原创 2020-11-02 13:33:06 · 1116 阅读 · 0 评论 -
阅读源码-理解torch.utils.data、torch.utils.data.Dataset、torch.utils.data.DataLoader的工作方式
文章目录目标应用源码测试知识点Python splitlines()方法python filter()函数暂时先写这么多,后面再完善目标torch.utils.datafrom torch.utils.data import Dataset应用训练模型时,通过继承Dataset类,对数据集进行定制凡是继承这个类,都需要重载__getitem__这个方法(否则会触发NotImplementedError): def __getitem__(self, index):原创 2020-10-28 22:27:32 · 954 阅读 · 0 评论 -
pypytorch debug记录: MemoryError、BrokenPipeError、device-side assert triggered
文章目录一、MemoryError、BrokenPipeError资料二、CUDA error: device-side assert triggered资料操作系统:windows 10一、MemoryError、BrokenPipeErrorerror_message:99%|█████████████████████████████████████████████████████████████████████████████████████████100%|████████████████原创 2020-10-24 16:14:28 · 2457 阅读 · 0 评论 -
阅读源码-理解pytorch_pretrained_bert中BertTokenizer工作方式
tokenization.pyload_vocab(vocab_file)def load_vocab(vocab_file): """Loads a vocabulary file into a dictionary.""" vocab = collections.OrderedDict() index = 0 with open(vocab_file, "r", encoding="utf-8") as reader: while True:原创 2020-10-22 13:35:26 · 6695 阅读 · 4 评论 -
BERT 中的tokenizer和wordpiece和bpe(byte pair encoding)分词算法
文章目录一、BERT 中的tokenizer和wordpiece和bpe(byte pair encoding)分词算法1.1 tokenizer 分词器wordpiece(暂且称为 词块)对于英文词语对于中文1.2 谷歌中文预训练语言模型,vocab.txt词包(词典)1.3 bpe(byte pair encoding,字节对编码)分词算法资料理解bpebpe分词算法的原理以及在机器翻译中的应用机器翻译 bpe——bytes-pair-encoding以及开源项目subword-nmt快速入门理解tok原创 2020-09-28 22:04:30 · 9082 阅读 · 2 评论 -
逻辑回归:Cost function
J(θ)=−1m∑i=1m[y(i)logh(x(i),θ)+(1−y(i))log(1−h(x(i),θ))]J(\theta)=-\frac{1}{m}\sum_{i=1}^{m}[y^{(i)}\log{h(x^{(i)},\theta)}+(1-y^{(i)})\log{(1-h(x^{(i)},\theta))}]J(θ)=−m1i=1∑m[y(i)logh(x(i),θ)+(1−y(i))log(1−h(x(i),θ))]这个方程分为几个部分后理解起来会很容易−1m-\frac{原创 2020-08-09 14:31:23 · 585 阅读 · 0 评论 -
win10 配置cuda、cudnn、tensorflow、pytorch过程记录
文章目录资料1.安装cuda2. 安装cudnn资料windows下cuda的安装https://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html1.安装cuda谷歌搜索:cuda 10.2.141 driverhttps://developer.nvidia.com/cuda-10.2-download-archive?target_os=Windows&target_arch=x86_64&target_v原创 2020-07-20 19:49:50 · 2328 阅读 · 0 评论 -
对tensorflow.constant()的理解
tensorflow.python.framework.constant_op @tf_export(v1=["constant"]) def constant_v1(value: Any, dtype: Any = None, shape: Any = None, name: str = "Const...原创 2019-05-15 10:51:33 · 2923 阅读 · 0 评论 -
TensorFlow多维矩阵的转置,tensorflow.transpose()的理解
TensorFlow——多维矩阵的转置(transpose):https://blog.csdn.net/qq_37174526/article/details/80905693这一篇写得相当清楚。我额外添加一些对参数perm的理解:这是官方文档里的描述,简单的翻译:转置矩阵a根据参数perm对矩阵维数进行调整。返回的张量的维数i将对应于输入维数perm[i]。如果没有指定perm,...原创 2019-05-15 11:22:33 · 3344 阅读 · 0 评论 -
[机器学习实战] 阅读第九章
文章目录运行tensorflow1 tensorflow环境地配置2 创建一个计算图并在会话中执行地四种方式3 管理图添加节点到指定的图上重置默认图4 节点值的生命周期5 TensorFlow中的线性回归运行tensorflow1 tensorflow环境地配置https://blog.csdn.net/az9996/article/details/902098162 创建一个计算图并在会...原创 2019-05-15 15:25:50 · 331 阅读 · 0 评论 -
[机器学习实战] 阅读第十章
文章目录人工神经网络(ANN)从生物神经元到人工神经元生物神经元具有神经元的逻辑计算感知器公式10-1:感知器中常见的阶跃函数公式10-2:感知器学习规则(权重更新)感知器收敛定理人工神经网络(ANN)人工神经网络是深度学习的核心中的核心。它们通用、强大、可扩展,使得它成为解决大型和高度复杂的机器学习任务的理想选择。通过第一个ANN架构的快速教程来介绍人工神经网络。多层感知器(MLP)从...原创 2019-05-20 21:01:23 · 896 阅读 · 0 评论 -
[机器学习实战] 阅读第五章
文章目录支持向量机1 线性SVM分类1.1 软件隔分类- numpy.array.astype()1.2 使SVM分类器输出类别概率的方法方法一:SVC类 ,kernel(核心)参数方法二:SGDClassifier类2 非线性SVM分类2.1 为数据集添加多项式特征的方法方法一:搭建流水线*方法二:多项式核 核技巧(SVC类中实现)网格搜索使用技巧2.2 添加相似特征*高斯径向...原创 2019-05-10 20:59:13 · 473 阅读 · 0 评论 -
搜集、阅读、学习的关于机器学习——深度神经网络、卷积神经网络,图像识别的资料
===================================================================================================在探索中进步!阅读的我在这里写上见解,还没来得及读的,先放上文章标题、链接=============================================================...原创 2019-05-24 11:48:04 · 246 阅读 · 0 评论 -
[tensorflow warning] log
警告:TensorFlow:使用临时文件夹作为模型目录WARNING:tensorflow:Using temporary folder as model directory: C:\Users\dell\AppData\Local\Temp\tmpypmcbwk5可以不予理会引用的模块过时colocate_with (from tensorflow.python.framework.o...原创 2019-05-21 15:14:49 · 2389 阅读 · 0 评论 -
[机器学习实战] 阅读第六章
文章目录决策树CRAT 训练算法公式6-2:CART分类成本函数基尼不纯度、信息熵公式6-3:信息熵回归公式6-4:CART回归成本函数决策树决策树模型:https://blog.csdn.net/az9996/article/details/86555029CRAT 训练算法公式6-2:CART分类成本函数基尼不纯度、信息熵默认使用的是基尼不纯度来进行测量,但是,你可以将超参数cr...原创 2019-05-12 11:08:19 · 544 阅读 · 0 评论 -
对一段示例代码的分析,在mnist数据集上使用tensorflow建立多层感知器(MLP)和用tensorflow的方法训练深度神经网络(DNN)
代码来自书上:tf.feature_column.numeric_column特征列是指一组数据的相关特征,包含了数据的相关类型和长度等信息>>>feature_cols = [tf.feature_column.numeric_column("X",shape=[28*28])][NumericColumn(key='X', shape=(784,), default_...原创 2019-05-21 18:29:04 · 485 阅读 · 0 评论 -
[机器学习实战] 阅读第七章
文章目录集成学习和随机森林集成1 投票分类器1.1 硬(hard)投票1.2 软(soft)投票2 bagging 和 pastingScikit-Learn 的 bagging 和 pasting3 包外评估4 Random Patches 和随机子空间5 随机森林极端随机树6 特征重要性7 提升法AdaBoost梯度提升堆叠法集成学习和随机森林集成第一种,在相同数据集上训练不同得模型,然...原创 2019-05-12 20:55:48 · 538 阅读 · 0 评论 -
在处理图像数据集时保持其维度信息的同时,将全部图像、标签放到一个Dataframe中
数据集我的图像数据集中有大约39000张图片 name label length width specific_value0 013MNV9B.jpg 100.0 1254.0 600.0 2.0900001 016ETNGG.jpg 50.0 1129.0 578.0 1.9532872 ...原创 2019-05-25 20:11:31 · 768 阅读 · 0 评论 -
[机器学习实战] 阅读第十一章
训练深度神经网络处理复杂问题时,比如要在高分辨率的图片中检测数百种形状的对象,该怎么办?你可能需要训练一个更深层的DNN,比如说10层,每一层都含有数百个神经元,通过数十万个链接相连。诡异的梯度消失问题训练速度太慢一个有数百万参数的模型会很容易出现过度拟合训练集的风险。梯度消失 / 爆炸问题反向传播算法是从输出层反向作用到输入层,在过程中传播误差梯度。一旦算法根据网络的参数计算出成本函...原创 2019-05-30 17:00:13 · 488 阅读 · 0 评论 -
关于在神经网络训练中使用批量归一化(batch_normalization)时遇到的参数
文章目录批量归一化参数 momentum参数 epsilon参数 training实例批量归一化def batch_normalization(inputs, axis=-1, momentum=0.99, epsilon=1e-3, ...原创 2019-05-31 08:52:41 · 3786 阅读 · 0 评论 -
一个numpy.array_split应用的例子
X = tf.placeholder(tf.float32, shape=(None, n_inputs), name="X")y = tf.placeholder(tf.int32, shape=(None), name="y")X,y均为tensorflow中的占位节点,作用是可以在tensorflow运行过程中向tensorflow传递值def shuffle_batch(X, y,...原创 2019-05-29 13:33:01 · 1214 阅读 · 0 评论 -
对书中用leaky_relu激活函数训练DNN示例代码的分析
示例代码来自书中,有部分进行了修改:加载数据集改为从本地导入引入可视化,查看数据集import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltimport matplotlibn_inputs=28*28 #mnist数据集中图片大小为28*28=784,共784个像素点n_hidden1=300...原创 2019-05-29 17:31:20 · 1669 阅读 · 0 评论 -
关于graphviz绘制的点(dot)图在显示时中文乱码问题的解决方法
123原创 2019-06-17 21:02:09 · 4574 阅读 · 4 评论 -
第七个模型:核支持向量机模型(kernelized support vector machine)
======================================================================= Machine Learning notebookPython机器学习基础教程(introduction to Machine Learning with Python)===========================...原创 2019-01-24 22:00:13 · 1695 阅读 · 0 评论 -
对numpy.c_的理解
文章目录文档描述关于python科学计算(pandas、numpy)中axis(轴)的理解理解文档描述来自官方文档的叙述(这里只简单翻译一部分)numpy.c_numpy.c_ = <numpy.lib.index_tricks.CClass object>Translates slice objects to concatenation along the second a...原创 2019-05-15 10:32:55 · 1062 阅读 · 0 评论 -
Anaconda conda 和 virtualenv 创建指定的python环境到项目文件夹内
文章目录第一步使用conda安装所需的python版本使用 conda info --env查看是否成功第二步转到项目路径copy系统python副本到项目内最后,启动出于需要,当前正在用的python 3.7环境要换成python 3.6。于是有了下面的操作。第一步系统内没有python 3.6的版本怎么办?在virtualenv中貌似只能根据系统中的python版本来在项目内创建pyt...原创 2019-05-14 16:41:31 · 4401 阅读 · 1 评论 -
第八个模型:神经网络学习(深度学习)模型
======================================================================= Machine Learning notebookPython机器学习基础教程(introduction to Machine Learning with Python)===========================...原创 2019-01-25 20:09:50 · 4090 阅读 · 0 评论 -
第四个模型:决策树模型
======================================================================= Machine Learning notebookPython机器学习基础教程(introduction to Machine Learning with Python)https://github.com/amuelle...原创 2019-01-20 22:17:27 · 6194 阅读 · 0 评论 -
对mglearn库的理解
1:这个库中有许多已经做好的数据视图。列如:一行简单的代码,就可以查看线性回归在回归问题中的使用情况。mglearn.plots.plot_linear_regression_wave()2:这个库中有许多配置好的配色方案,在用pyplot作图时可以方便的调用这是定位到的源代码:# create a smooth transition from the first to to the...原创 2019-01-15 12:04:14 · 18853 阅读 · 7 评论 -
python 在IDE内调用graphviz软件以pdf格式显示.dot文件
这里以tree.dot文件作为实例示例,文件内容为用乳腺癌数据集建立的决策树模型。1:打开目标文件import graphvizwith open("tree.dot") as f: dot_graph = f.read()2:调用graphviz的source方法解析数据,然后调用view方法显示视图dot=graphviz.Source(dot_graph)dot.vi...原创 2019-01-20 18:11:41 · 8647 阅读 · 1 评论 -
对numpy中的linespace的理解
文档地址:https://docs.scipy.org/doc/numpy/reference/generated/numpy.linspace.html#numpy.linspace先贴出说明文档内的部分内容:numpy.linspacenumpy.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None)...原创 2019-01-15 11:09:10 · 15641 阅读 · 0 评论 -
对numpy中的respace的理解
numpy.respace()的说明文档:https://docs.scipy.org/doc/numpy/reference/generated/numpy.reshape.html#numpy-reshape贴出方法的说明:numpy.reshapenumpy.reshape(a, newshape, order=‘C’)[source]Gives a new shape to an ...原创 2019-01-15 10:45:01 · 1092 阅读 · 0 评论 -
python 使用Graphviz绘图时遇到的问题、解决方法
1、ModuleNotFoundError: No module named ‘graphviz’原因:未安装graphviz组件2、graphviz.backend.ExecutableNotFound: failed to execute [‘dot’, ‘-Tpng’, ‘-O’, ‘tmp’], make sure the Graphviz executables are on you...原创 2019-01-19 15:37:36 · 15890 阅读 · 1 评论 -
数据可视化(一):绘制散点图
-----------------------------------------Machine Learning notebook---------------------------------------https://github.com/amueller/introduction_to_ml_with_python/blob/master/01-introduction.ipynb ...原创 2019-01-13 22:10:35 · 15639 阅读 · 0 评论 -
第一个模型:k近邻算法
-----------------------------------------Machine Learning notebook---------------------------------------https://github.com/amueller/introduction_to_ml_with_python/blob/master/01-introduction.ipynb ...原创 2019-01-13 21:36:11 · 465 阅读 · 0 评论 -
第六个模型:集成方法中的梯度提升回归树(梯度提升机)模型
======================================================================= Machine Learning notebookPython机器学习基础教程(introduction to Machine Learning with Python)===========================...原创 2019-01-23 21:23:09 · 7861 阅读 · 9 评论 -
第五个模型:集成方法中的随机森林模型
======================================================================= Machine Learning notebookPython机器学习基础教程(introduction to Machine Learning with Python)https://github.com/amueller...原创 2019-01-23 20:29:43 · 1609 阅读 · 0 评论 -
第二个模型:线性模型
-----------------------------------------Machine Learning notebook---------------------------------------https://github.com/amueller/introduction_to_ml_with_python/blob/master/02-supervised-learning....原创 2019-01-16 16:08:41 · 428 阅读 · 0 评论