- 博客(28)
- 收藏
- 关注
RSS订阅原创 【飞桨PaddlePaddle】自主研发、功能完备、开源开放，国产之光
正常人谁他妈飞桨啊????paddle就是个垃圾，实测比pytorch和tensorflow慢了一半以上。用官方fit单独训练模型都慢得要死，又没相关的优化文档说明，正常人谁他妈用飞桨。越想越气，飞桨就是一急于求成的垃圾玩意。不能求高阶导我用pytorch求好保存下来给你用，没有的一些算子我自己写底层，尼玛搞半天你最基本的训练都比人慢一半。github和gitee上提issue还他妈没人理，加群想问下paddle的问题也是一副不想搭理的样子。笑死，共同搭建国产生态，????还真想着出以后实验尽量
2021-11-26 10:46:18
380
原创 神经网络压缩类论文阅读笔记
1、AutoPrune: Automatic Network Pruning by Regularizing Auxiliary Parameters自动剪枝：通过正则化辅助参数自动进行网络剪枝作者提出AutoPrune，通过优化一组辅助参数来实现剪枝，不过是基于权重剪枝，或能推广到神经元剪枝。其实是用这组超参数把网络稀疏问题表述为一个优化问题，一组超参数与权重的乘积表示为修剪后的权值矩阵。在我看来有个很明显的缺点，不管结果如何，用测试集得到一种先验就很蠢，他是根据测试集L1正则化得到的M和训练集L
2021-05-04 13:29:08
1594
原创 MySQL使用
0. 前言。。。1. 安装MySQLUbuntu上直接通过apt-get安装sudo apt-get install mysql-server启动服务sudo service mysql start停止服务sudo service mysql stop初始化配置sudo mysql_secure_installation配置选择(base) kangxiatao@AnoI:~$ sudo mysql_secure_installationSecuring the MySQL
2021-02-26 22:09:19
181
原创 NLP 自然语言处理（Natural Language Processing）
0. 前言跟着师兄做知识图谱相关课题，果然知识图谱还是????和NLP结合，那就来把，先过一遍NLP。1. 理解词语词向量把词映射到空间中，根据夹角、距离和长短等判断词的相似性。Continuous Bag of Words (CBOW)前后的词预测中间的词Skip-Gram中间的词预测前后的词损失函数损失函数通过正采样和负采样设定，tf.nn.nce_loss抽样选取来传递loss...
2021-02-26 20:48:46
699
原创 神经网络压缩（Neural Network Compression）
0. 前言剪枝（Pruning）是为了开发更小、更高效的神经网络。 就我面前的理解来说，主要是去掉权重张量中多余的值从而优化模型。 压缩后的神经网络运行速度更快，减少了训练网络的计算成本。1. 剪枝算法Regularization（正则化）0范数，向量中非零元素的个数。1范数，为绝对值之和。2范数，就是通常意义上的模。L0范数和L1范数对非零参数进行惩罚，使更多非零参数等于零，实现稀疏。L2范数是指向量各元素的平方和然后求平方根，让L2范数的正则项||W||2最小，可以使得W的每个元素都很
2021-02-20 21:09:03
1308
原创 Web服务器搭建
1，安装 Node 和 npmNode 是服务器端运行 Js 代码的引擎；npm 则是依赖包管理工具，可以轻松安装工具和代码类库。Node 中文网 http://nodejs.cn/download/查看版本检测是否安装成功npm -v修改npm的资源镜像链接npm config set registry http://registry.npm.taobao.org安装servenpm i -g serve在文件夹目录中启动serve即可搭建一个 web 服务器，以支
2021-01-29 23:20:25
95
原创 tensorflow1.使用笔记
Amazon-bookLast-FMYelp2018douban250User-Item Interaction#Users70,67923,56645,9194,422#Items24,91548,12345,538250#Interactions847,7333,034,7961,185,06855000Knowledge Graph#Entities88,57258,26690,961None#Relatio...
2021-01-16 17:19:08
88
原创 Google Colaboratory的配置和使用
0. 前言很遗憾我到最近才知道有这么个平台存在，Google完全免费的Colaboratory，自带免费的Tesla T4 GPU，用了一段时间之后，只能说Google一次又一次让我感到震惊，友好的UI和全局中文，添加了很多方便的可视化操作，从使用体验上来说就已经无敌了，这就是资本的力量吗。当然Colab有使用限制，每次运行最多12个小时，运行时不能离线。1. 创建笔记本新建Google Colaboratory如果Colaboratory不存在，转到页面https://colab.rese
2021-01-07 00:35:54
939
原创 《Deep Learning (Ian Goodfellow)》深度模型的优化
深度模型的优化1. 自适应学习率算法动量（momentum）一个数组中的元素分布在若干维坐标的规则网格中，称之为张量。生成子空间（span）一组向量的生成子空间是原始向量线性组合后所能抵达的点的集合。范数（norm）在机器学习中，我们经常使用被称为范数的函数衡量向量大小。特征分解将矩阵分解成一组特征向量和特征值。奇异值分解（SVD）将矩阵分解为奇异向量和奇异值。2. 实例主成分分析（PCA）PCA是一种降维的方法...
2020-12-14 15:22:51
196
原创 DeepFM: A Factorization-Machine based Neural Networ（基于分解机的神经网络）
《DeepFM: A Factorization-Machine based Neural Networ》精读笔记哈工大与华为诺亚方舟联合实验室2017年发表的论文。借鉴了Wide&Deep模型，Wide部分替换为FM模型。0. FM模型(Factorization Machine)DeepFM之前应该了解的是FM，在预测系统中，特征进行编码之后会使数据变得很稀疏，FM主要是解决数据稀疏的情况下特征组合问题。考虑特征互相关联的情况下，二阶多项式模型表达式如下：y=ω0+∑i=1nωix
2020-12-14 00:00:53
294
原创 Probabilistic Matrix Factorization（概率矩阵分解）
《Probabilistic Matrix Factorization》精读笔记本篇论文作者是多伦多大学计算机科学系的Ruslan Salakhutdinov和Andriy Mnih，发表于2007年NIPS。文中作者提出概率矩阵分解模型，是现代推荐系统的基础算法之一。1. 介绍传统比较流行协同过滤的方法是基于低纬度的因子模型，一个用户的态度或偏好由这些因子可以得到。简单来说就是用户和电影之间的关系用几个线性组合决定。例如，对于N个用户和M个电影，N×M的偏好矩阵RRR由一个N×D的用户系
2020-11-19 20:33:56
2067
1
原创 《Deep Learning (Ian Goodfellow)》机器学习基础
机器学习基础1. 学习算法任务分类、输入缺失分类、回归、转录、机器翻译、结构化输出、异常检测、合成和采样、缺失值填补、去噪、密度估计或概率质量函数估计经验根据学习过程中的不同经验，机器学习算法可以大致分类为无监督（unsuper-vised）算法和监督（supervised）算法，不过它们之间界线通常是模糊的。2. 容量、过拟合和欠拟合这两个因素对应机器学习的两个主要挑战： 欠拟合（underfitting）和过拟合（overfitting）。欠拟合是指模型不能在训练集上获得足够低的
2020-11-17 18:37:40
703
原创 《Deep Learning (Ian Goodfellow)》概率与信息论
概率与信息论1. 部分数学概念张量（tensor）一个数组中的元素分布在若干维坐标的规则网格中，称之为张量。生成子空间（span）一组向量的生成子空间是原始向量线性组合后所能抵达的点的集合。范数（norm）在机器学习中，我们经常使用被称为范数的函数衡量向量大小。特征分解将矩阵分解成一组特征向量和特征值。奇异值分解（SVD）将矩阵分解为奇异向量和奇异值。2. 实例主成分分析（PCA）PCA是一种降维的方法...
2020-11-17 15:27:13
302
1
原创 《Deep Learning (Ian Goodfellow)》线性代数
线性代数1. 部分数学概率张量（tensor）一个数组中的元素分布在若干维坐标的规则网格中，称之为张量。2. 实现用距离公式计算出待分类数据和数据集的距离得出距离最近的n个距离值在最近n个距离值中找出最多的类别该类别即待分类数据的类别3. 总结简单有效但是占用大量空间和时间可用于简单分类...
2020-11-14 14:44:05
229
1
原创 《机器学习实战中文版》简化数据
简化数据降维技术1. PCA按照数据方差最大方向调整数据的主成分分析降维2. SVD用奇异值分解矩阵，通过对原始数据的逼近来达到降维目的（书上用的NumPy中的linglg线性代数工具箱实现，关于矩阵这一块的知识需要恶补，暂时continue）...
2020-11-07 17:05:29
116
原创 《机器学习实战中文版》无监督学习
无监督学习1. K-均值聚类算法随机选择起始质心计算质心与数据之间的距离将数据点分配到距其最近的簇计算簇中所有点的均值并作为质心最后得到分类结果2. Apriori算法发现频繁集从频繁项集中挖掘关联规则在最近n个距离值中找出最多的类别该类别即待分类数据的类别3. FP-growth算法用于高效发现频繁项集构建FP树从FP树中挖掘频繁项集（关于FP-growth算法，在挖掘频繁项集的实现代码中，并没有很理解第二次建树的逻辑，以后再有研究再来填坑）...
2020-11-07 10:59:42
796
原创 《机器学习实战中文版》 树回归
树回归1. 概述在树结构的每个叶节点上都构建出一个线性模型优点：可以对复杂和非线性的数据建模。缺点：结果不易理解。适用数据范围：数值型和标称型数据。2. 实现构建树树剪枝避免模型对数据的过拟合预剪枝后剪枝模型树前面是把叶节点设定为常数值，现在把叶节点设定为分段的线性函数树回归与标准回归的比较Tkinter 库创建 GUI3. 总结本章依然是回归和分类问题...
2020-11-04 16:44:18
91
原创 《机器学习实战中文版》 预测数值型数据：回归
kNN算法1. 概述采用测量不同特征值之间的距离方法进行分类优点：精度高、对异常值不敏感、无数据输入假定。缺点：计算复杂度高、空间复杂度高。适用数据范围：数值型和标称型。2. 实现用距离公式计算出待分类数据和数据集的距离得出距离最近的n个距离值在最近n个距离值中找出最多的类别该类别即待分类数据的类别3. 总结简单有效但是占用大量空间和时间可用于简单分类...
2020-11-02 20:09:14
117
原创 《机器学习实战中文版》 机器学习分类学习器性能测试
机器学习分类学习器性能测试1. 数据部分从文件中读取数据特征为马的某些医院检测的指标标签为是否属于疝气病症在本次测试中只选取了部分特征list格式数据2. 学习器部分K-近邻居算法决策树朴素贝叶斯Logistic回归支持向量机集成学习# 选择学习器# KNN, Tree, Bayes, Logistic, SVM, Adaboost, ALLchoiceModel = 'ALL'3. 结果学习器对于分类的错误率4. 全部代码分类器是机器学习实战中文版
2020-11-02 17:48:53
241
原创 《机器学习实战中文版》 利用AdaBoost元算法提高分类性能
机器学习实战中文版：利用AdaBoost元算法提高分类性能1. 概述基于数据集多重抽样的分类器将不同的分类器组合起来，组合有多种形式：不同算法的，也可以是同一算法不同设置，还可以是数据集和分类器都不同，书上主要对AdaBoost进行了实现前人栽树，后人乘凉AdaBoost全称是自适应增强算法，是顺序级联的结构，使用的分类器类型是一样的，分类的结果是基于所有分类器的加权求和结果，每个权重代表的是其对应分类器在上一轮迭代中的成功度优点：泛化错误率低，易编码，可以应用在大部分分类器上，无参数调整。
2020-10-28 22:27:46
116
原创 《机器学习实战中文版》 支持向量机
支持向量机1. 概述采用测量不同特征值之间的距离方法进行分类优点：精度高、对异常值不敏感、无数据输入假定。缺点：计算复杂度高、空间复杂度高。适用数据范围：数值型和标称型。2. 实现用距离公式计算出待分类数据和数据集的距离得出距离最近的n个距离值在最近n个距离值中找出最多的类别该类别即待分类数据的类别3. 总结简单有效但是占用大量空间和时间可用于简单分类...
2020-10-26 14:33:42
122
原创 《机器学习实战中文版》 Logistic回归
Logistic回归1. 概述采用测量不同特征值之间的距离方法进行分类优点：计算代价不高，易于理解和实现。缺点：容易欠拟合，分类精度可能不高。适用数据类型：数值型和标称型数据。2. 实现3. 总结...
2020-10-24 18:37:07
158
原创 《机器学习实战中文版》 朴素贝叶斯
朴素贝叶斯1. 概述通过计算不同独立特征的条件概率实现分类优点：在数据较少的情况下仍然有效，可以处理多类别问题。缺点：对于输入数据的准备方式较为敏感。适用数据类型：标称型数据。2. 实现贝叶斯准则计算条件概率已知p(c∣x)p(c \mid x)p(c∣x)，求p(x∣c)p(x \mid c)p(x∣c)，计算方法如下：p(c∣x)=p(x∣c)p(c)p(x)p(c \mid x)=\frac{p(x \mid c) p(c)}{p(x)}p(c∣x)=p(x)p(x∣c)p(c
2020-10-24 12:59:00
172
原创 《机器学习实战中文版》 决策树
决策树1. 概述构造树结构并按熵最小实现分类优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。缺点：可能会产生过度匹配问题。适用数据类型：数值型和标称型2. 实现计算出香农熵l(xi)=−log2p(xi)l\left(x_{i}\right)=-\log _{2} p\left(x_{i}\right)l(xi)=−log2p(xi)得出距离最近的n个距离值在最近n个距离值中找出最多的类别该类别即待分类数据的类别3. 总结
2020-10-23 17:15:16
116
原创 《机器学习实战中文版》 k-近邻算法
kNN算法1. 概述采用测量不同特征值之间的距离方法进行分类优点：精度高、对异常值不敏感、无数据输入假定。缺点：计算复杂度高、空间复杂度高。适用数据范围：数值型和标称型。2. 实现用距离公式计算出待分类数据和数据集的距离得出距离最近的n个距离值在最近n个距离值中找出最多的类别该类别即待分类数据的类别3. 总结简单有效但是占用大量空间和时间可用于简单分类...
2020-10-23 15:26:49
64
原创 Jupyter Notebook的配置和使用
1. Jupyter Notebook文件路径查看和修改查看默认路径输入以下脚本，运行出的结果即是当前jupyter文件保存路径import osprint(os.path.abspath('.'))修改Jupyter Notebook文件默认存储路径第一步：找到配置文件菜单中打开Anaconda Prompt输入命令 jupyter notebook --generate-config根据上面运行出的路径打开 C:\Users\xiaomi.jupyter\jupyt
2020-07-10 19:27:20
858
原创 tensorflow2.使用笔记
tensorflow2.1使用笔记安装tensorflow在windows10环境下，直接在环境里安装cpu和gpu版本两个版本即可，注意最好是相同的版本号。cpu和gpu的切换tensorflow优先使用gpu版本，如果仅仅用tf做简单的处理（如最小二乘法拟合函数），cpu明显少调用些许文件，执行比gpu版本快，可用如下办法切换至cpu：import os# 下面这行注释掉就是使用gpu，不注释就是使用cpuos.environ["CUDA_VISIBLE_DEVICES"] = "-1"
2020-07-10 12:10:22
231
原创 机器不学习
从今天开始写博客有很长一段时间没有搞学习了，最近拿出板子看着Linux一片空白，一个指令想不起来，好像从来没有接触过一样，这让我很怀疑自己的大脑，以前会写些东西或者是做写笔记，但都是用记事本，很零散，看着各种大牛的博客，我产生了这个想法。# -*- coding: utf-8 -*-# author: AnoI time:2020/7/3那么，CSDN你好！...
2020-07-03 19:50:12
104
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人