- 博客(64)
- 收藏
- 关注
RSS订阅原创 给定一个整数数组和一个整数目标值，在该数组中找出和为目标值的那两个整数，并返回它们的数组下标。(找到一个就返回)
有兴趣的小伙伴也可以思考一下，如何返回数组里满足条件的所有值的组合。#空间换取时间：引入字典快速求解##时间换取空间：两个循环求解#
2024-01-19 23:03:52
393
原创 机器学习常用数据集
下面分享和记录一些常用的机器学习数据集：Kaggle：爱竞赛的盆友们应该很熟悉了，Kaggle上有各种有趣的数据集，拉面评级、篮球数据、甚至西雅图的宠物许可证。https://www.kaggle.com/UCI机器学习库：最古老的数据集源之一，是寻找有趣数据集的第一站。虽然数据集是用户贡献的，因此具有不同的清洁度，但绝大多数都是干净的，可以直接从UCI机器学习库下载，无需注册。http://mlr.cs.umass.edu/ml/VisualData：分好类的计算机视觉数据集，可以搜索~
2022-05-10 09:09:41
3118
7
原创 Ubuntu中，在docker中安装pytorch(gpu)+cuda-详细
Ubuntu中，在docker中安装pytorch(gpu)+cuda-详细
2022-01-21 16:29:55
7000
11
原创 K-means算法代码详解及Demo
最近比较忙公众号更新的就不太及时，请各位大佬见谅，但是我依旧每天坚持学习。那今天大管就给各位小伙伴献上K-means算法的sklearn使用方法，以及在文章末尾我们使用K-Means算法对图片进行矢量化，即在保证图片质量的前提下来减少图片的使用(可以理解为压缩图片)。想回顾K-Means理论的小伙伴可以点击文章末尾的连接。K-means KMeans算法通过试着将样本分离到n组方差相等的情况下对数据进行聚类，使惯性或聚类内平方和最小化。该算法要求指定集群的数量。它可以很好地扩展到大量的样本...
2020-07-20 20:26:11
2373
原创 JavaWeb的核心技术—Servlet
目录什么是Servlet(Servlet可以用来做什么)Servlet如何使用Servlet的生命周期缺省的Servlet什么是缺省的servlet？servletContext对象1，什么是ServletContext对象2，ServletContext对象的生命周期3，怎样获得ServletContext对象4，ServletContext的作用什么是Servlet(Servlet可以用来做什么)Servlet是java中的一个类，运行在服务端，是s.
2020-05-29 17:35:35
489
原创 Readers are not supported when eager execution is enabled
最近在复现tensorflow框架第二版代码的时候遇到了Readers are not supported when eager execution is enabled. Instead, please use tf.data to get data into your model.这个问题。源码如下:# 创建一个reader类读取TFRecord文件中的样例reader = tf.TFRecordReader()#创建一个队列来维护输入文件列表filename_queue =
2020-05-26 10:01:16
1896
原创 编程路上的那些坑——No module named tensorflow.examples.tutorials
这几天，我又开始倒腾tensorflow的版本了。也发现了不少坑一开始大管安装的是tensorflow-2.2.0基于cpu版本的，后来嫌弃它太慢了，于是就安装了tensorflow-gpu版本的，无奈笔记本的显卡比较差，稍微大一点的程序就会出现显卡 内存溢出出错误。没办法，cpu版本的慢就慢吧，至少能运行啊。于是乎我使用了如下命令:pip uninstall tensorflow-gpu完美卸载了gpu版本的。下面开始 安装cpu版本的:pip install tensorflow
2020-05-25 10:58:17
2001
3
原创 通俗易懂的LDA降维原理
目录例子LDA降维在前几篇的文章中，大管提到了PCA降维，有小伙伴私信说在实际情况中，效果不太好。那大管今天就和大家聊一聊另一种降维的方法线性判别分析 (LDA)。它目前也是机器学习领域中比较经典而且又热门的一种算法。 还记得在PCA中是怎样做的吗？简单来说，是将数据映射到方差比较大的方向上，最后用数学公式推导出矩阵的前TopN的特征向量，这里的方差可以理解为数据内部的离散程度。而LDA不同于PCA的是它是一种有监督的降维方法。下面举一个小例子来直观的说明PCA和LDA的不同降维方法...
2020-05-23 18:10:44
6661
1
原创 Logist Regression代码详解以及Demo
今天大管和大家来聊一聊逻辑回归在sklearn中的具体使用，以及详细的解析。在文章末尾，我们使用官网提供的案例来使用逻辑回归对鸢尾花数据集进行分类。目录Logist Regression#调用函数#参数Parameters#属性Attributes#代码举例#方法Methods#实例Logist Regression 逻辑回归，尽管它的名字，是一个线性模型的分类，而不是回归。Logistic回归在文献中也称为logit回归、最大熵分类(MaxE...
2020-05-20 11:17:45
948
原创 如何向女朋友介绍损失函数
目录交叉熵损失函数均方误差自定义损失函数上篇文章咱们聊到了激活函数，在最后的时候又说到了输出层的一些东西。关于神经网络还有一点也是十分重要而又容易忽略的，那就是损失函数(lossfunction)。通俗的说，在神经网络中的损失函数是指寻找最优权重的依据指标。根据实际解决的问题不同，损失函数的形式往往也不相同。在神经网络中最常使用的损失函数有均方误差(meansquarederror)和交叉熵误差(crossentropyerror)。...
2020-05-14 17:22:04
231
原创 让女朋友都能听懂的激活函数(激活函数)
激活函数原理详解向女朋友介绍系列之激活函数。通过激活一词的解释，循循引入神经网络为什么要激活函数。分析了几种常见的激活函数并且激活函数的特点。激活函数是什么目录激活函数原理详解激活函数是什么感知机中的激活函数神经网络中的激活函数下面咱们来具体看几个激活函数sigmod激活函数Tanh(双曲正切函数)激活函数ReLU激活函数(最近最常使用的激活函数)Leaky ReLU激活函数输出层的激活函数激活函数的特点大管今天准备和大家来聊一聊激活函数，为...
2020-05-13 10:34:38
647
原创 让女朋友都能听懂的神经网络(神经网络简介)
今天大管准备和大家来聊一聊神经网络。这样吧，为了把事情说清楚我们还是从源头说起——感知机。 感知机是在1957年提出，是神经网络(深度学习)的起源算法。因此了解感知机的构造也就是了解神经网络不可或缺的一步。感知机到底是什么? 通俗的说，感知机接收多个信号，输出一个信号。注意这里的“信号”只有1或者0两种取值，也可以理解为0对应着信号中断，1对应着信号传递(信号的0/1两种状态与计算机硬件的电气特性有关)。上图是大管画的一个接受两个输入信号的感知机。上图中的x1,x2我们称...
2020-05-10 19:28:50
476
原创 岭回归分类器RidgeClassifier及RidgeCV(代码详解)
由于文章长度有限，上次大管和大家简单聊了下岭回归，今天咱们来看一下如何用岭回归做分类——岭回归分类器。RidgeClassifier 岭回归器有一个分类器变体:RidgeClassifier，这个分类器有时被称为带有线性核的最小二乘支持向量机。该分类器首先将二进制目标转换为{- 1,1}，然后将该问题视为回归任务，优化与上面相同的目标。预测类对应于回归预测的符号，对于多类分类，将问题视为多输出回归，预测类对应的输出值最大。该分类器使用(惩罚)最小二乘损失来适应分类模型，而不是使用更传统的逻...
2020-05-09 09:46:58
15955
原创 # 写一个函数，统计字符串中有几个字母，几个数字，几个空格，几个其他字符，并返回结果。
import redef statistical(s): letter = "[a-zA-Z]" digital = "[0-9]" blank = "[ ]" letter_numbers = 0 digital_numbers = 0 blank_numbers = 0 for i in s: if(re.match(letter,i)) != None: lett...
2020-05-07 15:19:15
6573
原创 线性回归和岭回归代码详解及Demo
最近有小伙伴问我说，有没有sklearn的代码详解，前面博客讲的有点偏理论了。接受了小伙伴的意见，以后大管就理论和代码穿插着聊吧。今天咱就来聊一聊sklearn中线性回归和岭回归(L2正则)的代码详解吧。sklearn.linear_model.LinearRegression 使用的方法是最小线性二乘回归，线性回归拟合系数w = (w1，…，wp)的线性模型，以最小化数据集中观...
2020-05-06 17:27:15
950
原创 通俗易懂的PCA降维原理详解
在机器学习实际的开发中，对原始数据的处理可能会占到主要的工作量，数据处理的好坏也往往直接关系到模型最后结果的好坏。在我们对原始数据进行特征提取时，有时会得到高维的特征向量，其中包含很多冗余和噪声。此时我们希望在高维的特征中找到影响整体的最主要的特征，来提升特征的表达能力、降低训练的复杂度。今天大管就和大家来聊一聊主成分分析(Principal Components Analysis)...
2020-05-02 20:01:30
3095
原创 最大似然估计到底是怎么一回事
今天大管和大家聊一聊极大似然估计是到底怎么一回事。有的同鞋看了很多机器学习算法，也用了很多极大似然估计，可能对它具体是什么还有点懵。既然要把极大似然估计搞明白，就绕不开一个话题，什么是估计。这里我们聊点估计和函数估计。点估计点估计的目的是为一些我们感兴趣的量提供一个最优的预测。比如说前几篇中提到的线性回归的权重。我们把θ的点估计表示为θ^。令数据是独立同分布的，则点估...
2020-04-29 19:37:07
1206
1
原创 分类模型评判的指标(附ROC实现)-通俗易懂
在机器学习领域，判断模型的好坏往往是通过评价指标来得到的。而在众多的指标中，大部分指标只能片面的反应模型的一部分性能，如果不能合理的运用，往往会得到错误的结论。下面我们通过一个小故事来开始今天的内容:某公司希望把自己的广告针对性的定向投放给客户，为此该公司将所有客户的数据分为训练集和测试集，建立了模型，并且模型的准确率达到了95%，但是在实际过程中广告的投放还是没有针对性，这是为什么呢？下...
2020-04-28 19:34:05
1355
原创 CSDN账户被冻结
鄙人几天很不幸，账号被冻结了。纠其原因是自己发了一篇小广告，当然不是你们想的那种广告。一开始没审核过，后来没在意。大概过了有半个小时，鄙人在登陆的时候，显示账号已经被冻结，解冻联系客服。当时我就不淡定了，哪里有客服的联系方式啊。于是我在网上搜了，搜到的结果是让我重新注册一个ID，我当时汗都出来了，毕竟写了四年的博客呀。历经千辛万苦，找到了客服的QQ。客服小姐姐人还挺好，让我下次别发了，这次就...
2020-04-28 16:09:38
1719
2
原创 过拟合与欠拟合
在模型的评估过程中，我们经常会遇到“过拟合”和“欠拟合”的情况，如何针对这些情况进行调整是改进机器学习算法的关键，特别是在实际项目中更应该采用多种方法来处理“过拟合”和“欠拟合”。什么是“过拟合”和欠拟合小编用一个例子来为大家解释：小明同学在大学本科期间的学习非常优异，每次的英语考试成绩都是满分，突然有一个小明想去美国留学来提升自己。经过半年的准备，小明踏上了留美之路，当他来到美国...
2020-04-24 17:33:49
379
原创 线性回归的sklearn代码实现
前几天大管在文章中讲了回归和L2正则的一些知识点，今天上午有小伙伴问了一些问题并且问我有没有具体的python代码。这篇文章大管就和大家一起学习sklearn中封装好的代码。话不多说直接上代码:import numpy as npimport matplotlib.pyplot as pltfrom sklearn.linear_model import LinearRegression...
2020-04-23 21:54:25
901
原创 一文读懂余弦相似度
在探究机器学习问题时，我们常常需要比较两篇作文的相似度有多高，网上的两篇新闻的相似度有多高，两个用户对于不同电视剧的喜好相似度有多高，在求解这类问题时，实际上是在计算他们之间的余弦相似性。那么究竟什么是余弦相似度，什么又是余弦距离，它又是如何判断两篇新闻的相似度的？余弦相似度和余弦距离 首先来看上图的两个向量a和b，余弦相似性就是使用a和b之间的夹角的余弦值作为度量，关注...
2020-04-18 16:12:42
1935
原创 K均值聚类
K均值聚类又叫做(k-means算法)是属于无监督学习里的一种最基础最常用聚类算法。所谓聚类即人以类聚、物以群分，将样本按照各自的特点分为不同的类别，所谓无监督即事先不知道任何样本属于哪个类别。如下图所示一些样本被分为了绿色，红色，蓝色的三类。聚类的应用非常广泛包括客户群体的划分，推荐系统，文本聚类中，国家电网用户画像，基于用户位置信息的商业选址等。下面就让我们一起快乐的学习吧！...
2020-04-16 21:53:54
4802
原创 如何进行特征归一化
为了使不同的特征之间具有可比性，我们往往需要对特征进行归一化处理。比如现在对大管的外貌特征进行分析，大管身高1.70米，体重60kg，那么这样分析出的结果显然会偏向较大的体重特征。想要更为准确的结果，就需要对大管的身高体重进行归一化(Normalization)处理。对数值类型的特征做归一化可以将特征统一到一个大致相同的数值区间内。最常用的方法有以下两种：(1)线性函数归一化(Min-Ma...
2020-04-15 16:06:52
1875
原创 使用tensorflow进行手写数字识别
首先要在对应的目录下安装好手写数字识别数据集。编写代码如下所示：import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets("F:/anaconda/workspace/Data/MNIST_data",one_ho...
2020-03-30 15:18:08
754
原创 Tensorflow的那些坑-lib\site-packages\tensorflow\contrib\rnn\python\ops_gru_ops.dll not found
今天在使用使用cpu版的tensorflow跑卷积神经网络的时候非常慢，整整一天一夜6000次迭代还没有跑完。于是我就想把cpu版本的tensorflow换成gpu版本的。首先CUDA和cudnn已经安装完成，CUDA安装的是8.0版本，cudnn安装的是5.1版本，这两个版本要对应上不然也会报错。安装完成后在命令行里可以输出CUDA的信息，说明安装成功。这里安装的时候最好查看一下自己的显卡支持的...
2020-03-30 15:08:24
1446
原创 Tensorflow的那些坑--TensorFlow-hub
在使用inception-v3训练自己的模型的时候遇到了一个问题，说是要下载tensorflow-hub，我在后台看了一下已经安装过了，但是还是要下载，并且显示连接失败，因为要连接谷歌的浏览器，没安装VPN一直连不上。安装了很久还是没有解决。最后决定换了retrain.py程序，后来完美解决问题。之前的文件的下载地址为：https://github.com/tensorflow/hub/t...
2020-03-26 17:39:55
1958
1
原创 tensorflow简单的Demo
使用tensorflow来进行拟合import tensorflow.compat.v1 as tfimport numpy as np#适应tensorflow2.0版本tf.compat.v1.disable_eager_execution()#使用numpy生成100个点x_data = np.random.rand(100)#相当于一条线目标的k为0.1 目标b为0.2...
2020-03-17 17:14:51
881
原创 深度学习的坑--module 'tensorflow' has no attribute 'global_variables_initializer'
最近自己的深度学习基于scikit-neuralnetwork的已经学完，在学习tensorflow的时候遇到了一个很狗血的问题。import tensorflow as tfx = tf.Variable([1,2])a = tf.constant([3,3])#增加一个减法opsub = tf.subtract(x,a)#增加一个加法opadd = tf.add(x,sub)...
2020-03-17 16:31:10
18236
8
原创 java中的反射机制及Demo
一、反射反射机制是java在实际开发中最常用到的，比如三大框架中都用到了反射机制。JAVA反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法，对于任意一个对象，都能够调用它的任意方法和属性。反射机制看似将java中常用的一条语句拆成许多语句，但是大大的提高了其灵活性。具体例子见如下代码：首先定义一个javaBean用来封装数据：重写toString方法方便以后将类...
2020-02-19 13:18:28
350
原创 java中的网络编程及Demo
网络编程又可以称之为socket编程。网络编程的三要素是指：IP地址，端口号和协议(UDP和TCP)。一、UDP编程1、使用UDP发送数据的流程分别是：创建发送端Socket对象：DatagramSocket datagramSocket = new DatagramSocket(); //随机分配端口号DatagramSocket(int port)//创建Socket对象...
2020-02-15 18:02:16
313
原创 java中线程和同步锁的操作
1、线程多线程提高效率的原理：进程拥有的线程数越多，被执行的概率就越大，提高其效率。线程的生命周期：创建线程对象(2种方法) 就绪 等待wait(),notify() 运行 线程对象编程垃圾...
2020-02-14 20:58:21
145
原创 java中输入流和输出流以及property的使用
输入流和输出流的使用步骤分为以下三步：1、创建输入流2、创建输出流3、读写数据4、释放资源不同的用法如以下代码所示：public class Test3 { /** * @param args * @throws FileNotFoundException */ public static void main(String[] args) throws...
2020-02-13 18:41:14
272
原创 Java中toString、equals和System方法的使用
一 toString方法toString方法在程序中使用的并不多，一般在代码调试的时候使用。如果i是基本数据类型，则i.toStirng()直接输出i的值。如果过i为引用类型，则输出的是i的地址，所以引用类型在时候toString方法时，一般要重写toString()方法。在myeclipse中source可以直接生成重写的方法。JDK中的API文档对toString的解释如下图所示：...
2019-12-23 09:49:10
436
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人