![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 78
基础知识和实际应用
陆沙
诚以待己,惜物爱人
展开
-
tensorflow基础知识
Variable需要初始化,也会被分配内存空间,由Session管理,而Const, Zeros等创造的Tensor,是记录在Graph中的,所以没有单独的内存空间;动态图的好处是方便调试,运行时宛如Python原生代码,坏处是增加了Python进程和tf的C++进程之间的通信,因此会减慢速度;其中tf1使用的是静态计算图,即先使用tf的各种算子创建计算图,再开启一个会话Session,显式执行。tf2默认使用的是动态计算图,即每使用一个算子后,该算子会被动态加入到隐含的默认计算图中立即执行。原创 2023-06-20 15:40:50 · 434 阅读 · 0 评论 -
深度学习-pytorch_lightning框架使用实例
下面是我写过的一个pytorch_lightning项目的代码框架。关键代码已经省略。原创 2023-06-12 13:53:25 · 822 阅读 · 0 评论 -
深度学习基础知识-[未完]-神经网络超参数调优
基础原创 2023-06-07 10:39:09 · 778 阅读 · 0 评论 -
深度学习基础知识-tf.keras实例: 加州房价预测
有代码原创 2023-06-06 15:59:53 · 483 阅读 · 0 评论 -
深度学习基础知识-tf.keras实例:衣物图像多分类分类器
tf.keras学习,有代码原创 2023-06-05 17:22:25 · 539 阅读 · 0 评论 -
更新中-深度学习实战中遇到的一些概念+少量代码
自用原创 2023-06-01 14:30:28 · 266 阅读 · 0 评论 -
深度学习基础-卷积神经网络CNN+深度学习(无代码仅理解)
深度学习入门:基于Python的理论与实现 (斋藤康毅)》原创 2023-05-25 17:12:39 · 590 阅读 · 0 评论 -
深度学习基础知识-误差反向传播+训练技巧(无代码仅用来理解)
参考书籍:(找不到资源可以后台私信我)《深度学习入门:基于Python的理论与实现 (斋藤康毅)》神经网络正向传播进行的运算在几何学中称为“仿射变换”,即一次线性变换和一次平移,对应的就是加权和与加偏置运算。在神经网络中,正向传播(forward propagation)是指输入数据通过网络中的每一层,最终产生输出的过程。反向传播(back propagation)是指在网络训练中,通过计算损失函数对网络参数进行更新的过程。正向时可以通过数值微分计算梯度,反向时直接用链式法则求梯度。原创 2023-05-25 11:10:06 · 627 阅读 · 0 评论 -
深度学习基础知识-感知机+神经网络的学习
神经网络存在合适的权重和偏置,调整它们以便拟合训练数据,这一过程称为“学习”。mini-batch从训练数据中随机选出一部分数据称为mini-batch。后续的目标是减小mini-batch的损失函数的值。计算梯度求出各个权重参数的梯度。更新参数将权重参数沿着梯度方向进行微小更新。重复前三个步骤一个epoch表示学习中所有训练数据都被使用过一次时的更新次数。比如有1w个训练数据,每个mini-batch是100个,那么就要做100次随机梯度下降,所以epoch=100。原创 2023-04-26 16:41:56 · 842 阅读 · 0 评论 -
机器学习入门实例-MNIST手写数据集-二分分类效果评估
接上文的Binary Classifier,将数据分成“是2”和“非2”两类。原创 2023-04-20 09:47:28 · 869 阅读 · 0 评论 -
机器学习入门实例-MNIST手写数据集-简单探索&二分分类
MNIST数据集包含7w张带标签的手写数字图片。每次有新的分类算法出现时,常常会在改数据集测试效果。原创 2023-04-18 11:25:19 · 1331 阅读 · 0 评论 -
机器学习入门实例-加州房价预测-4(继续调参+评估)
如果需要尝试、调整的超参数只有有限几个,比如之前的例子,那只用grid search就够了;但如果超参数的搜索空间非常大,应该用RandomizedSearchCV。其中n_iter表示尝试的参数组合总数。如果n_iter太小,可能错过最优的超参数组合;如果n_iter太大,会增加搜索时间,消耗更多计算资源。将模型部署到生产环境后,随着新数据的加入,模型的准确率可能会降低,所以需要监控预测效果,并且做一些自动调整。知道了重要性后,可以舍弃掉一些不太重要的列,或者调整不太重要的列,使之更为重要。原创 2023-04-17 17:28:27 · 691 阅读 · 0 评论 -
机器学习入门实例-加州房价预测-3(选择与训练模型+调参)
param_grid表示要测试两组参数,第一组是n_estimators和max_features的组合,所以共有4 x 5 = 20种;由于scikit-learn的cross-validation用的是utility function(越大越好)而非cost function(越小越好),所以这里选用了负数的mse。k-fold cross-validation就是随机产生k个fold,每次选一个fold来评估效果,其他k-1个fold用来训练。可以看到,随机森林的效果好一点点。原创 2023-04-17 14:35:00 · 666 阅读 · 0 评论 -
机器学习入门实例-加州房价预测-2(数据整理)
矩阵不是很方便观察,可以直接排序median_house_value列,可以看出median_house_value与median_income的相关性挺大的。可以看到rooms_per_household比total_rooms和households的相关性都要高一点,bedrooms_per_room也是,但是population_per_household反而变差了,大概是不适合这种特征组合方式。当然,如果不组装pipeline,只是单独调用的话,这两点可以忽略掉。原创 2023-04-14 13:29:30 · 1347 阅读 · 0 评论 -
机器学习入门实例-加州房价预测-1(数据准备与可视化)
可以看到,total_bedrooms里有数据缺失,而ocean_proximity的类型是object。housing.describe()可以计算各个数值列的count,mean,std,min,25%、50%和75%(中位数)、max。但是要设置seed,因为如果不设置的话,每次运行得到的训练集不一样,时间长了整个训练集都是已知了,那测试集就失去意义了。但是,随机挑选的数据可以不够有代表性。换一种包含信息更多的方式:令散点的直径大小表示人口,颜色表示房价中位值。可以去github,也可以自动下载。原创 2023-04-12 14:43:57 · 1566 阅读 · 0 评论 -
机器学习-问答题准备(英文)-更新中
How would you define Machine Learning?Machine Learning is about building systems that can learn from data. Learning means getting better at some task, given some performance measure.Can you name four types of problems where it shines?To replace long list原创 2023-04-11 10:36:05 · 663 阅读 · 0 评论 -
octave-basic
在coursera上斯坦福的machine learning,lecturer极力推荐开源的编程环境Octave入手,所以我也下载了来试一试吧==参考链接:http://www.linuxdiyf.com/linux/22034.html安装(Ubuntu16.04):我看了下官网,Ubuntu上已经更新到4.0.3了,不过还是选了stable的,这里应该是4.0.2...原创 2017-03-05 17:36:00 · 89 阅读 · 0 评论 -
[tensorflow] 安装
今天尝试了两种方式:win10 + anaconda3 + python3.7 + tensorflow2.0.0ubuntu + python2.7.16 + tensorflow1.0.0第一个是我本地学(wan)习(shua),第二个是模拟服务器情况。不过最后也没用这俩跑程序,直接上了服务器:)win10 + anaconda3 + python3.7 ...原创 2019-11-20 16:41:00 · 71 阅读 · 0 评论 -
[tensorflow] 入门day1-数据整理与展示
tensorflow真是一个我绕不开的坑(苍天饶过谁.jpg)其实tensorflow1和2的差别挺大的,暂时从1入坑,2的话之后简单过一下。tf2中更改的函数(供参考):https://docs.google.com/spreadsheets/d/1FLFJLzg7WNP6JHODX5q8BDgptKafq_slHpnHVbJIteQ/edit#gid=0本文仅记录我的踩坑...原创 2019-11-22 16:49:00 · 97 阅读 · 0 评论