![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Mechine learning
Airuio
这个作者很懒,什么都没留下…
展开
-
Python实现梯度下降法及算例分析以及可视化
代码和算例可以到博主github中下载:https://github.com/Airuio/Implementing-the-method-of-gradient-descent-by-using-Python-上一篇讲解了最原始的感知机算法,该算法的目的只为收敛,得到的往往不是基于样本的最佳解,梯度下降法以最小化损失函数为目标,得到的解比原始感知机算法一般更准确。梯度下降法算法原理如下图所示:基...原创 2018-07-08 09:21:14 · 4625 阅读 · 2 评论 -
torch学习系列一
一.pythorch的张量类似numpy的nadarry,而且可以支持GPU优化。a.其构造方法有一下一些:x = torch.empty(5, 3)x = torch.rand(5, 3)x = torch.zeros(5, 3, dtype=torch.long)x = torch.tensor([5.5, 3])x = x.new_ones(5, 3, dty...原创 2019-03-28 09:26:13 · 624 阅读 · 0 评论 -
一个标准的resnet网络,包含18-150层
import torch.nn as nnimport torch.utils.model_zoo as model_zoo__all__ = ['ResNet', 'resnet18', 'resnet34', 'resnet50', 'resnet101', 'resnet152']model_urls = { 'resnet18': 'https...原创 2019-03-19 10:15:59 · 2404 阅读 · 0 评论 -
BN层的添加实战
对于一个小白,从了解Batch Normalization(后面简称BN)到正确使用BN,可谓路漫漫兮。在此做一个记录。网上搜索关于BN最多的就是原理推导,相关论文出处。例如:http://blog.csdn.net/Fate_fjh/article/details/53375881https://www.jianshu.com/p/0312e04e4e83但是这个并不能帮助我...转载 2018-11-14 15:39:04 · 7088 阅读 · 3 评论 -
Tensorflow中GraphKeys集合的解释
GraphKeystf.GraphKeys包含所有graph collection中的标准集合名,有点像Python里的build-in fuction。首先要了解graph collection是什么。graph collection在官方教程——图和会话中,介绍什么是tf.Graph是这么说的:tf.Graph包含两类相关信息:图结构。图的节点和边缘,指明了各个指令组...转载 2018-11-13 15:44:03 · 616 阅读 · 0 评论 -
在tensorflow框架下添加正则化约束l1、l2的方法
一、基础正则化函数tf.contrib.layers.l1_regularizer(scale, scope=None)返回一个用来执行L1正则化的函数,函数的签名是func(weights). 参数:scale: 正则项的系数. scope: 可选的scope nametf.contrib.layers.l2_regularizer(scale, scope=None)...转载 2018-11-13 11:24:24 · 7832 阅读 · 0 评论 -
使用tf.add_to_collection和tf.get_collection获取中间量
tf.add_to_collection–向当前计算图中添加张量集合tf.get_collection–返回当前计算图中手动添加的张量集合#!/usr/bin/python# coding:utf-8import tensorflow as tfv1 = tf.get_variable('v1', shape=[3], initializer=tf.ones_initializer...转载 2018-11-13 10:11:12 · 285 阅读 · 0 评论 -
Python实现感知机算法
感知机算法是机器学习最基本的理论算法之一,其原理如下图所示:该算例和应用以及数据集可从博主的github内下载:https://github.com/Airuio/python-其python代码如下:improt numpy as np class perceptron(object): def __init__(self,eta = 0.1,n_iter = 10): s...原创 2018-07-07 12:39:17 · 3778 阅读 · 2 评论 -
Python实现大规模机器学习和随机梯度下降法
上一片讲解了Python实现批梯度下降法(batch gradient desent),不同于感知机算法每次计算一个样本就更新一次结果,BGD算法 在计算完所有样本一轮以后才更新一次权重,这样当样本量巨大的时候极大的影响了效率,因而出现了新的随机梯度算法(Stochastic gradient desent)其也被称为迭代/在线梯度下降,其每次只用一个样本对权重进行更新。除此之外还有最小批...原创 2018-07-08 15:26:26 · 867 阅读 · 0 评论