luoganttcc的博客

本文系统介绍了注意力机制及其在深度学习中的应用。首先阐述了注意力机制的基本概念和计算过程（Query-Key-Value模型），随后详细解析了自注意力机制及其改进版多头注意力机制。最后探讨了计算机视觉领域的通道注意力机制，重点介绍了SENet等经典模型。文章以Transformer系列为主线，完整梳理了从基础理论到实践应用的关键知识点，为理解注意力机制在各类深度学习任务中的作用提供了系统指导。

《如何高效学习？知乎高赞回答精要》这篇文章总结了知乎上关于高效学习的实用方法。核心观点包括：明确学习目标、采用主动学习法、运用间隔重复记忆技巧、建立知识体系框架。文章特别推荐了费曼技巧——通过向他人讲解来检验理解程度，以及番茄工作法来保持专注。作者强调，学习效果的关键在于将知识转化为实际行动，而非单纯追求学习时长。这些方法适用于各类学习场景，能帮助读者提升学习效率和知识留存率。

本文介绍了基于PyTorch的RegNet网络实现。RegNet是一种高效卷积神经网络，采用组卷积结构和瓶颈设计。代码实现了RegNetBlock残差块，包含1x1-3x3-1x1卷积序列和shortcut连接，支持步长调整和通道数变化。RegNet类通过配置参数构建网络，包含Stem层、多个阶段和分类头。网络采用Kaiming初始化，支持不同规模的模型配置（如regnetx_400mf）。该实现展示了RegNet的核心设计：逐步增加通道数的阶段式结构、组卷积和瓶颈比率，是一种高效可扩展的CNN架构。

HydraNet 通过 CNN 多分支架构与 Transformer 的深度融合，实现了自动驾驶感知的高效性与鲁棒性。其核心优势在于特征共享 - 任务解耦 - 时空建模的三位一体设计，以及硬件 - 算法 - 数据的全链路优化。随着 Dojo 超算和 HW5.0 的量产，HydraNet 正推动自动驾驶从辅助功能向完全自主化跨越，为 Robotaxi 和智能交通系统提供底层技术支撑。

摘要：自动驾驶感知多任务训练模型通过统一架构同时完成目标检测、语义分割等多项任务，具有数据利用率高、特征协同强、计算效率优三大优势。其设计需关注任务优先级划分、共享特征提取、轻量化任务头构建以及多任务损失平衡等核心要素，其中BEV视角统一和任务特异性优化是关键技术。该模型能显著降低计算成本，满足自动驾驶对实时性和鲁棒性的要求。

Softmax 的上下溢出问题解决方案

【代码】c 语言实现卷积。

得到输出层的误差项之后，我们就可以根据上篇中介绍的"第k层神经元的误差项是由第k+1层的误差项乘以第k+1层的权重，再乘以第k层激活函数的导数得到"来计算其它层的误差项。实现了公式"z = weight * inputs + b"，其中inputs是上一层网络的输出，weight是当前层的权重矩阵，b是当前层的偏置项，计算得到的z是当前层的输入。训练过程中的每一个回合，我们都用模型对验证集进行一次预测，并将预测的结果保存，用来绘制训练过程中模型在验证集上的准确率的变化过程。

点这里 AISYSTEM## 二. AI 硬件体系结构:caption: === 二. AI 硬件体系结构 ===## 三. AI 编程与编译原理:caption: === 三. AI 编程与编译原理 ===## 四. 推理系统&引擎:caption: === 四. 推理系统&引擎 ===## 五. AI 框架核心模块:caption: === 五. AI 框架核心模块 ===## 附录内容:caption: === 附录内容 ===

适用于[License](https://github.com/microsoft/AI-System/blob/main/LICENSE)版权许可。

矩阵乘法 A* B。

此博文中介绍的论文是 1990 年 Le Page 组织的一个会议的 Invited paper.把坐标轴在R^{n}中沿各个方向旋转 （如同CT原理），在每一射线上，构造Sigmoidal函数的线性组合，就可以逼近R^{n}中任何连续函数。通俗的讲，是实现神经网络逼近能力的技术。为了R^{n} 中函数达到精度1/N。万有逼近问题的最好的文章。在文章中，给出了最清晰，简洁的构造性证明。优点：用一个简单到不能再简单的函数的线性组合和叠合可以逼近任何连续函数。一维阶梯函数的线性组合能逼近任何连续一维连续函数。

Cybenko 等人于 1989 年证明了具有隐含层最少一层感知机神经网络在激励函数也称激活函数为 Sigmoid 函数的情况下具有逼近任何函数的作用。Hornik 等人在 1991 年进一步证明激励函数为任何非常数函数的情况同样适用。这就是著名的万能逼近定理。也就是一个仅有单隐含层的神经网络在神经元个数足够多的情况下通过非线性的激活函数足以拟合任意函数。

No module named ‘pycuda.compyte’

import torchimport torch.nn as nnfrom torch.nn import Parameterfrom torch.nn import initfrom torch import Tensorimport mathclass NaiveLSTM(nn.Module): """Naive LSTM like nn.LSTM""" def ...

encoder decoder 模型是比较难理解的，理解这个模型需要清楚lstm 的整个源码细节，坦率的说这个模型我看了近十天，不敢说完全明白。我把细胞的有丝分裂的图片放在开头，我的直觉细胞的有丝分裂和这个模型有相通之处定义训练编码器####################################################################################################################################..

原文

原文import torchimport torch.nn as nnfrom torch.nn import Parameterfrom torch.nn import initfrom torch import Tensorimport mathclass NaiveLSTM(nn.Module): """Naive LSTM like nn.LSTM""" d...

原文链接import torchtorch.__version__class RNN(object): def __init__(self,input_size,hidden_size): super().__init__() self.W_xh=torch.nn.Linear(input_size,hidden_size) #因为最后的操作是相加 ...

原文import copy, numpy as npnp.random.seed(0)# sigmoid函数def sigmoid(x): output = 1 / (1 + np.exp(-x)) return output# sigmoid导数def sigmoid_output_to_derivative(output): return output...

resnet

inceptionv1inceptionv2inceptionv4

链接

链接

yolo链接

# -*- coding: utf-8 -*-"""Created on Fri Sep 1 19:07:23 2017@author: Administrator"""# -*- coding: utf-8 -*-"""Created on Thu Aug 24 15:14:07 2017@author: Administrator"""import pymongofrom pym

添加链接描述

链接

#!/usr/bin/env python3# -*- coding: utf-8 -*-"""Created on Sun Jan 21 19:42:56 2018@author: luogan"""import pandas as pdimport numpy as npimport matplotlib.pyplot as pltfrom sklearn.preproc

a=list(range(10))aOut[22]: [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]d = []k=3for i in range(len(a) - k+1): d.append(a[i: i + k ])dOut[24]: [[0, 1, 2], [1, 2, 3], [2, 3, 4], [3, 4, 5], [4

文章链接知乎

LSTM

代码链接 知乎文章链接 博客链接

1：：： xgboost 2：：：随机森林 3：：：xgboost 线性模型 4：：：xgboost数据预处理               数据预处理2 5：：：文章集合 6：：：岭回归 7：：：xgboost资料1 xgboost资料2 8：：：keras资料              如何提高深度学习

数据来源于公司的mongodb 数据库，由于公司保密需要，端口不能给出。大家看下吧。利用四个小区的历史交易训练模型，给出房价输出。# -*- coding: utf-8 -*-"""Created on Thu Aug 24 15:14:07 2017@author: Administrator"""import pymongofrom pymongo import MongoClient

来源：中国基金报　　储泽　　人工智能可以找出图片中的一只小猫，那他也能发现股票交易中的一些特点，然后用来赚钱。　　新年伊始，一位“身份不明”的神秘棋手扫地僧“Master”在围棋界“ 疯狂杀戮 ”。　　到了今天，已经60连胜。　　没有身份、没有背景、没有历史、没有目的，不与人沟通只一次次刷新着记录，ID始终无人认领。这样神秘的出场方式与前所未见的诡异棋风，不单令围棋界震惊，也引发了网友的围观。无数人

翻译如下 **         在 SCRATCH采用python 上实现一种神经网络**         注： Scratch是一款由麻省理工学院(MIT) 设

http://www.cnblogs.com/rgvb178/p/6055213.html

最近一直在看 keras 的循环神经网络的lstm层。看了官方的document，和一些小伙伴的文章，一直都没有特别清楚。  今天看了这篇 文章，对RNN 有了一定的了解。 下面我以Nicholas_Jela这篇文章的代码 链接 为案例分析LSTM 层参数的设置def build_model(): # input_dim是输入的train_x的最后一个维度，tr

def build_model(product_shape, level_shape, attr_shape, period_shape): product_inputs = keras.Input(shape=(product_shape, )) level_inputs = keras.Input(shape=(level_shape, )) attr_inputs =...