- 博客(30)
- 收藏
- 关注
RSS订阅原创 Linux
Linux主要目录速查表/ ：根目录，只存放目录，在linux下有且只有一个根目录，所有的东西从这里开始，当在终端输入/home，告诉电脑，先从/（根目录）开始，再进入到home目录/bin/usr/bin :都可以执行二进制文件的目录，如常用命令ls、tar、mv、cat/etc ：系统配置文件存放的目录，如磁盘、网络、服务等/home ：系统默认的用户主目录，新增用户时，用户的主目录都存放在此目录下~ ：表示当前用户的主目录/root ：root常用Linux命令的基本
2021-09-24 21:46:37
213
1
原创 mysql数据库
数据库常用命令退出mysqlexit;查看有哪些数据库show databases;使用数据库use 数据库名;创建数据库create database test;查看数据库下有哪些表show tables;以上命令不区分大小写查看数据库版本号select version();查看当前用哪个数据库select database();\c用来终止一条命令的语句表行：数据/记录列：字段sql语句分类DQL:数据查询
2021-09-24 21:45:36
410
原创 4.RNN与LSTM网络
RNN处理序列数据的神经网络（记住之前发生的事的能力）分析 Data0 的时候, 把分析结果存入记忆. 当分析 data1的时候, NN会产生新的记忆, 但是新记忆和老记忆是没有联系的. RNN把老记忆调用过来, 一起分析. 如果继续分析更多的有序数据 , RNN就会把之前的记忆都累积起来, 一起分析.RNN 运算完之后都会产生一个对于当前状态的描述 , state. （S( t)）, 然后 RNN开始分析 x(t+1) , 他会根据 x(t+1)产生s(t+1), 但此时 y(t+1) 是
2021-09-09 21:07:16
144
原创 2.PyTorch 神经网络基础
Torch 或 Numpy1. 用 Numpy 还是 TorchTorch 自称为神经网络界的 Numpy, 因为他能将 torch 产生的 tensor 放在 GPU 中加速运算 (前提是有合适的 GPU), 就像 Numpy 会把 array 放在 CPU 中加速运算. 所以神经网络的话, 当然是用 Torch 的 tensor 形式数据最好.torch 做的和 numpy 能很好的兼容np_data = np.arange(6).reshape((2, 3))torch_data = torc
2021-09-09 14:36:01
88
原创 测试与开发模型
测试与开发模型测试的工作流程1.需求分析–>2.测试计划和测试方案–>3.测试用例设计–>4.测试用例执行–>5.评估阶段 测试报告（1）需求分析：分许需求的点；参与需求评审 ；快速熟悉项目（2）测试计划和测试方案： 计划：测试整个项目的总体规划。范围、进度安排；人力物力安排；风险评估 5w 1h why when who what where how 方案：how 被测试的目标 ；选取什么样的测试工具；测试的方法；测试的重点（2:8）
2021-08-25 22:41:48
2440
原创 1.PyTorch 简介
神经网络（Neural Network） 所有神经元间的连接都是不可更换的，不能凭空产生新连接。比如：伸手吃糖动作。 准备非常多吃糖的学习数据，放入神经网络，糖的信号通过数据传递到手，对比手的动作是不是讨糖来修改神经元强度。（修改过程为误差反向传递 相当于将传过来的信号传回去），检查负责传递的神经元对于讨糖的动作有无贡献，让它反思修正。 也就是说人工神经网络通过正向和反向传播更新神经元形成更好的神经系统。 本质上, 是能让计算机处理和优化的数学模型梯度下降（Gradient Des
2021-08-23 23:26:14
140
原创 Policy Gradients（Tensorflow）
文章目录Policy GradientsPolicy Gradients的反向传递核心思想算法代码结构建立 policy 神经网络选行为存储回合学习Policy GradientsQ learning学习奖惩值, 根据自己认为的高价值选行为, Policy Gradients不通过分析奖励值, 直接输出行为的方法最大好处就是, 它能在一个连续区间内挑选动作, 而基于值的, 如 Q-lear...
2020-04-13 09:14:34
509
4
原创 循环结构中辅助控制break,continue,pass,else
文章目录break与continuepassfor、while循环中的else扩展用法综合实例break与continuebreak语句是结束整个循环的过程，不在判断执行循环的条件是否成立；continue语句只结束本次循环，并不终止整个循环的执行。for i in range(5): print('i=',i,end=',') for j in range(10): ...
2020-03-26 19:35:52
663
2
原创 DQN
文章目录神经网络的作用更新神经网络Experience replay 和 Fixed Q-targets神经网络的作用将状态和动作当成神经网络的输入, 然后经过神经网络分析后得到动作的 Q 值, 这样我们就没必要在表格中记录 Q 值。而是直接使用神经网络生成 Q 值.也能只输入状态值, 输出所有的动作值, 然后按照 Q learning 的原则, 直接选择拥有最大值的动作当做下一步要做的动...
2020-03-22 15:42:17
760
2
原创 2 K 摇臂赌博机(探索与利用 贪心法 softmax）（周志华）
探索与利用单步强化学习任务对应理论模型—K - 摇臂赌博机：k个摇臂，赌徒在投入一个硬币后选择按下其中一个摇臂，每个摇臂以一定的概率（未知）吐出硬币，通过一定策略最大化最大化单步奖赏，即仅考虑一步操作。欲最大化单步奖赏考虑两个方面：一是需要知道每个动作带来的奖赏；二要执行奖赏最大的动作。（通常一个动作的奖赏值是来自于一个概率分布，仅通过一次尝试并不能确切地获得平均奖赏值）。...
2020-03-20 20:10:08
2280
原创 Sarsa(lambda)
文章目录Sarsa(n)单步更新 and 回合更新Lambda 含义Lambda 取值Sarsa(n)Sarsa 是一种单步更新法Sarsa(0):,在环境中每走一步, 更新一次自己的行为准则Sarsa(1):走完这步, 再走一步, 然后再更新Sarsa(n):等待回合完毕我们一次性再更新Sarsa(lambda):ambda 值来代替想要选择的步数单步更新 and 回合更新单步...
2020-03-15 16:38:19
415
原创 Sarsa及实例
文章目录Sarsa更新方式两者对比sarsa实例Sarsa更新方式Sarsa 的决策部分和 Q learning 一样, 使用的是 Q 表的形式决策, 在 Q 表中挑选值较大的动作值施加在环境中来换取奖惩. 但是不同的地方在于 Sarsa 的更新方式是不一样的.Q learning, 在 s2 上选取哪一个动作会带来最大的奖励, 但是在真正要做决定时, 却不一定会选取到那个带来最大奖励的动...
2020-03-14 20:35:46
1185
原创 Q-learning实例二维
文章目录算法 的方法, 每种在一定状态的行为都会有一个值 Q(s, a), 就是说 行为 a在 s 状态的值是 Q(s, a). s 在上...
2020-03-12 22:45:40
497
原创 强化学习基本概念
文章目录RL算法种类强化学习方法Model-free 和 Model-based基于概率 和 基于价值回合更新 和 单步更新在线学习 和 离线学习RL算法种类通过价值选行为：q learning, sarsa（ 使用表格学习）和deep q network（使用神经网络学习）直接输出行为：policy gradients想象环境并从中学习：model based RL强化学习方法M...
2020-03-11 12:10:32
424
原创 强化学习-任务与奖赏（周志华）
文章目录什么是强化学习马尔科夫决策过程什么是强化学习强化学习：一种学习过程，包含很多学习步骤，经过一段时间才能收获结果。通常等到收获后，才得出反馈结果。若将得到的好结果作为学习完成的奖赏，则在学习过程中我们执行某个操作（e.g.种瓜过程中浇水）对最终奖赏的影响，仅能得到一个当前反馈（瓜苗看起来茁壮），我们需要多次进行这种学习过程，才能总结出比较好的学习策略!强化学习图示马尔科夫决策过程强...
2020-03-10 20:18:53
2003
原创 Dropout 缓解过拟合
文章目录Dropout 缓解过拟合Dropout 缓解过拟合搭建两个神经网络, 一个没有 dropout, 一个有 dropout. 没有 dropout 的容易出现 过拟合, 那我们就命名为 net_overfitting,另一个就是 net_dropped. torch.nn.Dropout(0.5) 这里的 0.5 指的是随机有 50% 的神经元会被关闭/丢弃.这两个神经网络分开训练...
2020-02-24 11:11:33
474
原创 批标准化
文章目录批标准化批标准化批标准化通俗来说就是对每一层神经网络进行标准化 (normalize) 处理, 对输入数据进行标准化能让机器学习有效率地学习.构建带有 BN 的神经网络的. BN 其实可以看做是一个 layer (BN layer).就像平时加层一样加 BN layer 就好了. 注意, 还对输入数据进行了一个 BN 处理, 因为如果你把输入数据看出是从前面一层来的输出数据, 我们...
2020-02-24 10:50:41
363
原创 为什么 Torch 是动态的
文章目录为什么 Torch 是动态的为什么 Torch 是动态的计算图要变动. 最典型的例子就是 RNN, 有时候 RNN 的 time step 不会一样, 或者在 training 和 testing 的时候, batch_size 和time_step 也不一样, 如果用一个动态计算图的 Torch, 我们就好理解多了, 写起来也简单多了.动态RNN(其他代码同rnn回归)#！！！...
2020-02-23 17:35:07
190
原创 GAN
文章目录GAN超参数著名画家的画神经网络训练GAN著名画家的画在这两条线之间效果：绿线的变化是新手画家慢慢学习如何踏上画家之路的过程. 而能被认定为著名的画作在 upper bound 和 lower bound 之间.超参数新手画家 (Generator) 在作画的时候需要有一些灵感 (random noise), 这些灵感的个数定义为 N_IDEAS.而一幅画需要有一些规格, 我们...
2020-02-23 17:06:31
511
原创 matplotlib
文章目录基本用法flgure使用基本用法使用import导入模块matplotlib.pyplot，并简写成plt使用plt.figure定义一个图像窗口,plt.plot画(x ,y)曲线.plt.show显示图像.import matplotlib.pyplot as pltimport numpy as npx=np.linspace(-1,1,50)#-1到1 分成50个点...
2020-02-17 12:26:46
406
原创 3.建立第一个神经网络
文章目录关系拟合（回归）建立数据集建立神经网络区分类型 (分类)关系拟合（回归）建立数据集创建一些假数据来模拟真实的情况. 比如一个一元二次函数: y = a * x^2 + b, 将 y 数据加上一点噪声来更加真实的展示它.#关系拟合（回归）import torchfrom torch.autograd import Variableimport torch.nn.function...
2020-02-12 10:34:38
274
原创 PyTorch 激励函数
文章目录非线性方程激励函数常用选择Torch 中的激励函数非线性方程把整个网络简化成这样一个式子. Y = Wx, W 就是我们要求的参数, y 是预测值, x 是输入值. 用这个式子, 我们很容易就能描述刚刚的那个线性问题, 因为 W 求出来可以是一个固定的数. 不过这似乎并不能让这条直线变得扭起来 , 激励函数作用可以掰弯它激励函数AF 就是指的激励函数.AF其实就是另外一个非...
2020-02-09 16:33:43
300
原创 变量 (Variable)(已经和tensor合并为一类)
文章目录什么是 VariableVariable 计算, 梯度什么是 VariableTensor是Pytorch的一个完美组件(可以生成高维数组)，但是要构建神经网络还是远远不够的，我们需要能够计算图的Tensor，那就是Variable。Variable是对Tensor的一个封装，操作和Tensor是一样的，但是每个Variable都有三个属性，Varibale的Tensor本身的.dat...
2020-02-08 19:59:24
430
原创 python基础
一.print**1.转义**print('I\'m jerry')I'm jerry2.连接print('apple'+'car')applecar3.输出整数print(int(1)+2)34.输出小数print(float('1.2')+2)3.2二.数学1.+ - * %2.平方** 取整//三.自变量apple=10print(apple)...
2020-02-06 14:04:27
1605
原创 Pytorch
一.神经网络 梯度下降Optimization梯度下降全局 and 局部最优1.Optimization这些图片展示出来了一个家族的历史, 这个家族的名字就是-”optimization” (优化问题). 优化能力是人类历史上的重大突破, 他解决了很多实际生活中的问题. 从而渐渐演化成了一个庞大的家族.比如说牛顿法 (Newton’s method), 最小二乘法(Least S...
2020-02-06 14:03:57
252
原创 Numpy & Pandas
添加链接描述Numpynumpy属性Numpy 的创建 arrayNumpy 基础运算1Numpy 基础运算2Numpy 索引Numpy array 合并Numpy array 分割Numpy copy & deep copyPandasPandas 基本介绍一.numpy属性ndim：维度shape：行数和列数size：元素个数使用numpy首先要导...
2020-02-06 14:03:09
290
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人