- 博客(25)
- 收藏
- 关注
RSS订阅原创 tensorflow从入门到放弃再到精通(4.6):数学运算和前向传播
4.9数学运算4.9.1 加、减、乘、除运算加减乘除分别通过tf.add,tf.subtract, tf.multiply, tf.divide函数来实现，一般推荐使用+-*/来代替。整除和余除也是常见的运算之一，通过//和%来实现。import tensorflow as tfa = tf.range(5)b = tf.constant(2)#整除运算print(a//b)# 余除运算print(a%b)4.9.2 乘方运算通过tf.pow(x,a)，可以方便的计算
2020-09-08 21:36:05
281
原创 tensorflow从入门到放弃再到精通(4.5):数据维度和Broadcasting
4.7 维度变换在神经网络运算过程中，维度变换是最核心的张量操作，通过维度变化可以将数据任意的切换形式，满足不同的运算需求。考虑一下为什么需要维度变换?例如，Y=X@W+b其中，X包含了2个样本，每个样本特征长度是4，X的shape为[2,4]。线性层的输出为3个节点，那么W的shape为[4,3]。偏置b的shape为[3]。那么X@W的运算结果shape为[2,3]，需要叠加shape为[3]的偏置b，不同的2个张量是怎么直接相加的呢？设计偏置向量的初衷，我们给每个层输出节点添加一个偏.
2020-09-07 21:30:57
329
原创 tensorflow从入门到放弃再到精通(4.4):切片与索引
4.6 索引与切片通过索引与切片能够提取张量的部分数据，他们的使用频率非常高。4.6.1索引在TensorFlow中，支持基本的[i][j]...标准索引方式，也支持逗号分隔索引号的索引方式。
2020-09-05 17:36:17
138
原创 tensorflow从入门到放弃再到精通(4.2):TensorFlow 基础语法以及数据类型-待优化张量和创建张量
4.3 待优化张量tensorflow增加了一种专门计算梯度信息的记录张量：tf.Variable，在普通张量的基础上新增了 name，trainable 等属性来支持计算图的构建。它会消耗大量的计算资源，而且会自动更新相关参数，对于不需要优化的张量，不需要通过tf.Variable封装#tf.Variable()可以将普通的张量转化成待优化张量a = tf.Constant([-1, 0, 1, 2])aa = tf.Variable(a)aa.name, aa.trainable##
2020-07-16 19:43:29
221
原创 tensorflow从入门到放弃再到精通(4.1):TensorFlow 基础语法以及数据类型-数据类型以及数值精度
4.1 数据类型4.1.1 数值类型 标量(Scalar)。单个的实数，如 1.2, 3.4 等，维度(Dimension)数为 0，shape 为[]。 向量(Vector)。????个实数的有序集合，通过中括号包裹，如[1.2]，[1.2,3.4]等，维度数 为 1，长度不定，shape 为[????]。 矩阵(Matrix)。????行????列实数的有序集合，如[[1,2],[3,4...
2020-07-14 20:48:10
361
原创 知识点扫盲：二叉树之哈夫曼树
说起曼哈顿，我脑子闪过的念头就是：那位大佬不是搞原子弹的嘛？这个树跟他是怎么关系的说？是他发现的嘛？带着这些问题我细品了一会。。。嗯，原来是哈夫曼，这就说通了。哈夫曼树是由麻省理工学院的哈夫曼博士于1952年发明的。这颗树到底是什么树呢？我们来一起了解一下。要认识哈夫曼树，首先需要知道几个知识点：1.什么是路径如上图所示，其中A,B,D,H就是一条路径2.什么是路径长度...
2020-04-09 23:12:57
1923
原创 tensorflow从入门到放弃再到精通(3.3)：手写数字图片识别神经网络搭建
本节使用tensorflow来搭建神经网络1.搭建网络对于第一层网络模型来说，它接受的输入是，输出的????1为，设计为长度是256的向量，我们不需要显示的编写ReLU()的计算逻辑。#创建一层网络，设置输出节点为256，激活函数为ReLUlayers.Dense(256,activation='relu')在tensorflow中的Sequential容器可以很方便的搭建多层的网...
2020-03-27 18:49:50
400
原创 tensorflow从入门到放弃再到精通(3.3):分类问题模型构建以及优化
之前详细整理介绍了MNIST数据集，接下来详细介绍怎么构建模型对于分类问题来讲，目标其实就是最大化某个性能指标，比如准确度，但是把精准度当作损失函数去优化的时候，其实是不可导的，不能使用梯度下降去优化参数。一般的做法是设立一个平滑可导的代理目标函数，比如优化模型的输出o和one-hot编码后的真是标签y之间的距离，通过优化代理目标函数得到的模型，测试性能上也能有良好的表现。因此，相对回归问题...
2020-03-26 16:55:11
369
原创 MySQL中去除字段中的回车符和换行符
一、问题描述在使用【load data infile 'D:/node.txt' into table node fields terminated by '\t'; 】语句批量导入如下图所示的aaa.txt中的数据到tb.table表中后，最后一个字段中默认包含了换行符或回车符。导入数据后，node表内容如下所示：从直观上看不出导入后的数据有什么问题，但如果执行查询语句【selec...
2020-03-25 20:44:19
784
原创 python reload(sys)找不到，name 'reload' is not defined
在操作数据库的时候遇到这个问题，为什么会出现这种原因？查询如下： python在安装时，默认的编码是ascii，当程序中出现非ascii编码时，python的处理常常会报这样的错UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128)，python没办法处...
2020-03-25 13:31:20
283
原创 mysql异常：ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv
先上图，看看是不是跟我相同的问题：这是在我导出mysql数据的时候报的问题，能够从异常中看到--secure-file-priv，这个指的是mysql导出导入的目录条件查看一下mysql中设置的是什么路径 使用show variables like '%secure%';能看到允许导出导入目录的值为NULL，这个意思就是不允许导入和导出现在打开配置文件。添加一条[m...
2020-03-25 11:03:56
4308
1
原创 rasa报错ModuleNotFoundError: No module named 'rasa_nlu.test'
这个是版本问题：下载的时候需要注意：pip install rasa-nlu==0.14.4pip install rasa-core==0.13.2重新装过之后便不会再有问题了。，美滋滋
2020-03-22 23:32:05
1184
原创 阿里云服务器pyspark修改python版本
需要修改配置文件vim /etc/ecm/spark-conf-2.4.1-1.0.0/spark-env.sh改成然后再打开pyspark修改完成了
2020-03-22 19:26:27
409
原创 rasa语义模型报错:"error": "bad value(s) in fds_to_keep"
在测试模型的时报，训练模型没问题，但是在测试的时候出现问题不要慌，这种问题是因为sklearn与rasa的框架不兼容导致的这时候需要首先卸载sklearn：pip uninstall scikit-learn然后重新安装并指定版本pip install scikit-learn==0.19.2ok!问题解决...
2020-03-22 19:05:15
1293
原创 tensorflow从入门到放弃再到精通(3.1):认识手写数字图片训练集
前面我们了解了线性回归的问题，接下来认识一下分类的问题，其中一个典型问题就是教会机器识别图片中的物体。而在图片分类中，最简单的就是0~9数字图片识别，他也是非常重要的，显示应用在邮政编码，快递单号，手机号码识别等。机器学习是需要从数据之中学习的，因此我们需要大量真是样本数据。手写数字图片，也是真是由大量的真人手写的图片组成，为了方便存储和计算，一般会把收集到的原始图片保存在固定的大小（siz...
2020-03-17 01:02:13
365
原创 tensorflow从入门到放弃再到精通（2.3）：线性模型实战案例
没病？没病走两步。来走两步试试啊？好！试试就试试！！请听题：数据源，没有！背景故事，没有！随便指定一下w=1.477，b=0.089，按照这个模型自己找去采样吧好的，题目很明了，我们直接开搞1.数据采样不用头疼，为了更好的模拟真是样本的观测误差，我们给样本加上点误差自变量，那就是均值为0，标准差为0.01的高斯分布随机采样100次，我们就能获得n个样本的训练数据...
2020-03-14 00:13:33
277
1
原创 tensorflow从入门到放弃再到精通（2.2）：回归问题——优化方式-梯度下降
优化方法对于单神经元模型，我们可以使用消元法得到精确解。但对于多个数据点，这种解很可能不存在，我们只能借助数值去优化得到一个非常相似的数值结果。为什么叫做优化？因为我们需要借助计算机强大的计算能力去多次“搜索”和“试错”，从而一步步的降低误差L，而最简单的优化方式就是暴力搜索和随机尝试，比如找到最合适的w*和b*，我们就可以从部分实数空间中随机选择w和b，并计算出与真实模型的误差，然后从测...
2020-03-13 21:18:32
362
原创 tensorflow从入门到放弃再到精通（2.1）：回归问题——神经元模型
神经模型成年人大脑中包含了约 1000 亿个神经元，每个神经元通过树突获取输入信号，通过轴 突传递输出信号，神经元之间相互连接构成了巨大的神经网络，从而形成了人脑的感知和 意识基础，下图是一种典型的生物神经元结构。1943 年，心理学家沃伦·麦卡洛克 (Warren McCulloch)和数理逻辑学家沃尔特·皮茨(Walter Pitts)通过对生物神经元的研究， 提出了模拟生物神经元机制的人工...
2020-03-13 19:43:02
459
原创 tensorflow从入门到放弃再到精通（1）：环境搭建
一般来说，环境的搭建分为4大步，安装python解释器 Anaconda，安装 CUDA加速库，安装 TensorFlow 框架和安装常用编辑器。1.1 Anaconda安装Python 解释器是让以 Python 语言编写的代码能够被 CPU 执行的桥梁，是 Python 语言的核心软件。各位大佬可以从 https://www.python.org网站下载最新版本的解释器， 像普通的应用软件...
2020-02-02 17:45:26
1426
2
转载 数据分析之RFM——用户模型分析（附案例数据和代码）
本文从RFM模型概念入手，结合实际案例，详解Python实现模型的每一步操作，并提供案例同款源数据，以供同学们知行合一。看这篇文章前源数据长这样：学完后只要敲一个回车，源数据就变成了这样：是不是心动了？OK，闲话少叙，我们来开动正餐！RFM，是一种经典到头皮发麻的用户分类、价值分析模型，同时，这个模型以直白著称，直白到把需要的字段写在了脸上，让我们再念一遍：“R！F！M！”：R，R...
2020-01-03 21:18:07
23615
6
转载 linux利器之vim编辑器操作大全
作为一个使用vim挺长时间的人，现在来写这篇东西确实是尴尬的，就像很多大神们说的，vim是世界上最好用的编辑器，没有之一。然后前两天又重新看了看vim的那些功能和使用方法，更觉得这么长时间使用vim却远没有用到它的强大之处。所以...
2020-01-03 09:54:41
124
原创 Hive异常处理之return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask
使用使用hive执行任务的时候，执行一半了，提示Job failed with java.lang.NullPointerExceptionFAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime. Pl...
2019-12-24 17:45:50
20541
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人