2018年09月_Fred-XU

原创抽象空间的几个基本定义

【参考资料】【1】上海交通大学公开课《数学之旅 3 函数空间》空间的定义是一个逐步抽象的过程。首先是度量空间（有长度，符合正定、对称和三角不等式）其次定义线性空间（赋范线性空间。是一种特殊的度量空间）备注：范数相对于度量空间多了数乘的约束，以及定义到零点的距离再次定义内积空间（有角度）在有限维的定义中，内积空间就是我们的欧几里得空间。在无限维定义中，若增加完备性（即极限也在这个...

2018-09-29 07:14:03 4823

原创【机器学习笔记24】神经网络(LSTM)

【参考资料】【1】面向机器智能的Tensorflow实践【2】https://www.jianshu.com/p/9dc9f41f0b29【3】https://zybuluo.com/hanbingtao/note/581764梯度消失原因TBD模型定义LSTM 长短期记忆网络是一种特殊的RNN，为解决梯度爆炸和梯度消失的问题，LSTM将RNN中普通的神经元替换成了拥有少量记忆的...

2018-09-29 07:13:49 395

原创【机器学习笔记23】神经网络（RNN)

【参考资料】【1】《面向机器智能的tensorflow实践》【2】Keras中文文档【3】https://zybuluo.com/hanbingtao/note/541458基础循环神经网络循环神经网络（RNN）是一个由神经元和权值构成的有向图，它的当前状态与前一时刻的状态和当前输入决定，因此当前状态也被称为工作记忆。循环神经网络在时间序列上展开后如上图所示，用于解决序列化的问题，诸...

2018-09-29 07:13:32 710

原创【机器学习笔记22】神经网络(卷积神经网络)

【参考资料】【1】《面向机器智能的tensorflow实践》【2】Keras/example – mnist_cnn.py【3】Keras中文文档常用层卷积层卷积理解就是之前图像处理里用作检测边缘、检测角点的算子，例如:输入:[1234]\begin{bmatrix}1 &amp;amp; 2 \\3 &amp;amp; 4\end{bmatrix}[1324] ...

2018-09-29 07:13:08 551

原创【机器学习笔记21】神经网络（多层感知机)

【参考资料】【1】《深度学习》花书 6.1亦或问题由于单层感知机相当于在一个空间增加了一个超平面进行分类，那么对于像亦或问题这样的情况则无法完成。因此在多层感知机中增加了一个隐藏层，即一个激活函数。现代神经网络最常用的激活函数是整流线性单元，ReLU函数，如下:我们推导如下：第一步：亦或数据的输入表示为：X=[00011011]X=\begin{bmatrix}0 &am...

2018-09-28 07:05:57 528

原创【机器学习笔记20】神经网络（链式求导和反向传播)

【参考文献】【1】《面向机器智能的TensorFlow实践》4.7假设存在网络结果如下各个层输出定义L1=sigmoid(w1⋅x)L_1 = sigmoid(w_1 \cdot x)L1=sigmoid(w1⋅x)L2=sigmoid(w2⋅L1)L_2 = sigmoid(w_2 \cdot L_1)L2=sigmoid(w2⋅L1)L3=sigmoid(w3⋅L2)L...

2018-09-28 07:05:49 3358 2

原创【机器学习笔记19】神经网络（单层感知机）

【参考资料】【1】《人工神经网络教程》【2】《matlab 2015b 神经网络技术》基本概念单层感知器可以看成一个线性累加器和一个二值化阈值元器件，通常会在累加一个偏移量。由公式表达为:oj=sgn(∑i=1nwijxi+b)o_j= sgn(\sum_{i=1}^n w_{ij}x_i+b)oj=sgn(∑i=1nwijxi+b)其中oj={1,sgn(∑i=1nwij...

2018-09-28 07:05:42 968

原创【机器学习笔记18】隐马尔可夫模型

【参考资料】【1】《统计学习方法》隐马尔可夫模型（HMM）定义隐马尔可夫模型: 隐马尔可夫模型是关于时序的模型，描述一个由隐藏的马尔可夫链生成的不可观测的状态序列，再由各个状态生成的观测值所构成的一个观测序列。形式化定义HMM为λ=(A,B,π)\lambda = (A,B,\pi)λ=(A,B,π)定义所有可能的状态值集合：Q={q1,q2,...,qN}Q=\{q_1, q_2, ...

2018-09-28 07:05:29 473

原创【机器学习笔记17】支持向量机

【参考资料】【1】《统计学习方法》基本概念当训练数据线性可分时，通过硬间隔最大化，学习一个线性的分类器，即线性可分支持向量机，又称硬间隔支持向量机；当训练数据近似线性可分时，通过软间隔（增加一个松弛因子）后学习一个线性的分类器，即软间隔支持向量机；当训练数据不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机SVM的定义:输入: 给定一个特征空间上的训练数据T={(x1...

2018-09-28 07:05:21 603

原创【机器学习笔记16】拉格朗日乘子法

【参考资料】【1】《统计学习方法》【2】《凸优化》【3】小象学院《凸优化》凸集直线和线段的表达设x1≠x2x_1 \ne x_2x1̸=x2是RnR^nRn空间上的两个点，具有存在下列定义的点：y=θx1+(1−θ)x2y = \theta x_1 + (1 - \theta)x_2y=θx1+(1−θ)x2组成一条过两点的直线，当θ\thetaθ取值在0、1之间表示一...

2018-09-28 07:05:10 542

原创【机器学习笔记15】主成分分析(PCA)

【参考资料】【1】《Spark MLlib 机器学习实践》【2】《模式识别与机器学习》【3】PCA的数学原理 http://blog.codinglabs.org/articles/pca-tutorial.html【4】 http://scikit-learn.org /stable /modules /generated /sklearn. decomposition. PCA...

2018-09-28 07:05:03 303

原创【机器学习笔记12】聚类（k-means)

【参考资料】【1】Spark MLlib 机器学习实践【2】深入浅出K-Means 算法 http://www.csdn.net/article/2012-07-03/2807073-k-meansK-means 算法算法流程如下：（1）在样本中选择两个点（也可以是若干个）作为种子点；（2）计算其余各个样本离该种子点的距离，并将其分为两类；（3）将种子点移到（2）所分为的两类的中间...

2018-09-28 07:04:56 317

原创【机器学习笔记14】奇异值分解(SVD)

【参考资料】【1】Spark MLlib 机器学习实践【2】深入浅出K-Means 算法 http://www.csdn.net/article/2012-07-03/2807073-k-meansK-means 算法算法流程如下：（1）在样本中选择两个点（也可以是若干个）作为种子点；（2）计算其余各个样本离该种子点的距离，并将其分为两类；（3）将种子点移到（2）所分为的两类的中间...

2018-09-28 07:04:46 817

原创【机器学习笔记13】聚类（高斯混合聚类）

【参考资料】【1】《统计学习方法》【2】《概率论与数理统计》【3】小象学院 EM算法高斯分布定义: 如果随机变量X的概率密度为f(x)=12πσe−(x−u)22σ2f(x)= \dfrac{1}{\sqrt{2\pi}\sigma}e^{-\dfrac{(x-u)^2}{2\sigma^2}}f(x)=2πσ1e−2σ2(x−u)2 则称X服从正态分布，记作: X∼N(u,σ...

2018-09-28 07:04:35 514

原创【机器学习笔记11】随机森林

【参考资料】【1】Spark MLlib 机器学习实践【2】Boosting 和 bagging算法学习 http://blog.csdn.net/ u010659278 /article /details /44527437【3】百度百科 https://baike.baidu.com/item/adaboost/4531273?fr=aladdin集成学习集成学习： ...

2018-09-27 08:53:08 276

原创【机器学习笔记10】决策树

【参考资料】【1】统计学习方法【2】决策树与随机森林邹博培训资料【3】Spark MLlib 机器学习实践条件熵定义H(y∣x)=H(x,y)−H(x)H(y|x) = H(x,y)-H(x)H(y∣x)=H(x,y)−H(x)为条件熵，即当x已经发生的情况，又发生y所得到的信息增益。推导如下:决策树定义决策树是一种树形结构，每一个节点代表对某一类属性的判断，而分支代表基于...

2018-09-27 08:52:05 641

原创【机器学习笔记08】分类器（softmax回归)

【参考资料】【1】http://deeplearning.stanford.edu/wiki/index.php/Softmax回归【2】《统计学习方法》【3】《深度学习》花书 3.13【4】http://deeplearning.stanford.edu/wiki/index.php/Softmax回归基本定义首先给出softmax的数学定义，如下:hθ(x(i))=[p(y(i...

2018-09-27 08:48:18 627

原创【机器学习笔记07】分类器（logistic回归)

【参考资料】【1】《统计学习方法》【2】http://scikit-learn.org /stable/auto_examples /linear_model /plot_logistic.html # sphx-glr-auto-examples-linear-model-plot-logistic-pylogistic分布定义：设x是一个随机变量，x服从logistic分布是指...

2018-09-27 08:45:07 620 1

原创【机器学习笔记06】朴素贝叶斯

【参考资料】【1】统计学习方法学习分类的推导假设X是输入向量，Y是输出空间，P（X，Y）是联合概率分布。存在训练数据如下：T={(x1,y1),(x2,y2)...(xm.ym)}T=\left\{(x_1,y_1),(x_2,y_2)...(x_m.y_m) \right\}T={(x1,y1),(x2,y2)...(xm.ym)}定义CkC_kCk为输出y的一个分类...

2018-09-27 08:43:08 310

原创【机器学习笔记05】Jacobian矩阵&Hessian矩阵

【参考资料】【1】《矩阵分析与应用》【2】https://baike.baidu.com/item/雅可比矩阵/10753754?fr=aladdinJacobian矩阵Jacobian矩阵是函数对向量求导，其结果是一阶偏导数组成的矩阵。假设:F:Rn→RmF:R_n \to R_mF:Rn→Rm也就是一个n维欧式空间向m维欧式空间的一个映射。举例：由球坐标系转换到直角坐标系，...

2018-09-27 08:41:29 1106

原创【机器学习笔记04】随机梯度下降

【参考资料】【1】Spark MLlib 机器学习实践【2】机器学习之梯度下降 http://www.cnblogs.com/rcfeng/p/3958926.html梯度下降梯度下降是一个寻找函数机值的方式，属于最优化里的基础算法，在低维度的情况下非常容易理解。例如存在函数y=x2y=x^2y=x2存在导数dy=2x，若当前点在x=1点，设dx的步长为0.1。此时我们通过负梯度计算下...

2018-09-27 08:38:48 466

原创【机器学习笔记02】最小二乘法（多元线性回归模型）

【参考资料】【1】张贤达《矩阵分析与应用》【2】同济大学《线性代数》【3】程云鹏《矩阵论》【4】https://www.youtube.com/watch?v=94YIk1JVqYA【5】https://blog.csdn.net/u010976453/article/details/54381248数学基础1.转置矩阵定义：将矩阵A同序数的行换成列成为转置矩阵ATA^TA...

2018-09-27 08:34:28 7380

原创【机器学习笔记01】最小二乘法（一元线性回归模型）

【参考资料】【1】《概率论与数理统计》【2】 http://scikit-learn.org /stable/auto_examples/ linear_model/ plot_ols.html # sphx-glr-auto-examples-linear-model-plot-ols-py数学基础1. 基本定义：随机变量Y（因变量）和变量X（自变量）之间存在某种关系。假...

2018-09-27 08:31:30 1955

原创【超级账本】fabric-ca — setup-fabric.sh源码分析

概述setup-fabric.sh主要是order、peer节点的注册，以及通道相关资源的生成。其核心main函数代码如下，下文中依据该main函数调用关系展开。# This script does the following:# 1) registers orderer and peer identities with intermediate fabric-ca-servers# 2...

2018-09-27 08:20:05 535

原创【超级账本】fabric-ca — makeDocker.sh源码分析

概述在first-network例子中，msp的初始化是依赖工具生成，而fabric-ca是专门启动CA节点的。这部分的代码基本落实是这样的：由start.sh启动在start.sh中调用makeDocker.sh初始话docker compose.yaml文件；在makeDocker.sh所创建的yaml文件里，每个容器所需要执行的脚本定义在script目录下，包括order、pee...

2018-09-26 19:02:29 785

原创【超级账本】first-network -- script.sh源码分析

【参考资料】【1】https://hyperledger-fabric-doc.readthedocs.io/en/latest/command_ref.htmlscript.sh的逻辑非常简单，只是依次执行了一些测试命令（部分基础含义定义依赖相同目录下的utils.sh），主要函数如下：createChannelpeer channel create -o orderer.exampl...

2018-09-26 19:01:46 372

原创【超级账本】通道的生命周期

【参考资料】【1】https://medium.com/kokster/understanding-hyperledger-fabric-channel-lifecycle-a546670646e3创建一个通道调用configtxgen工具通过 channel config update transaction 创建一个新通道的配置文件；这个配置文件会被保存在某一个创世区块中；这个区块...

2018-09-26 19:00:56 437

原创【超级账本】first-network -byfn.sh源码分析

generate命令byfn.sh generate -c mychannel"generateCerts该方法用于生成相关的证书，（采用cryptogengo工具）包括各个节点的根证书、组织证书、交易证书、传输证书等。代码如下： cryptogen generate --config=./crypto-config.yamlreplacePrivateKey该方法用于将ge...

2018-09-26 19:00:25 1073

原创【超级账本】前置知识点-ECC

【参考资料】椭圆曲线数学上定义满足如下方程的点的集合称之为椭圆曲线：$Y^2X+a_1XYZ+a_3YZ^2=^3+a_2X^2Z+a_4XZ^2+a_6Z^3$参考文件中的图例，在离线的椭圆曲线上定义了一个运算，即从P点坐标 + P点坐标 = R点坐标。通过这个运算在椭圆曲线的集合上构建了一个群，这个群是一个有限循环群。可以理解为 $\left\{ P, P^2, P^3, .....

2018-09-26 18:59:30 444

原创【超级账本】前置知识点-docker compose

【参考资料】【1】https://docs.docker.com/compose/【2】http://wiki.jikexueyuan.com/project/docker-technology-and-combat/yaml_file.htmlDock Compose 概述Docker Compose 是一个工具用于定义构建存在多个docker 容器的应用，理解应该类似与kuberne...

2018-09-26 18:58:15 388

原创【超级账本】前置知识点-X.509证书

参考资料：【1】X.509数字证书的结构与解析 https://blog.csdn.net/xy010902100449/article/details/52145009【2】X.509证书格式 https://my.oschina.net/xinxingegeya/blog/418709?p=1基本概念数字签名：对待加密文档求取hash，对该hash值以发送者私钥进行加密与明文一起发...

2018-09-26 18:57:30 953

原创【EOS】开发环境搭建

单节点区块链搭建参考资料https://blog.csdn.net/liyuechun520/article/details/79937121拉取代码git clone https://github.com/eosio/eos --recursive编译代码./eosio_build.sh修改配置修改data-dir下的config.inigenesis.json修改传世区块...

2018-09-26 18:56:31 238

原创【ETH】DAPP开发环境搭建

1. 安装gethbrew tap ethereum/ethereumbrew install ethereum验证:geth version2. 安装solidity编译器npm install -g solc3. 安装web3npm install –g web3验证:node –p ‘require(“web3”)’4. 安装trufflenpm inst...

2018-09-26 18:55:53 541

原创【ETH】Solidity 知识点备注

Abstract Contract &amp; interface当一个合约存在至少一个方法未实现时，称之为抽象合约abstract contract。pragma solidity ^0.4.0;contract Feline { function utterance() public returns (bytes32);}contract Cat is Feline {...

2018-09-26 18:55:14 470

原创将博客搬至CSDN https://blog.csdn.net/Fredric_2014

将博客搬至CSDNhttps://blog.csdn.net/Fredric_2014

2018-09-25 10:01:00 41

Fred's Note