matlab newrbe,我搞到了最齐全的Matlab用户手册

这是神经网络的

Neural Network Toolbox

For Use with MATLAB

®

Howard Demuth

Mark Beale

1

Introduction

Neural Networks

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-2

Getting Started

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-4

Basic Chapters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-4

Help and Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-4

Whats New in 3.0

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-5

Other New Algorithms and Functions . . . . . . . . . . . . . . . . . . . . .

1-5

Modular Network Representation . . . . . . . . . . . . . . . . . . . . . . . .

1-5

Simulink Simulation Support . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-5

General Toolbox Improvements . . . . . . . . . . . . . . . . . . . . . . . . . .

1-5

Reduced Memory Levenberg-Marquardt Algorithm

. . . . . . .

1-6

Other New Networks, Algorithms and Improvements

. . . . .

1-7

Resilient Backpropagation (Rprop) . . . . . . . . . . . . . . . . . . . . . . .

1-7

Conjugate Gradient Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . .

1-7

Quasi-Newton Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-7

BFGS Quasi Newton Algorithm . . . . . . . . . . . . . . . . . . . . . . . .

1-7

A One Step Secant Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . .

1-7

Speed Comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-8

Improving Generalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-9

Regularization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-9

Early Stopping With Validation . . . . . . . . . . . . . . . . . . . . . . . .

1-9

Pre and Post Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-9

Scale Minimum and Maximum . . . . . . . . . . . . . . . . . . . . . . .

1-10

Scale Mean and Standard Deviation . . . . . . . . . . . . . . . . . . .

1-10

Principal Component Analysis . . . . . . . . . . . . . . . . . . . . . . . .

1-10

Post-training Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-10

New Training Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-10

Probabilistic Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . .

1-11

Generalized Regression Networks . . . . . . . . . . . . . . . . . . . . . . .

1-11

ii

Contents

Modular Network Representation

. . . . . . . . . . . . . . . . . . . . .

1-12

Better Simulink Support

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-13

General Toolbox Improvements

. . . . . . . . . . . . . . . . . . . . . . .

1-14

Simpler and More Extensible Toolbox . . . . . . . . . . . . . . . . . . .

1-14

Custom Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-15

Neural Network Applications

. . . . . . . . . . . . . . . . . . . . . . . . .

1-16

Aerospace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-16

Automotive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-16

Banking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-16

Defense . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-16

Electronics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-16

Entertainment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-17

Financial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-17

Insurance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-17

Manufacturing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-17

Medical . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-17

Oil and Gas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-17

Robotics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-17

Speech . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-18

Securities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-18

Telecommunications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-18

Transportation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-18

Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-18

Neural Network Design Book

. . . . . . . . . . . . . . . . . . . . . . . . .

1-19

Acknowledgments

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1-20

2

Neuron Model and Network Architectures

Basic Chapters

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2-2

Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2-2

Mathematical Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2-2

Mathematical and Code Equivalents . . . . . . . . . . . . . . . . . . .

2-2

iii

Neuron Model

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2-4

Simple Neuron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2-4

Transfer Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2-5

Neuron With Vector Input . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2-7

Network Architectures

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2-10

A Layer of Neurons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2-10

Inputs and Layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2-11

Multiple Layers of Neurons . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2-13

Data Structures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2-15

Simulation With Concurrent Inputs in a Static Network . . . . 2-15

Simulation With Sequential Inputs in a Dynamic Network . . 2-16

Simulation With Concurrent Inputs in a Dynamic Network . 2-18

Training Styles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2-20

Incremental Training (of Adaptive and Other Networks) . . . . 2-20

Incremental Training with Static Networks . . . . . . . . . . . . 2-20

Incremental Training With Dynamic Networks . . . . . . . . . 2-22

Batch Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2-22

Batch Training With Static Networks . . . . . . . . . . . . . . . . . 2-22

Batch Training With Dynamic Networks . . . . . . . . . . . . . . . 2-24

Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2-26

Figures and Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2-28

Simple Neuron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2-28

Hard Limit Transfer Function . . . . . . . . . . . . . . . . . . . . . . . 2-28

Purelin Transfer Function . . . . . . . . . . . . . . . . . . . . . . . . . . 2-28

Log Sigmoid Transfer Function . . . . . . . . . . . . . . . . . . . . . . 2-29

Neuron With Vector Input . . . . . . . . . . . . . . . . . . . . . . . . . . 2-29

Net Input . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2-29

Single Neuron Using Abbreviated Notation . . . . . . . . . . . . 2-30

Icons for Transfer Functions . . . . . . . . . . . . . . . . . . . . . . . . . 2-30

Layer of Neurons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2-30

Three Layers of Neurons . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2-31

Weight Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2-31

Layer of Neurons, Abbreviated Notation . . . . . . . . . . . . . . . 2-32

Layer of Neurons Showing Indices . . . . . . . . . . . . . . . . . . . . 2-32

Three Layers, Abbreviated Notation . . . . . . . . . . . . . . . . . . 2-33

Linear Neuron With Two Element Vector Input. . . . . . . . . 2-34

Dynamic Network With One Delay. . . . . . . . . . . . . . . . . . . . 2-34

iv Contents

3

Perceptrons

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-2

Important Perceptron Functions . . . . . . . . . . . . . . . . . . . . . . . . . 3-3

Neuron Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-4

Perceptron Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-6

Creating a Perceptron (NEWP) . . . . . . . . . . . . . . . . . . . . . . . . . 3-7

Simulation (SIM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-8

Initialization (INIT) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-9

Learning Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-11

Perceptron Learning Rule (LEARNP) . . . . . . . . . . . . . . . . . . 3-12

Adaptive Training (ADAPT) . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-15

Limitations and Cautions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-21

Outliers and the Normalized Perceptron Rule . . . . . . . . . . . . . 3-21

Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-23

Figures and Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-23

Perceptron Neuron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-23

Perceptron Transfer Function, hardlim . . . . . . . . . . . . . . 3-24

Decision Boundary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-24

Perceptron Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-25

The Perceptron Learning Rule . . . . . . . . . . . . . . . . . . . . . . . 3-25

One Perceptron Neuron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-26

New Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3-26

4

Adaptive Linear Filters

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-2

Important Linear Network Functions . . . . . . . . . . . . . . . . . . . . 4-3

v

Neuron Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-4

Network Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-5

Single ADALINE (NEWLIN) . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-6

Mean Square Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-9

Linear System Design (NEWLIND) . . . . . . . . . . . . . . . . . . . . . 4-10

LMS Algorithm (LEARNWH) . . . . . . . . . . . . . . . . . . . . . . . . . . 4-11

Linear Classification (TRAIN) . . . . . . . . . . . . . . . . . . . . . . . . . 4-13

Adaptive Filtering (ADAPT) . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-16

Tapped Delay Line . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-16

Adaptive Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-17

Adaptive Filter Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-18

Prediction Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-20

Noise Cancellation Example . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-21

Multiple Neuron Adaptive Filters . . . . . . . . . . . . . . . . . . . . . . . 4-23

Limitations and Cautions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-25

Overdetermined Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-25

Underdetermined Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-25

Linearly Dependent Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-25

Too Large a Learning Rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-26

Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-27

Figures and Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-28

Linear Neuron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-28

Purelin Transfer Function . . . . . . . . . . . . . . . . . . . . . . . . . . 4-28

MADALINE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-29

ADALINE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-29

Decision Boundary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-30

Mean Square Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-30

LMS (Widrow-Hoff) Algorithm . . . . . . . . . . . . . . . . . . . . . . . 4-30

Tapped Delay Line . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-31

Adaptive Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-32

Adaptive Filter Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-32

vi Contents

Prediction Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-33

Noise Cancellation Example . . . . . . . . . . . . . . . . . . . . . . . . . 4-34

Multiple Neuron Adaptive Filter . . . . . . . . . . . . . . . . . . . . . 4-35

Abbreviated Form of Adaptive Filter . . . . . . . . . . . . . . . . . . 4-35

Specific Small Adaptive Filter . . . . . . . . . . . . . . . . . . . . . . . 4-36

New Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4-36

5

Backpropagation

Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-2

Fundamentals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-3

Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-3

Neuron Model (TANSIG, LOGSIG, PURELIN) . . . . . . . . . . . 5-3

Feedforward Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-5

Simulation (SIM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-8

Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-8

Backpropagation Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . 5-9

Faster Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-16

Variable Learning Rate (TRAINGDA, TRAINGDX) . . . . . . . . 5-16

Resilient Backpropagation (TRAINRP) . . . . . . . . . . . . . . . . . . 5-18

Conjugate Gradient Algorithms . . . . . . . . . . . . . . . . . . . . . . . . 5-20

Fletcher-Reeves Update (TRAINCGF) . . . . . . . . . . . . . . . . . 5-20

Polak-Ribiére Update (TRAINCGP) . . . . . . . . . . . . . . . . . . 5-22

Powell-Beale Restarts (TRAINCGB) . . . . . . . . . . . . . . . . . . 5-24

Scaled Conjugate Gradient (TRAINSCG) . . . . . . . . . . . . . . 5-25

Line Search Routines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-26

Golden Section Search (SRCHGOL) . . . . . . . . . . . . . . . . . . . 5-26

Brent’s Search (SRCHBRE) . . . . . . . . . . . . . . . . . . . . . . . . . 5-27

Hybrid Bisection-Cubic Search (SRCHHYB) . . . . . . . . . . . 5-27

Charalambous’ Search (SRCHCHA) . . . . . . . . . . . . . . . . . . . 5-28

Backtracking (SRCHBAC) . . . . . . . . . . . . . . . . . . . . . . . . . . 5-28

Quasi-Newton Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-29

BFGS Algorithm (TRAINBFG) . . . . . . . . . . . . . . . . . . . . . . . 5-29

One Step Secant Algorithm (TRAINOSS) . . . . . . . . . . . . . . 5-30

Levenberg-Marquardt (TRAINLM) . . . . . . . . . . . . . . . . . . . . . 5-31

Reduced Memory Levenberg-Marquardt (TRAINLM) . . . . . . . 5-33

vii

Speed and Memory Comparison . . . . . . . . . . . . . . . . . . . . . . . 5-35

Improving Generalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-37

Regularization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-38

Modified Performance Function . . . . . . . . . . . . . . . . . . . . . . 5-38

Automated Regularization (TRAINBR) . . . . . . . . . . . . . . . . 5-39

Early Stopping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-41

Preprocessing and Postprocessing . . . . . . . . . . . . . . . . . . . . . 5-44

Min and Max (PREMNMX, POSTMNMX, TRAMNMX) . . . . . 5-44

Mean and Stand. Dev. (PRESTD, POSTSTD, TRASTD) . . . . . 5-45

Principal Component Analysis (PREPCA, TRAPCA) . . . . . . . 5-46

Post-training Analysis (POSTREG) . . . . . . . . . . . . . . . . . . . . . 5-47

Sample Training Session . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-49

Limitations and Cautions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-54

Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5-56

6

Radial Basis Networks

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-2

Important Radial Basis Functions . . . . . . . . . . . . . . . . . . . . . . . 6-2

Radial Basis Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-3

Neuron Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-3

Network Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-4

Exact Design (NEWRBE) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-5

More Efficient Design (NEWRB) . . . . . . . . . . . . . . . . . . . . . . . . . 6-7

Demonstrations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-8

Generalized Regression Networks . . . . . . . . . . . . . . . . . . . . . . 6-9

Network Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-9

Design (NEWGRNN) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-11

viii Contents

Probabilistic Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . 6-12

Network Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-12

Design (NEWPNN) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-13

Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-15

Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-16

Radial Basis Neuron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-16

Radbas Transfer Function . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-16

Radial Basis Network Architecture . . . . . . . . . . . . . . . . . . . 6-17

Generalized Regression Neural Network Architecture . . . . 6-17

Probabilistic Neural Network Architecture . . . . . . . . . . . . . 6-18

New Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-19

7

Self-Organizing Networks

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-2

Important Self-Organizing Functions . . . . . . . . . . . . . . . . . . . . . 7-2

Competitive Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-3

Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-3

Creating a Competitive Neural Network (NEWC) . . . . . . . . . . 7-4

Kohonen Learning Rule (LEARNK) . . . . . . . . . . . . . . . . . . . . . . 7-5

Bias Learning Rule (LEARNCON) . . . . . . . . . . . . . . . . . . . . . . . 7-5

Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-6

Graphical Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-8

Self-Organizing Maps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-10

Topologies (GRIDTOP, HEXTOP, RANDTOP) . . . . . . . . . . . . 7-12

Distance Functions (DIST, LINKDIST,

MANDIST, BOXDIST) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-16

Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-19

Creating a Self Organizing MAP Neural Network

(NEWSOM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-20

Training (LEARNSOM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-22

Phase 1: Ordering Phase . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-22

Phase 2: Tuning Phase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-22

ix

Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-25

One-Dimensional Self-Organizing Map . . . . . . . . . . . . . . . . 7-25

Two-Dimensional Self-Organizing Map . . . . . . . . . . . . . . . . 7-27

Summary and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-32

Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-32

Competitive Network Architecture . . . . . . . . . . . . . . . . . . . . 7-32

Self Organizing Feature Map Architecture . . . . . . . . . . . . . 7-33

New Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-33

8

Learning Vector Quantization

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8-2

Important LVQ Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8-2

Network Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8-3

Creating an LVQ Network (NEWLVQ) . . . . . . . . . . . . . . . . . . . 8-5

LVQ Learning Rule(LEARNLV2) . . . . . . . . . . . . . . . . . . . . . . . 8-9

Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8-11

Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8-14

Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8-14

LVQ Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8-14

New Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8-14

x Contents

9 Recurrent Networks

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9-2

Important Recurrent Network Functions . . . . . . . . . . . . . . . . . . 9-2

Elman Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9-3

Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9-3

Creating an Elman Network (NEWELM) . . . . . . . . . . . . . . . . . 9-4

Simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9-4

Training an Elman Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9-6

Hopfield Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9-9

Fundamentals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9-9

Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9-9

Design(NEWHOP) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9-11

Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9-13

Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9-16

Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9-17

Elman Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9-17

Hopfield Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9-17

New Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9-18

10

Applications

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-2

Application Scripts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-2

Applin1: Linear Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-3

Problem Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-3

Network Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-4

Network Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-4

Thoughts and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-6

xi

Applin2: Adaptive Prediction . . . . . . . . . . . . . . . . . . . . . . . . . 10-7

Problem Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-7

Network Initialization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-8

Network Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-8

Network Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-8

Thoughts and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-10

Applin3: Linear System Identification . . . . . . . . . . . . . . . . 10-11

Problem Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-11

Network Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-12

Network Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-12

Thoughts and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-14

Applin4: Adaptive System Identification . . . . . . . . . . . . . . 10-15

Problem Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-15

Network Initialization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-16

Network Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-17

Network Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-17

Thoughts and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-17

Appelm1: Amplitude Detection . . . . . . . . . . . . . . . . . . . . . . . 10-19

Problem Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-19

Network Initialization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-20

Network Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-20

Network Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-21

Network Generalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-22

Improving Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-23

Appcs1: Nonlinear System Identification . . . . . . . . . . . . . . 10-24

Problem Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-25

Network Initialization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-26

Network Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-26

Network Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-26

Thoughts and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-29

xii Contents

Appcs2: Model Reference Control . . . . . . . . . . . . . . . . . . . . . 10-30

Mathematical Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-30

Neural Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-31

Problem Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-32

Network Initialization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-32

Network Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-33

Network Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-36

Thoughts and Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-37

Appcr1: Character Recognition . . . . . . . . . . . . . . . . . . . . . . . 10-38

Problem Statement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-38

Neural Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-39

Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-40

Initialization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-40

Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-40

Training Without Noise . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-41

Training With Noise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-41

Training Without Noise Again . . . . . . . . . . . . . . . . . . . . . . 10-42

System Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-42

Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10-43

11

Advanced Topics

Custom Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-2

Custom Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-4

Network Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-5

Architecture Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-5

Number of Outputs and Targets . . . . . . . . . . . . . . . . . . . . . . 11-7

Subobject Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-8

Inputs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-8

Network Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-12

Weight and Bias Values . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-13

Network Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-14

Initialization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-14

Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-14

xiii

Additional Toolbox Functions . . . . . . . . . . . . . . . . . . . . . . . . 11-17

Initialization Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-17

randnc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-17

randnr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-17

Transfer Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-17

satlin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-17

softmax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-17

tribas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-17

Learning Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-18

learnh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-18

learnhd . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-18

learnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-18

learnos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-18

Custom Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-19

Simulation Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-20

Transfer Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-20

Net Input Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-22

Weight Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-24

Initialization Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-26

Network Initialization Functions . . . . . . . . . . . . . . . . . . . . 11-26

Layer Initialization Functions . . . . . . . . . . . . . . . . . . . . . . 11-26

Weight and Bias Initialization Functions . . . . . . . . . . . . . 11-27

Learning Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-29

Training Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-29

Adapt Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-32

Performance Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-34

Weight and Bias Learning Functions . . . . . . . . . . . . . . . . . 11-36

Self-Organizing Map Functions . . . . . . . . . . . . . . . . . . . . . . . 11-39

Topology Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-39

Distance Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11-40

xiv Contents

12

Network Object Reference

Network Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-2

Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-2

numInputs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-2

numLayers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-2

biasConnect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-3

inputConnect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-4

layerConnect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-4

outputConnect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-4

targetConnect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-5

numOutputs (read-only) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-5

numTargets (read-only) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-5

numInputDelays (read-only) . . . . . . . . . . . . . . . . . . . . . . . . . 12-5

numLayerDelays (read-only) . . . . . . . . . . . . . . . . . . . . . . . . . 12-6

Subobject Structures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-6

inputs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-7

layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-7

outputs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-7

targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-8

biases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-8

inputWeights . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-9

layerWeights . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-9

Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-10

adaptFcn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-10

initFcn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-10

performFcn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-11

trainFcn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-11

Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-13

adaptParam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-13

initParam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-13

performParam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-13

trainParam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-14

Weight and Bias Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-14

IW . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-14

LW . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-15

b . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-16

Other . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-16

userdata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-16

xv

Subobject Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-17

Inputs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-17

range . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-17

size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-17

userdata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-18

Layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-18

dimensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-18

distanceFcn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-19

distances (read-only) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-19

initFcn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-20

netInputFcn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-20

positions (read-only) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-21

size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-22

topologyFcn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-22

transferFcn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-23

userdata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-24

Outputs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-25

size (read-only) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-25

userdata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-25

Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-25

size (read-only) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-25

userdata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-25

Biases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-26

initFcn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-26

learn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-26

learnFcn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-27

learnParam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-27

size (read-only) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-28

userdata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-28

Input Weights . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-28

delays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-28

initFcn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-29

learn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-29

learnFcn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-30

learnParam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-31

size (read-only) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-31

userdata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-31

weightFcn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-32

xvi Contents

LayerWeights . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-32

delays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-32

initFcn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-32

learn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-33

learnFcn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-33

learnParam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-35

size (read-only) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-35

userdata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-35

weightFcn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12-36

13

Reference

Functions Listed by Network Type . . . . . . . . . . . . . . . . . . . . 13-2

Functions by Class . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13-3

Transfer Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13-13

Transfer Function Graphs . . . . . . . . . . . . . . . . . . . . . . . . . . . 13-14

Reference Page Headings . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13-18

Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13-19

Glossary