【TensorFlow】tf.nn.conv2d是怎样实现卷积的？

TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。Tensor(张量)意味着N维数组，Flow(流)意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。

TensorFlow可被用于语音识别或图像识别等多项机器深度学习领域，对2011年开发的深度学习基础架构DistBelief进行了各方面的改进，它可在小到一部智能手机、大到数千台数据中心服务器的各种设备上运行。TensorFlow将完全开源，任何人都可以用。

原生接口文章

1. 【Tensorflow】tf.placeholder函数
2. 【TensorFlow】tf.nn.conv2d是怎样实现卷积的
3. 【TensorFlow】tf.nn.max_pool实现池化操作
4. 【Tensorflow】tf.nn.relu函数
5. 【Tensorflow】tf.reshape 函数
6. 【Tensorflow】tf.nn.dropout函数
7. 【Tensorflow】tf.argmax函数
8. 【Tensorflow】tf.cast 类型转换 函数
9. 【Tensorflow】tf.train.AdamOptimizer函数
10. 【Tensorflow】tf.Graph()函数
11. 【TensorFlow】tf.nn.softmax_cross_entropy_with_logits的用法
    
12. 【Tensorflow】tf.dynamic_partition 函数 分拆数组
    

     原生接口实例

1. 【Tensorflow】实现简单的卷积神经网络CNN实际代码
2. 【Tensorflow 实战】实现欧式距离
   

         slim接口文章

1. 【Tensorflow】tensorflow.contrib.slim 包
   
2. 【Tensorflow slim】 slim.arg_scope的用法
   
3. 【Tensorflow slim】slim.data包
   
4. 【Tensorflow slim】slim evaluation 函数
   
5. 【Tensorflow slim】slim layers包
   
6. 【Tensorflow slim】slim learning包
7. 【Tensorflow slim】slim losses包
   
8. 【Tensorflow slim】slim nets包
   
9. 【Tensorflow slim】slim variables包
   
10. 【Tensorflow slim】slim metrics包

        slim 实例

1. 【Tensorflow slim 实战】写MobileNet
   
2. 【Tensorflow slim 实战】写Inception-V4 Inception-ResNet-v2结构

         kera 接口文章

1. 【Tensorflow keras】Keras:基于Theano和TensorFlow的深度学习库
   
2. 【Tensorflow keras】轻量级深度学习框架 Keras简介
   

         tensorflow使用过程中的辅助接口或通过tensorflow实现的批量操作接口

1. 将非RGB图片转换为RGB图片
   
2. 【opencv】python3 将图片生成视频文件
   
3. 【opencv】selective_search函数

=========================================================================

转自：http://blog.csdn.net/mao_xiao_feng/article/details/53444333

tf.nn.conv2d是TensorFlow里面实现卷积的函数，参考文档对它的介绍并不是很详细，实际上这是搭建卷积神经网络比较核心的一个方法，非常重要

tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)

除去name参数用以指定该操作的name，与方法有关的一共五个参数 ：

第一个参数input：指需要做卷积的输入图像，它要求是一个Tensor，具有[batch, in_height, in_width, in_channels]这样的shape，具体含义是[训练时一个batch的图片数量, 图片高度, 图片宽度, 图像通道数]，注意这是一个4维的Tensor，要求类型为float32和float64其中之一

第二个参数filter：相当于CNN中的卷积核，它要求是一个Tensor，具有[filter_height, filter_width, in_channels, out_channels]这样的shape，具体含义是[卷积核的高度，卷积核的宽度，图像通道数，卷积核个数]，要求类型与参数input相同，有一个地方需要注意，第三维in_channels，就是参数input的第四维


第三个参数strides：卷积时在图像每一维的步长，这是一个一维的向量，长度4


第四个参数padding：string类型的量，只能是"SAME","VALID"其中之一，这个值决定了不同的卷积方式（后面会介绍）就是VALID只能匹配内部像素；而SAME可以在图像外部补0,从而做到只要图像中的一个像素就可以和卷积核做卷积操作,而VALID不行

第五个参数：use_cudnn_on_gpu:bool类型，是否使用cudnn加速，默认为true

结果返回一个Tensor，这个输出，就是我们常说的feature map




那么TensorFlow的卷积具体是怎样实现的呢，用一些例子去解释它：

1.考虑一种最简单的情况，现在有一张3×3单通道的图像（对应的shape：[1，3，3，1]），用一个1×1的卷积核（对应的shape：[1，1，1，1]）去做卷积，最后会得到一张3×3的feature map

2.增加图片的通道数，使用一张3×3五通道的图像（对应的shape：[1，3，3，5]），用一个1×1的卷积核（对应的shape：[1，1，1，1]）去做卷积，仍然是一张3×3的feature map，这就相当于每一个像素点，卷积核都与该像素点的每一个通道做点积

[python]  view plain  copy

 

1. input = tf.Variable(tf.random_normal([1,3,3,5]))  
2. filter = tf.Variable(tf.random_normal([1,1,5,1]))  
3.   
4. op = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='VALID')  

3.把卷积核扩大，现在用3×3的卷积核做卷积，最后的输出是一个值，相当于情况2的feature map所有像素点的值求和

[python]  view plain  copy

 

1. input = tf.Variable(tf.random_normal([1,3,3,5]))  
2. filter = tf.Variable(tf.random_normal([3,3,5,1]))  
3.   
4. op = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='VALID')  

4.使用更大的图片将 情况2 的图片扩大到5×5，仍然是3×3的卷积核，令步长为1，输出3×3的feature map

[python]  view plain  copy

 

1. input = tf.Variable(tf.random_normal([1,5,5,5]))  
2. filter = tf.Variable(tf.random_normal([3,3,5,1]))  
3.   
4. op = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='VALID')  

注意我们可以把这种情况看成情况2和情况3的中间状态，卷积核以步长1滑动遍历全图，以下x表示的位置，表示卷积核停留的位置，每停留一个，输出feature map的一个像素

[python]  view plain  copy

 

1. .....  
2. .xxx.  
3. .xxx.  
4. .xxx.  
5. .....  

5.上面我们一直令参数padding的值为‘VALID’，当其为‘SAME’时，表示卷积核可以停留在图像边缘，如下，输出5×5的feature map

[python]  view plain  copy

 

1. input = tf.Variable(tf.random_normal([1,5,5,5]))  
2. filter = tf.Variable(tf.random_normal([3,3,5,1]))  
3.   
4. op = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='SAME')  

[python]  view plain  copy

 

1. xxxxx  
2. xxxxx  
3. xxxxx  
4. xxxxx  
5. xxxxx  

6.如果卷积核有多个

[python]  view plain  copy

 

1. input = tf.Variable(tf.random_normal([1,5,5,5]))  
2. filter = tf.Variable(tf.random_normal([3,3,5,7]))  
3.   
4. op = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='SAME')  

此时输出7张5×5的feature map

7.步长不为1的情况，文档里说了对于图片，因为只有两维，通常strides取[1，stride，stride，1]

[python]  view plain  copy

 

1. input = tf.Variable(tf.random_normal([1,5,5,5]))  
2. filter = tf.Variable(tf.random_normal([3,3,5,7]))  
3.   
4. op = tf.nn.conv2d(input, filter, strides=[1, 2, 2, 1], padding='SAME')  

此时，输出7张3×3的feature map

[python]  view plain  copy

 

1. x.x.x  
2. .....  
3. x.x.x  
4. .....  
5. x.x.x  

8.如果batch值不为1，同时输入10张图

[python]  view plain  copy

 

1. input = tf.Variable(tf.random_normal([10,5,5,5]))  
2. filter = tf.Variable(tf.random_normal([3,3,5,7]))  
3.   
4. op = tf.nn.conv2d(input, filter, strides=[1, 2, 2, 1], padding='SAME')  

每张图，都有7张3×3的feature map，输出的shape就是[10，3，3，7]




最后，把程序总结一下：

[python]  view plain  copy

 

1. import tensorflow as tf  
2. #case 2  
3. input = tf.Variable(tf.random_normal([1,3,3,5]))  
4. filter = tf.Variable(tf.random_normal([1,1,5,1]))  
5.   
6. op2 = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='VALID')  
7. #case 3  
8. input = tf.Variable(tf.random_normal([1,3,3,5]))  
9. filter = tf.Variable(tf.random_normal([3,3,5,1]))  
10.   
11. op3 = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='VALID')  
12. #case 4  
13. input = tf.Variable(tf.random_normal([1,5,5,5]))  
14. filter = tf.Variable(tf.random_normal([3,3,5,1]))  
15.   
16. op4 = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='VALID')  
17. #case 5  
18. input = tf.Variable(tf.random_normal([1,5,5,5]))  
19. filter = tf.Variable(tf.random_normal([3,3,5,1]))  
20.   
21. op5 = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='SAME')  
22. #case 6  
23. input = tf.Variable(tf.random_normal([1,5,5,5]))  
24. filter = tf.Variable(tf.random_normal([3,3,5,7]))  
25.   
26. op6 = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='SAME')  
27. #case 7  
28. input = tf.Variable(tf.random_normal([1,5,5,5]))  
29. filter = tf.Variable(tf.random_normal([3,3,5,7]))  
30.   
31. op7 = tf.nn.conv2d(input, filter, strides=[1, 2, 2, 1], padding='SAME')  
32. #case 8  
33. input = tf.Variable(tf.random_normal([10,5,5,5]))  
34. filter = tf.Variable(tf.random_normal([3,3,5,7]))  
35.   
36. op8 = tf.nn.conv2d(input, filter, strides=[1, 2, 2, 1], padding='SAME')  
37.   
38. init = tf.initialize_all_variables()  
39. with tf.Session() as sess:  
40.     sess.run(init)  
41.     print("case 2")  
42.     print(sess.run(op2))  
43.     print("case 3")  
44.     print(sess.run(op3))  
45.     print("case 4")  
46.     print(sess.run(op4))  
47.     print("case 5")  
48.     print(sess.run(op5))  
49.     print("case 6")  
50.     print(sess.run(op6))  
51.     print("case 7")  
52.     print(sess.run(op7))  
53.     print("case 8")  
54.     print(sess.run(op8))  

因为是随机初始化，我的结果是这样的：

[python]  view plain  copy

 

1. case 2  
2. [[[[-0.64064658]  
3.    [-1.82183945]  
4.    [-2.63191342]]  
5.   
6.   [[ 8.05008984]  
7.    [ 1.66023612]  
8.    [ 2.53465152]]  
9.   
10.   [[-3.51703644]  
11.    [-5.92647743]  
12.    [ 0.55595356]]]]  
13. case 3  
14. [[[[ 10.53139973]]]]  
15. case 4  
16. [[[[ 10.45460224]  
17.    [  6.23760509]  
18.    [  4.97157574]]  
19.   
20.   [[  3.05653667]  
21.    [-11.43907833]  
22.    [ -2.05077457]]  
23.   
24.   [[ -7.48340607]  
25.    [ -0.90697062]  
26.    [  3.27171206]]]]  
27. case 5  
28. [[[[  5.30279875]  
29.    [ -2.75329947]  
30.    [  5.62432575]  
31.    [-10.24609661]  
32.    [  0.12603235]]  
33.   
34.   [[  0.2113893 ]  
35.    [  1.73748684]  
36.    [ -3.04372549]  
37.    [ -7.2625494 ]  
38.    [-12.76445198]]  
39.   
40.   [[ -1.57414591]  
41.    [ -3.39802694]  
42.    [ -6.01582575]  
43.    [ -1.73042905]  
44.    [ -3.07183361]]  
45.   
46.   [[  1.41795194]  
47.    [ -2.02815866]  
48.    [-17.08983231]  
49.    [ 11.98958111]  
50.    [  2.44879103]]  
51.   
52.   [[  0.29902667]  
53.    [ -3.19712877]  
54.    [ -2.84978414]  
55.    [ -2.71143317]  
56.    [  5.99366283]]]]  
57. case 6  
58. [[[[ 12.02504349   4.35077286   2.67207813   5.77893162   6.98221684  
59.      -0.96858567  -8.1147871 ]  
60.    [ -0.02988982  -2.52141953  15.24755192   6.39476395  -4.36355495  
61.      -2.34515095   5.55743504]  
62.    [ -2.74448752  -1.62703776  -6.84849405  10.12248802   3.7408421  
63.       4.71439075   6.13722801]  
64.    [  0.82365227  -1.00546622  -3.29460764   5.12690163  -0.75699937  
65.      -2.60097408  -8.33882809]  
66.    [  0.76171923  -0.86230004  -6.30558443  -5.58426857   2.70478535  
67.       8.98232937  -2.45504045]]  
68.   
69.   [[  3.13419819 -13.96483231   0.42031103   2.97559547   6.86646557  
70.      -3.44916964  -0.10199898]  
71.    [ 11.65359879  -5.2145977    4.28352737   2.68335319   3.21993709  
72.      -6.77338028   8.08918095]  
73.    [  0.91533852  -0.31835344  -1.06122255  -9.11237717   5.05267143  
74.       5.6913228   -5.23855162]  
75.    [ -0.58775592  -5.03531456  14.70254898   9.78966522 -11.00562763  
76.      -4.08925819  -3.29650426]  
77.    [ -2.23447251  -0.18028721  -4.80610704  11.2093544   -6.72472  
78.      -2.67547607   1.68422937]]  
79.   
80.   [[ -3.40548897  -9.70355129  -1.05640507  -2.55293012  -2.78455877  
81.     -15.05377483  -4.16571808]  
82.    [ 13.66925812   2.87588191   8.29056358   6.71941566   2.56558466  
83.      10.10329056   2.88392687]  
84.    [ -6.30473804  -3.3073864   12.43273926  -0.66088223   2.94875336  
85.       0.06056046  -2.78857946]  
86.    [ -7.14735603  -1.44281793   3.3629775   -7.87305021   2.00383091  
87.      -2.50426936  -6.93097973]  
88.    [ -3.15817571   1.85821593   0.60049552  -0.43315536  -4.43284273  
89.       0.54264796   1.54882073]]  
90.   
91.   [[  2.19440389  -0.21308756  -4.35629082  -3.62100363  -0.08513772  
92.      -0.80940366   7.57606506]  
93.    [ -2.65713739   0.45524287 -16.04298019  -5.19629049  -0.63200498  
94.       1.13256514  -6.70045137]  
95.    [  8.00792599   4.09538221  -6.16250181   8.35843849  -4.25959206  
96.      -1.5945878   -7.60996151]  
97.    [  8.56787586   5.85663748  -4.38656425   0.12728286  -6.53928804  
98.       2.3200655    9.47253895]  
99.    [ -6.62967777   2.88872099  -2.76913023  -0.86287498  -1.4262073  
100.      -6.59967232   5.97229099]]  
101.   
102.   [[ -3.59423327   4.60458899  -5.08300591   1.32078576   3.27156973  
103.       0.5302844   -5.27635145]  
104.    [ -0.87793881   1.79624665   1.66793108  -4.70763969  -2.87593603  
105.      -1.26820421  -7.72825718]  
106.    [ -1.49699068  -3.40959787  -1.21225107  -1.11641395  -8.50123024  
107.      -0.59399474   3.18010235]  
108.    [ -4.4249506   -0.73349547  -1.49064219  -6.09967899   5.18624878  
109.      -3.80284953  -0.55285597]  
110.    [ -1.42934585   2.76053572  -5.19795799   0.83952439  -0.15203482  
111.       0.28564462   2.66513705]]]]  
112. case 7  
113. [[[[  2.66223097   2.64498258  -2.93302107   3.50935125   4.62247562  
114.       2.04241085  -2.65325522]  
115.    [ -0.03272867  -1.00103927  -4.3691597    2.16724801   7.75251007  
116.      -4.6788125   -0.89318085]  
117.    [  4.74175072  -0.80443329  -1.02710629  -6.68772554   4.57605314  
118.      -3.72993755   4.79951382]]  
119.   
120.   [[  5.249547     8.92288399   7.10703182  -9.10498428  -7.43814278  
121.      -8.69616318   1.78862095]  
122.    [  7.53669024 -14.52316284  -2.55870199  -1.11976743   3.81035042  
123.       2.45559502  -2.35436153]  
124.    [  3.93275881   5.11939669  -4.7114296  -11.96386623   2.11866689  
125.       0.57433248  -7.19815397]]  
126.   
127.   [[  0.25111672   1.40801668   1.28818977  -2.64093828   0.98182392  
128.       3.69512987   4.78833389]  
129.    [  0.30391204 -10.26406097   6.05877018  -6.04775047   8.95922089  
130.       0.80235004  -5.4520669 ]  
131.    [ -7.24697018  -2.33498096 -10.20039558  -1.24307609   3.99351597  
132.      -8.1029129    2.44411373]]]]  
133. case 8  
134. [[[[ -6.84037447e+00   1.33321762e-01  -5.09891272e+00   5.55682087e+00  
135.       8.22002888e+00  -4.94586229e-02   4.19012117e+00]  
136.    [  6.79884481e+00   1.21652853e+00  -5.69557810e+00  -1.33555794e+00  
137.       3.24849486e-01   4.88868570e+00  -3.90220714e+00]  
138.    [ -3.53190374e+00  -4.11765718e+00   4.54340839e+00   1.85549557e+00  
139.      -3.38682461e+00   2.62719369e+00  -4.98658371e+00]]  
140.   
141.   [[ -9.86354351e+00  -6.76713943e+00   3.62617874e+00  -6.16720629e+00  
142.       1.96754158e+00  -4.54203081e+00  -1.37485743e+00]  
143.    [ -1.76783955e+00   2.35163045e+00  -2.21175838e+00   3.83091879e+00  
144.       3.16964531e+00  -7.58307219e+00   4.71943617e+00]  
145.    [  1.20776439e+00   4.86006308e+00   1.04233503e+01  -7.82327271e+00  
146.       5.39195156e+00  -6.31672382e+00   1.35577369e+00]]  
147.   
148.   [[ -3.65947580e+00  -1.98961139e+00   7.53771305e+00   2.79224634e-01  
149.      -2.90050888e+00  -3.57466817e+00  -6.33232594e-01]  
150.    [  5.89931488e-01   2.83219159e-01  -1.65850735e+00  -6.45545387e+00  
151.      -1.17044592e+00   1.40343285e+00   5.74970901e-01]  
152.    [ -8.58810043e+00  -1.25172977e+01   6.84177876e-01   3.80004168e+00  
153.      -1.54420209e+00  -3.32161427e+00  -1.05423713e+00]]]  
154.   
155.   
156.  [[[ -4.82677078e+00   3.11167526e+00  -4.32694483e+00  -4.77198696e+00  
157.       2.32186103e+00   1.65402293e-01  -5.32707453e+00]  
158.    [  3.91779566e+00   6.27949667e+00   2.32975650e+00  -1.06336937e+01  
159.       4.44044876e+00   8.08288479e+00  -5.83346319e+00]  
160.    [ -2.82141399e+00  -9.16103745e+00   6.98908520e+00  -5.66505909e+00  
161.      -2.11039782e+00   2.27499461e+00  -5.74120235e+00]]  
162.   
163.   [[  6.71680808e-01  -4.01104212e+00  -4.61760712e+00   1.02667952e+01  
164.      -8.21200657e+00  -8.57054043e+00   1.71461976e+00]  
165.    [  2.40794683e+00  -2.63071585e+00   9.68963623e+00  -4.51778412e+00  
166.      -3.91073084e+00  -5.91874409e+00   9.96273613e+00]  
167.    [  2.67705870e+00   2.85607010e-01   2.45853162e+00   4.44810390e+00  
168.      -2.11300468e+00  -5.77583075e+00   2.83322239e+00]]  
169.   
170.   [[ -8.21949577e+00  -7.57754421e+00   3.93484974e+00   2.26189137e+00  
171.      -3.49395227e+00  -6.40283823e+00  -6.00450039e-01]  
172.    [  2.95964479e-02  -1.19976890e+00   5.38537979e+00   4.62369967e+00  
173.       3.89780998e+00  -6.36872959e+00   7.12107182e+00]  
174.    [ -8.85006547e-01   1.92706418e+00   3.26668215e+00   2.03566647e+00  
175.       1.44209075e+00  -6.48463774e+00  -8.33671093e-02]]]  
176.   
177.   
178.  [[[ -2.64583921e+00   3.86011934e+00   4.18198538e+00   3.50338411e+00  
179.       6.35944796e+00  -4.28423309e+00   4.87355423e+00]  
180.    [  4.42271233e+00   3.92883778e+00  -5.59371090e+00   4.98251200e+00  
181.      -3.45068884e+00   2.91921115e+00   1.03779554e+00]  
182.    [  1.36162388e+00  -1.06808968e+01  -3.92534947e+00   1.85111761e-01  
183.      -4.87255526e+00   1.66666222e+01  -1.04918976e+01]]  
184.   
185.   [[ -4.34632540e+00   1.74614882e+00  -2.89012527e+00  -8.74067783e+00  
186.       5.06610107e+00   1.24989772e+00  -3.06433105e+00]  
187.    [  2.49973416e+00   2.14041996e+00  -4.71008825e+00   7.39326143e+00  
188.       3.94770741e+00   8.23049164e+00  -1.67046225e+00]  
189.    [ -2.94665837e+00  -4.58543825e+00   7.21219683e+00   1.09780006e+01  
190.       5.17258358e+00   7.90257788e+00  -2.13929534e+00]]  
191.   
192.   [[  4.20402241e+00  -2.98926830e+00  -3.89006615e-01  -8.16001511e+00  
193.      -2.38355541e+00   1.42584383e+00  -5.46632290e+00]  
194.    [  5.52395058e+00   5.09255171e+00  -1.08742390e+01  -4.96262169e+00  
195.      -1.35298109e+00   3.65663052e-01  -3.40589857e+00]  
196.    [ -6.95647061e-01  -4.12855625e+00   2.66609401e-01  -9.39565372e+00  
197.      -3.85058141e+00   2.51248240e-01  -5.77149725e+00]]]  
198.   
199.   
200.  [[[  1.22103825e+01   5.72040796e+00  -3.56989503e+00  -1.02248180e+00  
201.      -5.20942688e-01   7.15008640e+00   3.43482435e-01]  
202.    [  6.01409674e+00  -1.59511256e+00  -6.48080063e+00  -1.82889538e+01  
203.      -1.03537569e+01  -1.48270035e+01  -5.26662111e+00]  
204.    [  5.51758146e+00  -2.91831636e+00   3.75461340e-01  -9.23893452e-02  
205.      -9.22101116e+00   7.16952372e+00  -6.86479330e-01]]  
206.   
207.   [[ -3.03645611e+00   6.68620300e+00  -3.31973934e+00  -4.91346550e+00  
208.       9.20719814e+00  -2.55552864e+00  -2.16087699e-02]  
209.    [ -3.02986956e+00  -1.29726543e+01   1.53023469e+00  -8.19733238e+00  
210.       5.68085670e+00  -1.72856820e+00  -4.69369221e+00]  
211.    [ -6.67176056e+00   8.76355553e+00   2.18996063e-01  -4.38777208e+00  
212.      -6.35764122e-01  -1.37812555e+00  -4.41474581e+00]]  
213.   
214.   [[  2.25345469e+00   1.02142305e+01  -1.71714854e+00  -5.29060185e-01  
215.       2.27982092e+00  -8.75302982e+00   7.13998675e-02]  
216.    [ -6.67547846e+00   3.67722750e+00  -3.44172812e+00   5.69674826e+00  
217.      -2.28723526e+00   5.92991543e+00   5.53608060e-01]  
218.    [ -1.01174891e-01  -2.73731589e+00  -4.06187654e-01   6.54158068e+00  
219.       2.59603882e+00   2.99202776e+00  -2.22350287e+00]]]  
220.   
221.   
222.  [[[ -1.81271315e+00   2.47674489e+00  -2.90284491e+00   1.34291325e+01  
223.       7.69864845e+00  -1.27134466e+00   3.02233839e+00]  
224.    [ -2.08135307e-01   1.03206539e+00   1.90775347e+00   9.01517391e+00  
225.      -3.52140331e+00   9.05393791e+00  -9.12732124e-01]  
226.    [  1.12128162e+00   5.98179293e+00  -2.27206993e+00  -5.21281779e-01  
227.       6.20835352e+00   3.73474598e+00   1.18961644e+00]]  
228.   
229.   [[  3.17242837e+00  -6.00571585e+00   2.37661076e+00  -5.64483738e+00  
230.      -6.45412731e+00   8.75251675e+00   7.33790398e-02]  
231.    [  3.08957529e+00  -1.06855690e-01  -5.16810894e-01  -9.41085911e+00  
232.       8.23878098e+00   6.79738426e+00  -1.23478663e+00]  
233.    [ -9.20640087e+00  -6.82801771e+00  -5.96975613e+00   7.61030674e-01  
234.      -4.35995817e+00  -3.54818010e+00  -2.56281614e+00]]  
235.   
236.   [[  4.69872713e-01   8.36402321e+00   5.37103415e-01  -1.68033957e-01  
237.      -3.21731424e+00  -7.34270859e+00  -3.14253521e+00]  
238.    [  6.69656086e+00  -5.27954197e+00  -8.57314682e+00   4.84328842e+00  
239.      -2.96387672e+00   2.47114658e+00   2.85376692e+00]  
240.    [ -7.86032295e+00  -7.18845367e+00  -3.27161223e-01   9.27330971e+00  
241.      -6.14093494e+00  -4.49041557e+00   3.47160912e+00]]]  
242.   
243.   
244.  [[[ -1.89188433e+00   5.43082857e+00   6.04252160e-01   6.92894220e+00  
245.       8.59178162e+00   1.02003086e+00   5.31300211e+00]  
246.    [ -8.97491455e-01   6.52438164e+00  -4.43710327e+00   7.10509634e+00  
247.       8.84234428e+00   3.08552694e+00   2.78152227e+00]  
248.    [ -9.40537453e-02   2.34666920e+00  -5.57496691e+00  -8.62346458e+00  
249.      -1.32807600e+00  -8.12027454e-02  -9.00946975e-01]]  
250.   
251.   [[ -3.53673506e+00   8.93675327e+00   3.27456236e-01  -3.41519475e+00  
252.       7.69804525e+00  -5.18698692e+00  -3.96991730e+00]  
253.    [  1.99988627e+00  -9.16149998e+00  -7.49944544e+00   5.02162695e-01  
254.       3.57059622e+00   9.17566013e+00  -1.77589107e+00]  
255.    [ -1.18147678e+01  -7.68992901e+00   1.88449645e+00   2.77643538e+00  
256.      -1.11342735e+01  -3.12916255e+00  -3.34161663e+00]]  
257.   
258.   [[ -3.62668943e+00  -3.10993242e+00   3.60834384e+00   4.69678783e+00  
259.      -1.73794723e+00  -1.27035933e+01   3.65882218e-01]  
260.    [ -8.97550106e+00  -4.33533072e-01   4.41743970e-01  -5.83433771e+00  
261.      -4.85818958e+00   9.56629372e+00   3.56375504e+00]  
262.    [ -6.87092066e+00   1.96412420e+00   5.14182663e+00  -8.97769547e+00  
263.       3.61136627e+00   5.91387987e-01  -2.95224571e+00]]]  
264.   
265.   
266.  [[[ -1.11802626e+00   3.24175072e+00   5.94067669e+00   9.29727936e+00  
267.       9.28199863e+00  -4.80889034e+00   6.96202660e+00]  
268.    [  7.23959684e+00   3.11182523e+00   1.84116721e+00   5.12095928e-01  
269.      -7.65049171e+00  -4.05325556e+00   5.38544941e+00]  
270.    [  4.66621685e+00  -1.61665392e+00   9.76448345e+00   2.38519001e+00  
271.      -2.06760812e+00  -6.03633642e-01   3.66192675e+00]]  
272.   
273.   [[  1.52149725e+00  -1.84441996e+00   4.87877655e+00   2.96750760e+00  
274.       2.37311172e+00  -2.98487616e+00   9.98114228e-01]  
275.    [  9.20035839e+00   5.24396753e+00  -2.57312679e+00  -7.26040459e+00  
276.      -1.17509928e+01   6.85688591e+00   3.37383580e+00]  
277.    [  6.17629957e+00  -5.15294194e-01  -1.64212489e+00  -5.70274448e+00  
278.      -2.36294913e+00   2.60432816e+00   2.63957453e+00]]  
279.   
280.   [[  7.91168213e-03  -1.15018034e+00   3.05471039e+00   3.31086922e+00  
281.       5.35744762e+00   1.14832592e+00   9.56500292e-01]  
282.    [  4.86464739e+00   5.37348413e+00   1.42920148e+00   1.62809372e+00  
283.       2.61656570e+00   7.88479471e+00  -6.09324336e-01]  
284.    [  7.71319962e+00  -1.73930550e+00  -2.99925613e+00  -3.14857435e+00  
285.       3.19194889e+00   1.70928288e+00   4.90955710e-01]]]  
286.   
287.   
288.  [[[ -1.79046512e+00   8.54369068e+00   1.85044312e+00  -9.88471413e+00  
289.       9.52995300e-01  -1.34820042e+01  -1.13713551e+01]  
290.    [  8.37582207e+00   6.64692163e+00  -3.22429276e+00   3.37997460e+00  
291.       3.91468263e+00   6.96061993e+00  -1.18029404e+00]  
292.    [ -2.13278866e+00   4.36152029e+00  -4.14593410e+00  -2.15160155e+00  
293.       1.90767622e+00   1.16321917e+01  -3.72644544e+00]]  
294.   
295.   [[ -5.03508925e-01  -6.33426476e+00  -1.06393566e+01  -6.49301624e+00  
296.      -6.31036520e+00   3.13485146e+00  -5.77433109e-01]  
297.    [  7.41444230e-01  -4.87326956e+00  -5.98253345e+00  -9.14121056e+00  
298.      -8.64077091e-01   2.06696177e+00  -7.59688473e+00]  
299.    [  1.38767815e+00   1.84418947e-01   5.72539902e+00  -2.07557893e+00  
300.       9.70911503e-01   1.16765432e+01  -1.40111232e+00]]  
301.   
302.   [[ -1.21869087e+00   2.44499159e+00  -1.65706706e+00  -6.19807529e+00  
303.      -5.56950712e+00  -1.72372568e+00   3.62687564e+00]  
304.    [  2.23708963e+00  -2.87862611e+00   2.71666467e-01   4.35115099e+00  
305.      -8.85548592e-01   2.91860628e+00   8.10848951e-01]  
306.    [ -5.33635712e+00   7.15072036e-01   5.21240902e+00  -3.11152220e+00  
307.       2.01623154e+00  -2.28398323e-01  -3.23233747e+00]]]  
308.   
309.   
310.  [[[  3.77991509e+00   5.53513861e+00  -1.82022047e+00   4.22430277e+00  
311.       5.60331726e+00  -4.28308249e+00   4.54524136e+00]  
312.    [ -5.30983162e+00  -3.45605731e+00   2.69374561e+00  -6.16836596e+00  
313.      -9.18601036e+00  -1.58697796e+00  -5.73809910e+00]  
314.    [  2.18868661e+00   6.96338892e-01   1.88057957e+01  -4.21353197e+00  
315.       1.20818818e+00   2.85108542e+00   6.62180042e+00]]  
316.   
317.   [[  1.01285219e+01  -4.86819077e+00  -2.45067930e+00   7.50106812e-01  
318.       4.37201977e+00   4.78472042e+00   1.19103444e+00]  
319.    [ -3.26395583e+00  -5.59358537e-01   1.52001972e+01  -5.93994498e-01  
320.      -1.49040818e+00  -7.02547312e+00  -1.29268813e+00]  
321.    [  1.02763653e+01   1.31108007e+01  -2.91605043e+00  -1.37688947e+00  
322.       3.33029580e+00   1.96966705e+01   2.55259371e+00]]  
323.   
324.   [[  4.58397627e+00  -3.19160700e+00  -6.51985502e+00   1.02908373e+01  
325.      -4.17618275e+00  -9.69347239e-01   7.46259832e+00]  
326.    [  6.09876537e+00   1.33044279e+00   5.04027081e+00  -6.87740147e-01  
327.       4.14770365e+00  -2.26751328e-01   1.54876924e+00]  
328.    [  2.70127630e+00  -1.59834003e+00  -1.82587504e+00  -5.92888784e+00  
329.      -5.65038967e+00  -6.46078014e+00  -1.80765367e+00]]]  
330.   
331.   
332.  [[[ -1.57899165e+00   3.39969063e+00   1.02308102e+01  -7.77082300e+00  
333.      -8.02129686e-01  -3.67387819e+00  -1.37204361e+00]  
334.    [  3.93093729e+00   6.17498016e+00  -1.41695750e+00  -1.26903206e-01  
335.       2.18985319e+00   5.83657503e-01   7.39725351e-01]  
336.    [  5.53898287e+00   2.22283316e+00  -1.10478985e+00   2.68644023e+00  
337.      -2.59913635e+00   3.74231935e+00   4.85016155e+00]]  
338.   
339.   [[  4.05368614e+00  -3.74058294e+00   7.32348633e+00  -1.17656231e+00  
340.       3.71810269e+00  -1.63957381e+00   9.91670132e-01]  
341.    [ -1.29317007e+01   1.12296543e+01  -1.13844347e+01  -7.13933802e+00  
342.      -8.65884399e+00  -5.56065178e+00  -1.46718264e+00]  
343.    [ -8.08718109e+00  -1.98826480e+00  -4.07488203e+00   2.06440473e+00  
344.       1.13524094e+01   5.68703651e+00  -2.18706942e+00]]  
345.   
346.   [[  1.51166654e+00  -6.84034204e+00   9.33474350e+00  -4.80931902e+00  
347.      -6.24172688e-02  -4.21381521e+00  -5.73313046e+00]  
348.    [ -1.35943902e+00   5.27799511e+00  -3.77813816e+00   6.88291168e+00  
349.       4.35068893e+00  -1.02540245e+01   8.86861205e-01]  
350.    [ -4.49999619e+00  -2.97630525e+00  -6.18604183e-01  -2.49702692e+00  
351.      -6.76169348e+00  -2.55930996e+00  -2.71291423e+00]]]]