2018年11月_This is bill

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 ndarray 与 scipy.sparse.csr.csr_matrix 的互转

ndarry 转 csr_matrix>>> import numpy as np>>> import scipy.sparse>>> my_matrix = scipy.sparse.csr_matrix((2,2))>>> my_array = my_matrix.A>>> type(

2018-11-29 12:04:43 20551 5

原创 Phoenix For advanced users: Install software packages for your own usage

We recommend all Phoenix users to contact us at the first instance for application enquiries. However, we are aware the diverse research requirement from various disciplines across the university, we ...

2018-11-28 09:51:52 308

转载 ubuntu下tensorflow的环境搭建

ubuntu下tensorflow的环境搭建官网参考文档地址：https://www.tensorflow.org/install/，由于博主用的是ubuntu 14.04，因此以Ubuntu为例，进行说明，其他OS请参考上面给出的链接。提示：最好别用windows，后面会有很多的兼容问题安装的方式也有好几种，通过pip，docker,Anacodnda等，因为u...

2018-11-27 13:04:37 511

转载 [work] 最爽的GPU深度学习环境搭建教程

背景介绍GPU 在以下方面有别于 CPU：CPU和GPU之所以大不相同，是由于其设计目标的不同，它们分别针对了两种不同的应用场景。CPU需要很强的通用性来处理各种不同的数据类型，同时逻辑判断又会引入大量的分支、跳转和中断的处理。这些都使得CPU的内部结构异常复杂。而GPU面对的则是类型高度统一的、相互无依赖的大规模数据和不需要被打断的纯净的计算环境。上图中，绿色的部分是计算单元（AL...

2018-11-27 13:02:00 1656

转载 SCP和Rsync远程拷贝的几个技巧

scp是secure copy的简写，用于在Linux下进行远程拷贝文件的命令，和它类似的命令有cp，不过cp只是在本机进行拷贝不能跨服务器，而且scp传输是加密的。可能会稍微影响一下速度。当你服务器硬盘变为只读 read only system时，用scp可以帮你把文件移出来。另外，scp还非常不占资源，不会提高多少系统负荷，在这一点上，rsync就远远不及它了。虽然 rsync比scp会快一点...

2018-11-27 12:34:44 428

转载 Broadcasting

See alsonumpy.broadcastThe term broadcasting describes how numpy treats arrays with different shapes during arithmetic operations. Subject to certain constraints, the smaller array is “broadcast” ...

2018-11-27 08:52:40 368

转载 [work] pytorch中的cat、stack、tranpose、permute、unsqeeze

Cat对数据沿着某一维度进行拼接。cat后数据的总维数不变.比如下面代码对两个2维tensor（分别为2*3,1*3）进行拼接，拼接完后变为3*3还是2维的tensor。import torchtorch.manual_seed(1)x = torch.randn(2,3)y = torch.randn(1,3)print(x,y)结果：0.6614 0....

2018-11-27 08:50:19 401

转载 [work] 理解矩阵乘法

大多数人在高中，或者大学低年级，都上过一门课《线性代数》。这门课其实是教矩阵。刚学的时候，还蛮简单的，矩阵加法就是相同位置的数字加一下。矩阵减法也类似。矩阵乘以一个常数，就是所有位置都乘以这个数。但是，等到矩阵乘以矩阵的时候，一切就不一样了。这个结果是怎么算出来的？教科书告诉你，计算规则是，第一个矩阵第一行的每个数字（2和1），各自乘以第二个矩阵第一列对应位...

2018-11-26 15:21:31 315

转载区分Model-free和Model-based方法

强化学习方法分为Model-free和Model-based方法，那么这两种方法的区别在哪：首先我们定义强化学习中的马尔可夫决策过程MDP，用四元组表示<S,A,R,T><S,A,R,T>：SS：环境的状态空间AA：agent可选择的动作空间R（s，a）R（s，a）：奖励函数，返回的值表示在ss状态下执行aa动作的奖励T(s′|s,a)T(s′|s,a): 状...

2018-11-20 13:28:48 7486

转载 np.random.choice：概率不等于1

这是一个known issue与numpy。使用给定的容差为概率之和随机选择功能检查（here the source）的解决方案是通过将它们除以它们的总和如果总和是足够接近1实施例归一化的概率：>>> p=[ 1.42836755e-01, 1.42836735e-01 , 1.42836735e-01, 1.42836735e-01 , 4.76122449e-...

2018-11-19 15:06:26 5317

转载 np.random.choice的用法

import numpy as np# 参数意思分别是从a 中以概率P，随机选择3个, p没有指定的时候相当于是一致的分布a1 = np.random.choice(a=5, size=3, replace=False, p=None)print(a1)# 非一致的分布，会以多少的概率提出来a2 = np.random.choice(a=5, size=3, replace=Fals...

2018-11-19 14:06:21 708

原创通过一个一维vector拿到tensor对应元素

我的需求是有一个15*4的tensor, 有一个15*1的index vector, 希望从tensor里面拿到对应的15*1的vector查了半天gather未果, 因为gather()只能拿一个slicegather_nd也不是很好的解决方法, 不过可以实现, 需要把index变成一个15*2的数组, 来specify原tensor的元素后来看到用one hot可以解决, r...

2018-11-19 13:36:42 1453

转载 numpy方法类推tensorflow

一、数组方法创建数组：arange()创建一维数组；array()创建一维或多维数组，其参数是类似于数组的对象，如列表等反过来转换则可以使用numpy.ndarray.tolist()函数，如a.tolist()创建数组：np.zeros((2,3))，或者np.ones((2,3))，参数是一个元组分别表示行数和列数对应元素相乘，a * b，得到一个新的矩阵，形状要一致；但是允...

2018-11-19 13:31:57 359

转载 Tensorflow常用函数笔记

tf.concat把一组向量从某一维上拼接起来，很向numpy中的Concatenate，官网例子：t1 = [[1, 2, 3], [4, 5, 6]]t2 = [[7, 8, 9], [10, 11, 12]]tf.concat([t1, t2], 0) ==> [[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]]tf.concat(...

2018-11-19 13:31:10 228

转载 Tensorflow矩阵变形

官方APItf.reshape# tensor 't' is [1, 2, 3, 4, 5, 6, 7, 8, 9]# tensor 't' has shape [9]reshape(t, [3, 3]) ==> [[1, 2, 3], [4, 5, 6], [7, 8, 9]]...

2018-11-19 10:07:58 511

转载 [work] tensorflow的name_scope, variable_scope

最近笔者想要把网络层写成类，而不是函数，所以需要在各个位置都使用相同的name_scope。然后遇到如果仅仅使用with tf.name_scope会在不同位置上生成不同的name_scope。稍微搜索了一下找到tensorflow中name_scope使用的一些细节，记录在此。主要是转载https://stackoverflow.com/questions/45670224/why-the-tf...

2018-11-19 08:51:02 357

转载 [work] 如果看了此文你还不懂傅里叶变换，那就过来掐死我吧【完整版】

我保证这篇文章和你以前看过的所有文章都不同，这是 2012 年还在果壳的时候写的，但是当时没有来得及写完就出国了……于是拖了两年，嗯，我是拖延症患者……这篇文章的核心思想就是：要让读者在不看任何数学公式的情况下理解傅里叶分析。傅里叶分析不仅仅是一个数学工具，更是一种可以彻底颠覆一个人以前世界观的思维模式。但不幸的是，傅里叶分析的公式看起来太复杂了，所以很多大一新生上来就懵圈并从此对它深...

2018-11-19 07:49:43 563 1

转载深度学习最常用的算法:Adam优化算法

深度学习常常需要大量的时间和机算资源进行训练，这也是困扰深度学习算法开发的重大原因。虽然我们可以采用分布式并行训练加速模型的学习，但所需的计算资源并没有丝毫减少。而唯有需要资源更少、令模型收敛更快的最优化算法，才能从根本上加速机器的学习速度和效果，Adam 算法正为此而生！Adam 优化算法是随机梯度下降算法的扩展式，近来其广泛用于深度学习应用中，尤其是计算机视觉和自然语言处理等任务。本文分为...

2018-11-16 11:22:19 9718

转载傅立叶变换、拉普拉斯变换、Z变换的联系

作者：徐北熊链接：https://www.zhihu.com/question/22085329/answer/103926934来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。第一次回答一个跟自己的专业相关的题目。首先，为什么要进行变换？因为很多时候，频率域比时域直观得多。傅里叶级数和傅里叶变换，表明时域的信号可以分解为不同频率的正弦波的叠加。...

2018-11-15 13:16:34 3648 3

转载 NumPy 创建数组

NumPy 创建数组ndarray 数组除了可以使用底层 ndarray 构造器来创建外，也可以通过以下几种方式来创建。numpy.emptynumpy.empty 方法用来创建一个指定形状（shape）、数据类型（dtype）且未初始化的数组：numpy.empty(shape, dtype = float, order = 'C')参数说明：参数描述 sh...

2018-11-14 15:56:10 441

转载 [work] numpy中比较两个矩阵是否相同

最近在码代码时想判断两个矩阵是否完全相同（每个元素都相同），于是我这样写了：发现用==判断只能返回一个判断矩阵，表示其中每一个元素是否对应相等。于是我用度娘查了查，应该这么写：如果两个矩阵中的所有元素对应相等，则返回True，反之返回False。如果判断两个矩阵中是否有相等的元素，有任何一个相等就行，这种情况就可以用.any()，如下： --...

2018-11-14 09:39:47 9839 1

转载 [work] Excel新手必须掌握的4种转置排列方法

在表格中录入数据后，我们可能对现有的表格不太满意。然后就想将其转置一下，重新排列一下，而又不想重新录入数据。这里，就给大家分享4种常用转置表格的方法，相信今后对于一般的表格转置都没问题。 1、选择性粘贴转置复制后数据后，点击【开始】-【剪贴板】-【粘贴】-【选择性粘贴】-【转置】。 2、查找替换转置表格先利用填充规则将单元格位置录入对应的单元格，然后利用查找替换，...

2018-11-13 13:45:53 1650

转载 [work] Jacobian矩阵和Hessian矩阵

1. Jacobian在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式. 还有, 在代数几何中, 代数曲线的雅可比量表示雅可比簇：伴随该曲线的一个代数群, 曲线可以嵌入其中. 它们全部都以数学家卡尔·雅可比(Carl Jacob, 1804年10月4日－1851年2月18日)命名；英文雅可比量”Jacobian”可以发音为[ja ˈko bi ən]或者...

2018-11-12 12:11:17 338

转载 [work] Linux Shell 1>/dev/null 2>&1 含义

shell中可能经常能看到：echo log > /dev/null 2>&1命令的结果可以通过%>的形式来定义输出/dev/null ：代表空设备文件> ：代表重定向到哪里，例如：echo "123" > /home/123.txt1 ：表示stdout标准输出，系统默认值是1，所以">/dev/null"等同于"1>/dev/

2018-11-08 10:51:59 352

转载深度学习中 Batch Normalization为什么效果好？

这里分五部分简单解释一下Batch Normalization (BN)。1. What is BN?顾名思义，batch normalization嘛，就是“批规范化”咯。Google在ICML文中描述的非常清晰，即在每次SGD时，通过mini-batch来对相应的activation做规范化操作，使得结果（输出信号各个维度）的均值为0，方差为1. 而最后的“scale and shift”...

2018-11-07 13:22:42 354

转载条件概率分布与边缘概率分布

1.条件概率分布这是理解马尔科夫链的重要概念，单独成文参考百科：http://baike.baidu.com/view/1969485.htm?fr=aladdin大家都能理解概率分布，但加了条件二字，就难理解了。我比较讨厌官方的定义，术语太绕，我的理解如下：设X和Y分别是概率分布（如正态分布那种直观的），那么(X,Y)就是联合概率分布，又称为二维随机变量。这种联合概率分布就不那么直...

2018-11-07 13:21:54 8888

转载 [work] Python字典dict转换为列表list

说明：列表不可以转换为字典①转换后的列表为无序列表a = {'a' : 1, 'b': 2, 'c' : 3}#字典中的key转换为列表key_value = list(a.keys())print('字典中的key转换为列表：', key_value)#字典中的value转换为列表value_list = list(a.values())print('字典中的value转...

2018-11-06 15:18:22 15895

转载 [work] python中sort和sorted函数

之一:在学习python的过程中，感觉python中的排序相和c++中的泛型算法还是比较相似的，但相对于c++而言更加简单易用。python中列表的内置函数sort（）可以对列表中的元素进行排序，而全局性的sorted（）函数则对所有可迭代的序列都是适用的；并且sort（）函数是内置函数，会改变当前对象，而sorted（）函数只会返回一个排序后的当前对象的副本，而不会改变当前对象。1、...

2018-11-06 15:17:32 511

转载 Python list 底层实现

本文将介绍列表在 CPython中的实现，因为毕竟Cpython 又是 Python 最为常用的实现。Python 中的列表非常强大，看看它的内部实现机制是怎么样的，一定非常有趣。下面是一段 Python 脚本，在列表中添加几个整数，然后打印列表。Python 1 2 3 4 5 6 7 8 9 ...

2018-11-06 11:43:24 2143

转载 STL中map、set的数据结构及底层实现

摘要：本文列出几个基本的STL map和STL set的问题，通过解答这些问题讲解了STL关联容器内部的数据结构，最后提出了关于UNIX/LINUX自带平衡二叉树库函数和map, set选择问题，并分析了map, set的优势之处。对于希望深入学习STL和希望了解STL map等关联容器底层数据结构的朋友来说，有一定的参考价值。 vector（向量）——STL中标准而安全的数组。只能在ve...

2018-11-06 11:41:48 1307 1

转载 [work] Numpy之random.randint产生随机整数

方法numpy.random.randint(low, high=None, size=None, dtype='l')参数这个方法产生离散均匀分布的整数，这些整数大于等于low，小于high。low : int 产生随机数的最小值high : int, optional 给随机数设置个上限，即产生的随机数必须小于highsize : int or tuple of ints, ...

2018-11-06 11:40:21 512

转载 [work] Python将多个list合并为1个list

1. 可以使用"+"号完成操作输出为：[1, 2, 3, 8, 'google', 'com']2.使用extend方法、输入相同3使用切片输出相同PS：len（l1）代表要将l2插入l1中的位置例如输出为：又如：输出为：总结：第一种方方法思路比较清晰，就是运算符的重载；第二种方法比较简洁，但会覆盖原始list；第三种方法功能比较强大，可以将一...

2018-11-04 14:53:30 726

转载 [work] Python 去除 list 中重复的元素

比较容易记忆的是用内置的setl1 = ['b','c','d','b','c','a','a']l2 = list(set(l1))print l2 还有一种据说速度更快的，没测试过两者的速度差别l1 = ['b','c','d','b','c','a','a']l2 = {}.fromkeys(l1).keys()print l2 这两种都有个缺点，祛除重复元素...

2018-11-02 14:37:15 470