![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
木水_
这个作者很懒,什么都没留下…
展开
-
exceeds 10% of system memory--------fatal python error: aborted
我在用 tensorflow 写的深度学习模型进行前向传播的时候,连续跳出几个 exceeds 10% of system memory,紧跟着就是:fatal python error: aborted。 跑程序的时候,我打开任务管理器,但是发现内存并没有满,所以也不知道底层是哪里的问题。 不过可以肯定的是前向传播的时候内存不够。于是我把输入图片的尺寸减小(中间有resize的操作),这个报错就没再出现了。...原创 2021-01-17 19:29:03 · 1707 阅读 · 0 评论 -
深度学习训练环境离线搭建:CentOS7 linux 服务器安装 tensorflow_gpu1.9、cuda9、cudnn7、anaconda3-4.3、python3.6
1 简述 最近需要在CentOS7 linux 服务器上配置深度学习的训练环境。 那么,该怎么做呢? 对于一台服务器,首先得实现连网,然后进行远程登陆。 其次,搞清楚安装什么软件,如何安装,有哪些依赖项需要提前安装。 最后,需要进行简单的测试验证是否成功安装。 难点,一般公司的服务器可能不通外网,不能使用那些一键安装指令。 基...原创 2019-12-19 20:54:47 · 968 阅读 · 0 评论 -
Python: 小谈 yield 表达式及其批量获得 minibatches 的应用
本篇博客对 yield 不求甚解,用简短通俗的语言说明其功能及优势。1 用法 对于函数返回 yield 的通俗理解就是返回了一个存储函数的地址,在某个空间有这个暂时用不到的函数,而这个函数本来是要返回一个容器,比方 list 。 下面具体说明: 在谈 yield 之前,先说说 list 。 list 数据是一种容器,包含其他元素,可以迭代的从众逐...原创 2019-01-15 21:06:48 · 2062 阅读 · 1 评论 -
Python 实现多线程和多进程(1)
博主最近做一些深度学习模型,需要大批量处理图片数据,这个时候单线程操作,数据预处理很耗时,因此粗略地学习了下多线程和多进程的知识,写点简单的学习小结,章节构建如下:目录 1 什么是线程和进程2 实现多线程2.1 threading 实现线程操作2.1.1 添加线程2.1.2 控制线程2.2 线程锁 lock 的操作2.3 GIL 锁3 小结 ...原创 2019-01-07 15:50:33 · 2172 阅读 · 1 评论 -
Python 实现二叉树的前序、中序、后序、层次遍历(递归和非递归版本)
博主曾在之前的博客中用python实现树结构,此篇博客将专门用 Python 实现树的各种递归和非递归的遍历。1. 构建树 我们先构建一棵简单的树:class TreeNode: def __init__(self, x): self.val = x self.left = None self.right...原创 2018-09-18 21:36:52 · 16668 阅读 · 5 评论 -
Python 中的堆 (heapq 模块)应用:Merge K Sorted Lists
堆是计算机科学中一类特殊的数据结构的统称。堆通常是一个可以被看做一棵树的数组对象。在队列中,调度程序反复提取队列中第一个作业并运行,因为实际情况中某些时间较短的任务将等待很长时间才能结束,或者某些不短小,但具有重要性的作业,同样应当具有优先权。堆即为解决此类问题设计的一种数据结构。1 定义n个元素序列{k1,k2...ki...kn},当且仅当满足下列关系时称之为堆:(ki...原创 2018-06-22 14:32:43 · 773 阅读 · 0 评论 -
小谈 Python 装饰器及 numba 的基本使用
1. 预热知识要理解python中的装饰器,就要明白在python中,函数是一种特殊类型的变量,可以作为参数传递给函数,也可以作为返回值返回。比如下面的代码,就是 str_1 作为参数传递给 str_2 ,然后再 str_2 中调用传入的函数。def str_1(): print('good day') def str_2(func): func() ...原创 2018-03-27 16:00:57 · 3488 阅读 · 0 评论 -
Python 的类和对象
Python是面向对象的程序设计语言。其中有一些基本的概念,比方类、属性、方法。对象:研究的事物属性:数据元素方法:操作类:具有共同本质特性的事物实例:类所定义的对象的具体体现实例化:类定义的基础上构造对象(实例)的过程 以汽车为例:类名:Car属性:汽车型号、车牌等方法:前进、后退等 1. 类的定义class类名:[类变量名= 初始值]...原创 2017-07-26 13:55:08 · 562 阅读 · 4 评论 -
Python 中类的继承
在上一篇博客中介绍了 Python 中的类和对象,详细请见http://blog.csdn.net/m0_37324740/article/details/76144902,Python 提供了类的继承机制,解决软件重用问题。其格式为:class 子类名(基类名1,基类名2...):定义子类新特性 example 1 #导入已经定义的Dog类class Dog:...原创 2017-07-27 09:19:25 · 547 阅读 · 0 评论 -
Python 中如何理解 if __name__ == '__main__'
__name__ 是当前模块名,当模块被直接运行时模块名为 __main__ 。这句话的意思就是,当模块被直接运行时,以下代码块将被运行,当模块是被导入时,代码块不被运行。我们通过一个简单的例子来理解为什么要使用该语句:假设我们有一个 C.py 文件PI = 3.14def main(): print "PI:", PImain()main() 函数相当于...原创 2017-08-25 09:52:00 · 325 阅读 · 0 评论 -
Python 批量读取 txt 文件为 DataFrame
我们有时候会批量处理同一个文件夹下的文件,并且希望读取到一个文件里面便于我们计算操作。比方我有下图一系列的 txt 文件,我该如何把它们写入一个 txt 文件中并且读取为 DataFrame 格式呢?首先我们要用到 glob 模块,这个python内置的模块可以说是非常的好用。glob.glob('*.txt')得到如下结果:all.txt 是我最后得...原创 2017-09-20 14:48:03 · 23976 阅读 · 12 评论 -
常见空间聚类算法优劣概述
1. 空间数据对空间聚类算法的要求1) 空间拓扑关系2) 密度问题3) 空间簇形态多样性2. 空间聚类算法分析1) 基于划分的算法 i. K-means算法优点:处理大型数据有较高效率和伸缩性缺点:a) 初始点敏感b) 只能发现近似球状簇c) ...原创 2017-12-10 14:47:57 · 11303 阅读 · 0 评论 -
Python 实现栈
在介绍python实现栈的一些简单例子前,我们先了解下栈的基本知识。1.什么是栈栈(有时称为“后进先出栈”)是一个项的有序集合,其中添加移除新项总发生在同一端。这一端通常称为“顶部”。与顶部对应的端称为“底部”。 和栈相关的最有用的想法之一来自对它的观察。假设从一个干净的桌面开始,现在把书一本本叠起来,你在构造一个栈。考虑下移除一本书会发生什么。移除的顺序跟刚刚被放置的顺序相...原创 2017-12-18 12:06:45 · 14217 阅读 · 2 评论 -
递归算法举例
递归是一种解决问题的方法,将问题分解为更小的子问题,直到得到一个足够小的问题可以被很简单的解决。通常递归涉及函数调用自身。递归允许我们编写优雅的解决方案,解决可能很难编程的问题。1 递归算法的三定律在介绍递归思想的简单例子前,我们先了解下递归算法的三个重要的定律: 1.1 递归算法必须具有基本情况。 1.2 递归算法必须改变其状态并向基本情况靠近。 1.3 递归算法必须以递归方式...原创 2018-01-23 11:04:33 · 547 阅读 · 0 评论 -
codewar 代码练习2——7级晋升6级
7级晋升到6级的过程中以做6级题以及以前未完成的题目为主,一般选择算法题或者基础题。相比之前从8级升级7级(参见此博客:http://blog.csdn.net/m0_37324740/article/details/78408249)的难度有所提前,并且一些题目结合了一些简单的场景,也很有意思。原创 2018-01-18 16:37:13 · 1076 阅读 · 0 评论 -
Python 库学习笔记—— Pandas 数据索引:ix、loc、iloc区别
Different Choices for Indexing1. loc——通过行标签索引行数据1.1 loc[1]表示索引的是第1行(index 是整数)import pandas as pddata = [[1,2,3],[4,5,6]]index = [0,1]columns=['a','b','c']df = pd.DataFrame(data=data, index=index,转载 2017-08-14 21:34:16 · 1328 阅读 · 0 评论 -
Python 库学习笔记—— re 库:正则表达式入门(一)
什么是正则表达式?我们在处理文本文件的时候,会按照某种规则查找某些特定的字符串。比方我们希望从一堆电子档案中找到人员的电话号码整理成通讯录。于是,我们可以利用特定字符串的规律编程获得我们想要的信息。而正则表达式就是干这个事情的,它是记录文本规则的代码。 一、获得简单字符串 1. 如何我们 希望找到"hi"字符,how? 例如:Hi, I am Shirley Hilto...原创 2017-08-22 16:45:34 · 1075 阅读 · 0 评论 -
Python 库学习笔记——分组计算利器:pandas 中的 groupby 技术
最近处理数据需要分组计算,又用到了groupby函数,温故而知新。 分组运算的第一阶段,pandas 对象(无论是 Series、DataFrame 还是其他的)中的数据会根据你所提供的一个或多个键被拆分(split)为多组。拆分操作是在对象的特定轴上执行的。例如,DataFrame 可以在其行(axis=0)或列(axis=1)上进行分组。然后,将一个函数应用到各个分组并...原创 2017-10-10 23:54:12 · 1565 阅读 · 0 评论 -
codewar 代码练习1——8级晋升7级
最近发现一个不错的代码练习网站codewar(http://www.codewars.com)。注册了一个账号,花了几天的茶余饭后时间做题,把等级从8级升到了7级。本文的目的主要介绍使用感受及相应题目,可供大家参考。 新人注册为8级,入门题NO.1:topic: Multiplyinstructions:The code does notexecute properly. Try ...原创 2017-11-22 20:20:05 · 5682 阅读 · 2 评论