Python
文章平均质量分 54
西檬饭
这个作者很懒,什么都没留下…
展开
-
Jupyter notebook使用使用多个virtualenv创建的环境
Jupyter notebook使用使用多个virtualenv创建的环境原创 2023-02-15 17:38:11 · 344 阅读 · 1 评论 -
Pytorch 轮子1 基本张量的处理
常用张量的定义全零矩阵、全一矩阵和对角矩阵:>>> torch.zeros([2, 4], dtype=torch.int32)tensor([[ 0, 0, 0, 0], [ 0, 0, 0, 0]], dtype=torch.int32)>>> cuda0 = torch.device('cuda:0')>>> torch.ones([2, 4], dtype=torch.float64, device=cuda原创 2021-06-20 18:03:40 · 768 阅读 · 0 评论 -
【Effective Python 1】巧用生成器
使用List来存放数据大量数据时会占用大量内存,使用生成器表达式返回一个迭代器,然后逐次产生输出值,可以避免大量内存占用问题。原创 2022-03-12 17:10:03 · 1022 阅读 · 0 评论 -
大量时间序列数据切分的效率问题
最近对时间序列,发现切分成帧的时候效率很低。找了找原因,发现是使用了numpy的concatenate拼接,花了很多时间。这就是没有深入了解底层工作原理犯的错误。看代码:import numpy as npimport randomimport timeitimport matplotlib.pyplot as pltdef cut_frame(x, len_frame, hop_len): """ define my own method to cut a sequen原创 2020-07-31 22:19:09 · 535 阅读 · 0 评论 -
librosa库安装
如果直接使用pip成功安装,关掉本文节省时间。这里介绍的是使用pip安装失败后如何使用source安装。当前版本0.7.2,官方网站下载,没梯子在这里下载。1.安装指定版本的numba包:python pip install numba==0.48.02.解压librosa安装包并切换到目录安装tar xzf librosa-0.7.2.tar.gzcd librosa-0.7.2python setup.py installhttps://librosa.org/librosa/inst原创 2020-07-08 10:59:03 · 2228 阅读 · 2 评论 -
python开头注释
转自 是紫伦呀:https://www.cnblogs.com/shizilunya/p/8081285.html#!/usr/bin/env python# -*- coding:utf-8 -*-# Author:XXX 1. #!/usr/bin/env python 与 #!/usr/bin/python 的区别这些注释并不仅仅是写给读者看的注释...转载 2019-04-24 00:22:25 · 11753 阅读 · 0 评论 -
服务器端配置python运行环境与py文件的运行
配置python环境我这里只配置了anaconda环境,安装anaconda时需要注意python的版本。目前很多库对python3.7的支持还不够,依然选择3.6版本。anaconda官方网站给的anaconda下载链接内置的是python3.7。可以从下面这个网站中找到anaconda发行的每一个版本:https://repo.continuum.io/archive/安装教程很多,...原创 2019-04-24 00:13:33 · 4814 阅读 · 1 评论 -
Python访问MySQL数据库
Python访问数据库使用第三方库PyMySQL连接;Python connector直接连接MySQL;使用SQLalchemy连接并创建表;这里简单介绍一下这三种方式的使用。原创 2019-04-25 19:34:28 · 572 阅读 · 0 评论 -
numpy常用数组操作
1. onehot code 转成类别a = np.argmax(train_set_label, axis=1)2. 一行转为一列无法直接使用numpy.transpose()转因为原创 2019-01-13 19:25:14 · 644 阅读 · 0 评论 -
从Excel读取文件名并将其从指定目录下的文件复制到新目录
由于一些数据是以CSV, excel存放,想从数据中选取一些数据,偷个懒就写了个从excel中获取数据名,并在指定目录中寻找到并将其复制到新的目录下的小脚本。(1)使用pandas读取excel(2)python的os模块查找自定根目录下所有文件中是否存在目标文件(3)使用shutil模块对文件进行复制操作#!/usr/bin/env python3import os, shutili...原创 2018-12-24 14:45:42 · 2804 阅读 · 1 评论 -
Python并行for循环例子
前面转载了一篇关于Python并行执行for循环文章,写了个简单的例子。使用 timeit 模块计算运行时间使用 operator 模块判断数据的结果使用相同。import multiprocessingimport timeitimport operatordef do_something(x): v = pow(x, 2) return vif __name__...原创 2018-12-12 16:56:30 · 25904 阅读 · 8 评论 -
Python实现递归二分查找、循环二分查找与内置bisect模块性能比较
转自 cnblog 北洛http://www.cnblogs.com/beiluowuzheng/p/8452671.htmlPython中列表(list)的实现其实是一个数组,当要查找某一个元素的时候时间复杂度是O(n),使用list.index()方法,但是随着数据量的上升,list.index()的性能也逐步下降,所以我们需要使用bisect模块来进行二分查找,前提我们的列表是一个有序...转载 2019-05-15 19:28:33 · 231 阅读 · 0 评论 -
用zip构建字典
很多key要和value搭配存放到一个字典,使用 dict[key] = value的方式效率不高。结婚扫使用zip来构建字典。zip()参考菜鸟教程:python3 zipzip() 能够将对象中对应的元素打包成一个个元组,然后返回由这些元组组成的对象。例子来自上面菜鸟教程:>>>a = [1,2,3]>>> b = [4,5,6]>&g...原创 2019-05-17 19:25:15 · 1897 阅读 · 1 评论 -
将txt文件中的数据读取为numpy数组或者list
有时候跑模型会将结果存放到一个文本文档里面,方便。但是读取到内存中使用时不像.csv,.npy文件那样可以之接做运算,当然有一些情况也可以。保存的结果只包含可转为数值的字符如下图可以直接使用numpy读取import numpy as npfile = './data/test.txt'import numpy as npres = np.loadtxt(file)结果如下:...原创 2019-06-21 09:10:53 · 3518 阅读 · 0 评论 -
八点关于python编程的建议-从新建项目到debug
关于python编程的建议-从新建项目到debug出自: Samshare微信公众:Python绿色通道原文链接: https://mp.weixin.qq.com/s/k_q-JAhRknoXh2G-8rLPlg在这里,这里是我的学习笔记。八点总结:① 项目文件事先做好归档② 永远不要手动修改源数据并且做好备份③ 做好路径的正确配置④ 代码必要的地方做好备注与说明⑤ 加速你...原创 2019-06-21 11:08:29 · 234 阅读 · 0 评论 -
Python Json的 load、loads、dump、dumps操作和分析
1.格式转换 json.dumps()和json.loads()(1)json.dumps() 将字典转化为字符串d={'apple': 1, 'google': 2, 'facebook': 3} # <class 'dict'>str_d = json.dumps(d) # <class 'str'>(2)json.loads() 将字符串转化为字典o...原创 2019-06-11 18:16:38 · 325 阅读 · 0 评论 -
python配置文件的使用
这里使用一个连接数据库的栗子学习如何在开发过程中使用配置文件。新建一个mysql.ini文件写入如下内容:[db]host=192.168.137.30port=3306user=tompassword=lovejerry1314charset=utf8mb4dbname=cheese[env]; test or onlineonline=test新建一个test.p...原创 2019-06-27 18:11:46 · 668 阅读 · 0 评论 -
Python开发环境迁移
生产环境是断网,无法联网安装依赖包。第三方依赖库太多,每次联网安装依赖包太耗费时间或网络资源。需要更改已有虚拟环境路径。方法一如果是有网环境:source env/bin/activate # 先激活本地虚拟环境pip freeze > requirements.txtpip install -r requirements.txt方法二source venv/bivn/...转载 2019-07-12 17:45:21 · 371 阅读 · 0 评论 -
Python文件操作的轮子
轮子1 创建与源目录相同的目录def create_dir(source, target): """ 创建与源目录相同的目录 :param source: :param target: :return: """ dir_list = find_dir(source) for p in dir_list: fdir ...原创 2019-07-12 11:41:41 · 443 阅读 · 0 评论 -
Python并行执行for循环
简介在介绍如何最简单地利用 python 实现并行前,我们先来看一个简单的代码。 words = ['apple', 'bananan', 'cake', 'dumpling'] for word in words: print word上面的例子中,我们用一个 for 循环打印出 words 列表中的每个单词。问题来了,这里我们打印完一个单词才能接着打印另一个单词...转载 2018-12-04 20:52:55 · 78745 阅读 · 13 评论 -
Python随机数、随机序列生成
主要包括两部分,第一部分是对官方文档的简要总结,第二部分是一些实际应用中使用到的随机数he随机数组生成例子, 第三部分是Numpy随机数生成。1. 伪随机数生成模块Python有一个伪随机数生成模块 random.py 官方文档用于生成各种伪随机数。(1) 生成一个数 random.randrange(stop) random.randrange(start, stop[, ste...原创 2018-11-10 21:12:16 · 33056 阅读 · 0 评论 -
Python 内建函数,输入输出及字符串处理
1.常用到的内建函数[英文版][中文版]Built-in Functionsabs()dict()help()min()setattr()all()dir()hex()next()slice()any()divmod()id()object()sorted()ascii()enumerate()input()oct()...原创 2018-11-09 10:50:56 · 2473 阅读 · 0 评论 -
Python 常用技巧:库/模块的安装、查看和卸载
一、安装包/模块1、单文件模块直接拷贝到python目录下的Lib文件夹 2、多文件模块(包)的两种安装方式pip或easy_install安装先安装pip,安装完之后直接输入 pip install pandas 可以在https://pypi.org/中查看是否有该模块,及模块对应的作用。 安装指定模块的指定版本pip install pandas = 0.22.0 若...原创 2018-03-21 20:28:12 · 1590 阅读 · 0 评论 -
一文总结 Python 3 的 14 张思维导图
本文主要涵盖了 Python 编程的核心知识(暂不包括标准库及第三方库,后续会发布相应专题的文章)。首先,按顺序依次展示了以下内容的一系列思维导图:基础知识,数据类型(数字,字符串,列表,元组,字典,集合),条件&循环,文件对象,错误&异常,函数,模块,面向对象编程...转载 2018-03-18 21:19:06 · 3184 阅读 · 1 评论 -
学习十四-Python爬虫一
爬虫 (WebSpider) 所谓爬虫,就是把互联网看成一张网,而爬虫就行蜘蛛一样在网上想收集猎物一样收集互联网中我们想要的信息。Python 访问互联网使用Python编写一只爬虫,先解决的问题访问互联网。 urllib模块:URL 简单理解网页的地址;lib是Library(库)的缩写。URL 详解URL的格式:protocol://hostname[port]/p...原创 2018-01-24 22:50:02 · 294 阅读 · 0 评论 -
学习九-python 异常处理
所谓的异常简单来讲就是程序出现逻辑错误或者用户不合法的输入。常见的比如一个列表索引超出了列表的索引范围,打开一个文件时文件名输入错误系统找不到文件等等。常见的异常AssertionError: 断言(assert)语句失败当assert关键字后面的条件不为真使,程序就会抛出AssertionError异常。 看一个例子:>>> mylist = ["python"]原创 2018-01-19 21:40:01 · 478 阅读 · 0 评论 -
字典的内置方法比较
字典的内置方法比较1. 清空一个字典clear() 可以清空一个字典,还有一种方式是直接给变量赋值为一个空的字典。>>> a = {'b':1, 'c':2}>>> e = a>>> e{'b': 1, 'c': 2}>>> a = {}>>> a{}>>> e{'b': 1, 'c': 2}直接给变量名赋值为一个空字典并没有改变原来的字典,只是重新分配了一个新的字原创 2018-01-16 16:46:52 · 223 阅读 · 0 评论 -
爬虫问题总结
本文档对日常学习中用 python 做数据爬取时所遇到的一些问题做简要记录,以便日后查阅,部分问题可能因为认识不到位会存在一些误解,敬请告知,万分感谢,共同进步。估算网站规模该小节主要针对于整站爬取的情况。爬取整站之前,肯定是要先对一个网站的规模进行估计。这是可以使用google搜索查看大概有多少个网址,这里使用到google搜索的一个小技巧。site:url地址有...转载 2018-04-21 23:32:22 · 4374 阅读 · 0 评论 -
小爬虫-从PhysioNet上下载MIT-BIH Arrhythmia Database的ECG数据
import urllib.requestimport osdef url_open(url): '''open url and return source html code''' req = urllib.request.Request(url) req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1...原创 2018-04-30 19:12:48 · 1275 阅读 · 0 评论 -
Numpy 数组ndarray和常用函数速查
转自:DawnRanger的专栏 https://blog.csdn.net/DawnRanger/article/details/53125945 1. 简介Numeric Python的简称,是几乎所有python科学计算工具的基础。主要功能:ndarray: 一个具有...转载 2018-07-05 16:56:54 · 2266 阅读 · 1 评论 -
Python load指定目录下指定后缀的文件
1)指定文件的路径path = "D:\\Python\\PyCharm_Projects\\tensorflow-DBN-master"实际上在windows上的路径是一个反斜杠的:D:\Python\PyCharm_Projects\tensorflow-DBN-master 要注意的是反斜杠转义的问题,这里使用前一个“\”取消第二个”\”的转义作用,或者说这种方式表示一个反斜杠。 ...原创 2018-07-05 15:09:48 · 5435 阅读 · 0 评论 -
Python os.path import 包或者模块
Python使用sys.path添加包,这里也只做导航,方便以后速查。(1) sys.path —— 动态地改变Python搜索路径 (2) 获取当前工作目录 (3) os.path模块速查查看原文:python中os.path以及sys.path模块简介 https://blog.csdn.net/wangjianno2/article/details/48783127...原创 2018-07-05 10:14:33 · 740 阅读 · 0 评论 -
统计量描述
一篇使用Python进行描统计量描述的好文。 下面是其目录的摘录,具体的参看原文。目录 1 描述性统计是什么? 2 使用NumPy和SciPy进行数值分析 2.1 基本概念 2.2 中心位置(均值、中位数、众数) 2.3 发散程度(极差,方差、标准差、变异系数) 2.4 偏差程度(z-分数) 2.5 相关程度(协方差,相关系数) 2.6 回顾 3 使...原创 2018-06-25 20:09:10 · 1429 阅读 · 0 评论 -
k-Nearest Neighbors 实战2 使用kNN算法改进约会网站的配对结果
本文《machine learning in action》学习笔记原创 2018-05-31 21:58:46 · 246 阅读 · 1 评论 -
numpy 数组拼接方法
参考 :https://blog.csdn.net/zyl1042635242/article/details/43162031方法一: 转为list,使用“+”, append()或者extend() 可做简单的拼接。不过要注意一些小问题,如下图: 方法二:使用numpy提供的函数-append(arr, values, axis=None) 不能对三个或者三个以上数组...原创 2018-06-06 16:58:42 · 7237 阅读 · 0 评论 -
Window下安装 hmmlearn 问题: Microsoft visual C++ 14.0 is required
(1) 问题描述: 安装Python包hmmlearn失败,遇到error: Microsoft visual C++ 14.0 is required. (2) 解决方法: 我查看了安装的软件, 难道这个不是要的?: 于是重新装了Microsoft Visual C++ 2017. 选择了通用安装。 查看control pannel/programs ...原创 2018-05-23 17:28:15 · 1173 阅读 · 0 评论 -
学习六 - Python 函数
Python 学习 - 函数1.创建和调用函数创建函数 def function_name(): #无参数函数 xxx def function_name(par1, par2, ...): #带参数函数 xxx记住三个关键的东...原创 2018-01-15 19:59:58 · 943 阅读 · 0 评论