![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
dataastron
工程师
展开
-
datetime+dateutil_生成过去n个月的yyyymm格式列表
import datetimez=datetime.datetime.now()import dateutilmon_list=[]for i in range(10): monz=z+dateutil.relativedelta.relativedelta(months=-i) mon_list.append(monz.strftime('%Y%m'))需要安装dateutil['202102', '202101', '202012', '202011', '2020原创 2021-02-08 13:34:57 · 176 阅读 · 1 评论 -
prod相关记录
np.prod求乘积origin_size = np.prod(npimg.shape)原创 2020-07-04 22:22:34 · 191 阅读 · 0 评论 -
cupy加速numpy案例
import numpy as npimport cupy as cpimport timenumpy%times = time.time()x_cpu *= 5x_cpu *= x_cpux_cpu += x_cpue = time.time()print(e - s)cupy%time### CuPy and GPUs = time.time()x_gpu *...原创 2020-04-30 18:15:10 · 255 阅读 · 0 评论 -
dask
dask demo测试原创 2020-04-26 22:54:41 · 188 阅读 · 0 评论 -
pandas序列化速度测试
1B数据 循环10次方法1pickle方法2apply原创 2020-04-26 22:00:20 · 329 阅读 · 0 评论 -
pandas_shift
纵向axis=0,横向axis=1. shift 1或者-nentries_and_exits = pd.DataFrame({ 'ENTRIESn': [3144312, 3144335, 3144353, 3144424, 3144594, 3144808, 3144895, 3144905, 3144941, 3145094], 'EXIT...原创 2020-04-19 15:10:50 · 105 阅读 · 0 评论 -
contextlib_增加dev阶段
从paddle源码上学了这么一段自己写了个demofrom contextlib import contextmanager@contextmanagerdef phase(): print("新增dev任务") yield print("退出dev任务")with phase(): print("开始测试\n", end="")...原创 2020-04-19 14:27:41 · 89 阅读 · 0 评论 -
psutil获取命令_ps -aux
import psutildef show_process(): '''列出所有当前正在运行的进程pid-name信息''' for proc in psutil.process_iter(): try: pinfo = proc.as_dict(attrs=['pid', 'cmdline']) except psuti...原创 2020-04-19 14:10:57 · 538 阅读 · 0 评论 -
functool.lru_cache用法
递归的时候可以用原创 2020-03-08 23:26:00 · 244 阅读 · 0 评论 -
python特殊技巧学习
今天看到了这样一个表达方式。做了下实验。IMAGE_SIZE=[512, 512]input_shape=[*IMAGE_SIZE, 3]*作用 拆开,跟zip相反a=[1,2,3]b=(1,2,3)c={1:“a”,2:“b”,3:“c”}print(a,"",*a)print(b,"",*b)print(c,"====",*c)运行结果为:[1, 2, 3] ====...原创 2020-03-03 17:24:48 · 103 阅读 · 0 评论 -
google tpu学习笔记
步骤1配置# Detect hardware, return appropriate distribution strategytry: tpu = tf.distribute.cluster_resolver.TPUClusterResolver() # TPU detection. No parameters necessary if TPU_NAME environment v...原创 2020-03-02 15:37:37 · 595 阅读 · 0 评论 -
conda install --yes *交互式命令
conda install --yes *原创 2019-10-12 17:37:58 · 2250 阅读 · 2 评论 -
saved_model操作例子3个
tf1.14高级apifrom tensorflow.contrib import predictorimport numpy as npfrom PIL import Imageimport pprintmodel_path = "./"img = Image.open("example.jpg")img = img.resize((224, 224))img_arr = ...原创 2019-10-03 18:33:06 · 563 阅读 · 0 评论 -
MP4提取关键帧
def extract_all(videodir,save_dir): filenames = os.listdir(videodir) for file in filenames: if 'mp4' in file: savedir = os.path.join(save_dir,file.replace('.mp4','')) ...转载 2019-05-28 14:50:56 · 2221 阅读 · 0 评论 -
python数据分析入门学习笔记
http://www.cnblogs.com/zzhzhao/p/5269217.html#3641615学习利用python进行数据分析的笔记儿&下星期二内部交流会要讲的内容,一并分享给大家。博主粗心大意,有什么不对的地方欢迎指正~还有许多尚待完善的地方,待我一边学习一边完善~前言:各种和数据分析相关python库的介绍(前言1~4摘抄自《利用python进行数据分析》)转载 2017-04-05 23:12:34 · 894 阅读 · 0 评论 -
IPython使用学习笔记
IPython使用学习笔记学习《利用python进行数据分析》第三章 IPython:一种交互式计算和开发环境的笔记,共享给大家,同时为自己作为备忘用。安装ipython用pip即可。ps.博主用的是win7系统,所以接下来的都是在windows系统下操作的。 一.Ipython基础启动:开始菜单-输入cmd-回车-输入ipyth转载 2017-04-05 23:13:57 · 461 阅读 · 0 评论 -
python测试demo编写规范
今天学习jieba分词的源码,看到了他书写的还是很简洁的。因为python写的不多,所以要从这方面着手训练下。print('='*40)print('2. 添加自定义词典/调整词典')print('-'*40)原创 2017-12-27 01:38:53 · 324 阅读 · 0 评论 -
python tqdm库
Python基本是我目前工作、计算、数据挖掘的唯一编程语言(除了符号计算用Mathematica外)。当然,基本的Python功能并不是很强大,但它胜在有巨量的第三方扩展库。在选用Python的第三方库时,我都会经过仔细考虑,希望能挑选出最简单的、最直观的一个(因为本人比较笨,太复杂用不了)。在数据处理方面,我用得最多的是Numpy和Pandas,这两个绝对称得上王者级别的库,当然不能不提的是Sc转载 2018-01-13 00:21:20 · 1150 阅读 · 0 评论 -
python基础之函数可变参数
可变参数:参数的大小不确定。且不在声明函数的时候写明参数的字段。在函数实现部分会出现。 不用可变参数,调用的时候需要传入数组,说白了是通过数组或者列表中元素的大小来完成可变参数个数的定义。 其实参数还是只有1个。 后面两次调用时直接传的数字,参数编程多个了。>>> calc([1, 2, 3])14>>> calc((1, 3, 5, 7))84>>> calc(1, 2, 3)原创 2018-02-01 17:51:55 · 143 阅读 · 0 评论 -
python json load 中文测试
#!/usr/bin/env python# coding=utf-8import jsond = {'astron1星' : 1, 'astron2星' : 2, 'astron3星': 3, 'astron4星': 4}json.dump(d, open('tmpresult.txt', 'w'), ensure_ascii=False)load_dict = json.load(op原创 2018-02-26 11:07:06 · 2910 阅读 · 0 评论 -
graphviz 安装包 keras绘制模型结构
下载地址如下https://graphviz.gitlab.io/_pages/Download/Download_windows.html参考文章http://blog.csdn.net/darren2015zdc/article/details/75012508最小demo:原创 2018-02-26 15:02:01 · 444 阅读 · 0 评论 -
python之生成器
转自廖雪峰博客通过列表生成式,我们可以直接创建一个列表。但是,受到内存限制,列表容量肯定是有限的。而且,创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都白白浪费了。所以,如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算出后续的元素呢?这样就不必创建完整的list,从而节省大量的空间。在Python中...转载 2018-02-17 20:03:30 · 122 阅读 · 0 评论 -
sklearn中的测量函数
预测的数据需要与groudtrue数据进行比对。回归task一般使用的是均值方差,mean_squared_error在python的包是from sklearn.metrics import mean_squared_error原创 2018-03-07 23:49:10 · 251 阅读 · 0 评论 -
详解python的super()的作用和原理
详解python的super()的作用和原理 PyChina 关注2016.09.19 20:44* 字数 634 阅读 738评论 0喜欢 6赞赏 1Python中对象方法的定义很怪异,第一个参数一般都命名为self(相当于其它语言的this),用于传递对象本身,而在调用的时候则不必显式传递,系统会自动传递。今天我们介绍的主角是super(), 在类的继承里面super()非常常用, 它解决了子...转载 2018-02-28 15:12:29 · 1057 阅读 · 0 评论 -
卡方检验 两分类实现
import jiebaimport numpy as npimport xlrdimport reimport json# 数据加载# jieba词库设置#读取文本,读取其中1个#统计包含a的单词和不包含a的单词#统计主题def chisquare(datasetTrue, datasetFlase): dicta原创 2018-03-05 14:30:31 · 2021 阅读 · 0 评论 -
wordcloud 安装需要c++的解决方案
wordcloud 安装需要c++的解决方案http://blog.csdn.net/u011389474/article/details/60764926原创 2018-03-06 15:06:16 · 760 阅读 · 0 评论 -
pandas读文件思路
文件有的有列名 有的没有写。通用的做法是1.先把列名赋值给df2.然后在读入过程中处理。如果原始已经有了,就skip掉。没有就正常读入。这样就避免了 读入逻辑的不统一。实现deadline 20190701...原创 2019-05-21 14:21:12 · 116 阅读 · 0 评论 -
ipython笔记转换成py文件
今天发现了个实用的功能,原来ipython的文件是可以直接转成py文件的。以前我都是一行一行把命令粘贴到新的文件来实现的。原创 2017-04-05 22:40:51 · 1183 阅读 · 1 评论