python
HxShine
这个作者很懒,什么都没留下…
展开
-
一个通用的utils脚本
utils.pyjson保存&加载大文件序列化数据保存&加载创建目录log初始化随机种子初始化耗时统计import pandas as pdimport jsonimport numpy as npimport joblibimport osfrom contextlib import contextmanagerimport timeimport loggingimport randomdef load_json(f): """加载js.原创 2022-03-22 10:47:22 · 888 阅读 · 0 评论 -
python 多进程共享参数值
1. 直接上代码from multiprocessing import Poolimport os, time, randomimport multiprocessingd = multiprocessing.Manager().list()def func(index, d): print(index) time.sleep(0.1) # return index ^ 2 d.append([index, index*index])p = Pool(4原创 2020-12-18 15:31:42 · 624 阅读 · 1 评论 -
python __lt__与__gt__ 使用初体验,是出bug了吗?
class LargerNumKey1(str): # https://blog.csdn.net/LaoYuanPython/article/details/95042104 def __lt__(x, y): return x + y > y + xclass Solution1: def largestNumber(self, nums): print("input:nums:",nums) largest_num =原创 2020-12-04 00:08:10 · 381 阅读 · 0 评论 -
python xlsxwriter 给excel单元格中部分文本文本添加颜色
1. 示意图2.代码import refrom datetime import datetimeimport xlsxwriterfrom xlsxwriter.workbook import Workbook# 创建Excel对象workbook = Workbook(filename='phone.xlsx')worksheet = workbook.add_worksheet()# 定义颜色red_color = workbook.add_format({'color':原创 2020-06-08 19:57:01 · 6462 阅读 · 2 评论 -
算法总结
1.基础算法1.1 快速排序def sort(nums): """快速排序封装""" def quik_sort(nums, l, r): if l >= r: return # 分为两部分 # k1 记录左边小于nums[r]的位置, k2记录当前遍历到的位置 k1 = k2 = l for k2 in range(l, r): if nums[k2]原创 2020-05-31 10:28:06 · 308 阅读 · 0 评论 -
python的负数补码情况
一些参考链接:https://blog.csdn.net/kudou1994/article/details/99642213https://my.oschina.net/u/4321106/blog/3528186/print正数的补码即本身负数的补码在反码的基础上+1print(bin(1))0b1print(bin(1 & 0xffffffff))0b1python的负数的补码存的有问题print(bin(-1))-0b1拿到python负数的补码原创 2020-05-28 11:03:52 · 1547 阅读 · 0 评论 -
时间序列画图记录
1.时间序列画图记录import matplotlib as mpltmp = all_data[all_data[col]!=-1]tmp2 = tmp[tmp['model']==1].groupby(['year', 'month', 'day'],as_index=False)[col].agg({'mean':'mean'})values = list([t for t in ...原创 2020-04-16 11:41:17 · 893 阅读 · 0 评论 -
pandas groupby shift rank rolling 等用法详解
1.pandas shiftimport pandas as pdimport numpy as npdf = pd.DataFrame(np.arange(16).reshape(4,4),columns=['AA','BB','CC','DD'],index =['a','b','c','d'])#https://blog.csdn.net/brucewong0516/articl...原创 2020-03-22 22:03:30 · 8110 阅读 · 1 评论 -
pytorch 可视化
1.利用tnthttps://github.com/pytorch/tnt/blob/master/example/mnist_with_visdom.py#L92.启用visdonpython -m visdom.server -port 8097 &3.加log就可以看了,比tensorboard感觉还简单,虽然界面看起来还比较简陋 port = 8097...原创 2018-08-15 20:51:15 · 1883 阅读 · 1 评论 -
pytorch tnt meters使用
import mathimport torchimport torchnet.meter as meterimport numpy as np m = meter.AverageValueMeter() for i in range(1, 10): m.add(i) mean, std = m.value()...原创 2018-08-16 11:26:12 · 7250 阅读 · 4 评论 -
深度学习图像分割整理
1 综述Semantic Segmentation using Fully Convolutional Networks over the years Jun 1, 2017https://meetshah1995.github.io/semantic-segmentation/deep-learning/pytorch/visdom/2017/06/01/semantic-segmen...原创 2018-08-22 18:05:30 · 3192 阅读 · 1 评论 -
pytorch 查看模型参数,查看模型特定层输入输出,模型结构图绘制总结
1 参考链接大杂烩 https://zhuanlan.zhihu.com/p/33992733绘制图形时候记得安装graphviz插件 https://stackoverflow.com/questions/35064304/runtimeerror-make-sure-the-graphviz-executables-are-on-your-systems-path-aft画模型...原创 2018-08-23 15:18:18 · 23725 阅读 · 2 评论 -
centos docker 安装
1.安装docker ce(免费版)https://docs.docker.com/install/linux/docker-ce/centos/#uninstall-old-versions#### 1.1 卸载旧版本并准备环境sudo yum remove docker \ docker-client \ docke...原创 2018-11-21 16:43:00 · 274 阅读 · 0 评论 -
paddlepaddle百度飞浆使用体验三----词向量训练
1 链接https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/beginners_guide/basics/word2vec/index.htmlgithub源码链接:https://github.com/PaddlePaddle/book/blob/develop/04.word2vec/train.pyPaddlePaddl...转载 2019-07-24 17:00:09 · 1524 阅读 · 0 评论 -
pytorch 分类网络使用
1.基本框架https://github.com/chenyuntc/pytorch-best-practice2.tnt记录https://github.com/pytorch/tnt3.loss函数import torchimport torch.nn as nnfrom torch.autograd import Variableimport tor...原创 2018-08-15 20:23:16 · 1229 阅读 · 0 评论 -
python2与python3环境共存,anaconda安装方式
1 anaconda清华镜像https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda2-2.5.0-Linux-x86_64.sh2 选取合适版本安装例如选择python2 linux 64位版本并下载wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/ar...原创 2018-03-14 12:09:06 · 1123 阅读 · 0 评论 -
opencv 3 linux安装记录
1部分采取http://blog.csdn.net/daunxx/article/details/505066252出错解决办法error: ‘NppiGraphcutState’ has not been declared http://blog.csdn.net/allyli0022/article/details/62859290原创 2018-02-02 19:54:56 · 256 阅读 · 0 评论 -
天池比赛
1.xgboost安装http://blog.csdn.net/xizero00/article/details/730083302.在Anaconda中安装python包seabornhttp://blog.csdn.net/robertchenguangzhi/article/details/49103421原创 2018-01-17 09:10:38 · 1522 阅读 · 0 评论 -
python 利用sklearn.cross_validation的KFold构造交叉验证数据集
KFold通过提供index来给你确定不同组的训练集以及测试的index,来构造交叉验证数据集。参数(n, n_folds=3, shuffle=False, random_state=None)n为总数n_folds为分为多少个交叉验证集shuffle为是否随机random_state设置随机因子from sklearn.cross_validation import KFoldimpor原创 2018-01-16 23:26:44 · 25239 阅读 · 1 评论 -
pytorch学习 基本组成、基本练习
1. 基本结构 pytorch主要分为以下几个模块来训练模型:tensor:tensor为基本结构,可以直接创建,从list创建以及由numpy数组得到,torch还提供一套运算以及shape变换方式。Variable:自动求导机制,利用Variable包装tensor后,便可以使用其求导的功能了,有点像个装饰器。nn:nn模块是整个pytorch的核心,自己设计的Net(),继承nn.Mo原创 2018-01-15 18:28:44 · 11654 阅读 · 1 评论 -
python 装置器
1 解决的问题1 解决调用函数时想使用额外的附加条件时的复用问题2 解决函数属性发生改变的问题2 代码import loggingdef use_logging(func): def wrapper(*args,**kwargs): logging.warn("%s in running" % func.__name__) return func(*args原创 2017-12-19 23:50:42 · 441 阅读 · 0 评论 -
python 服务器端通信,多线程,装饰器
1.背景接受post请求,返回post请求提供结果,这时候需要接到外部的get请求做一个参数检验然后就立刻返回结果;另一个线程根据参数启动引擎的工作、收到引擎结果后发post请求。2.架构server 读取post请求传过来的request_data一个线程检查参数另一个线程执行结果3.技术装饰器的使用http://blog.csdn.net/tb6013245/article/deta原创 2017-11-02 21:57:29 · 478 阅读 · 0 评论 -
pytorch 变长rnn,pack_padded_sequence使用学习记录
1 pytorch中如何处理RNN输入变长序列padding涉及到pack_padded_sequence的使用以及理解torch.nn.utils.rnn.pack_padded_sequence()torch.nn.utils.rnn.pad_packed_sequence()https://zhuanlan.zhihu.com/p/344180012.教你几招搞定 LSTMs 的...原创 2018-12-05 11:43:25 · 3859 阅读 · 0 评论 -
tf-idf理解与使用
一、tf-idf总结是由tf和idf两部分相乘得到1.tf该个句子里面各个单词的词频,词频越高反应的是这个句子对这个词特别看重,讲的主旨应该也是跟这个有关。2.idf统计的是log10语料库句子总数/包含该词组的句子的个数log_{10}^{语料库句子总数/包含该词组的句子的个数}log10语料库句子总数/包含该词组的句子的个数,反应的是这个词组重不重要,因为这个词组在所有句子都出现的话...原创 2018-12-25 14:47:59 · 976 阅读 · 0 评论 -
python 赋值、拷贝、函数参数传递
深入理解 python 中的赋值、引用、拷贝、作用域https://draapho.github.io/2016/11/21/1618-python-variable/解读:python没有赋值,只有引用,对象是内存本身list_test[:]为浅拷贝,list_test_1[1,list_test2]的浅拷贝会出现问题深拷贝,import copy ,copy.deepcopy不可...原创 2019-07-02 16:00:45 · 626 阅读 · 0 评论 -
快速搭建数据科学环境之mac docker kaggle image环境配置与使用 && VSCode+Docker: 打造最舒适的深度学习环境
1 安装1.1 安装dockerbrew cask install docker1.2 拉取kaggle镜像,目前只有cpu版本的docker run --rm -it kaggle/python2 运行2.1 运行jupyter-notebookdocker run -v $PWD:/tmp/working -w=/tmp/working -p 8888:8888 --rm -...原创 2019-09-01 13:54:31 · 1388 阅读 · 0 评论 -
视频描述生成vedeo caption资料整理(待完成)
代码1. xiadingZ/video-caption.pytorch2.pochih/Video-Cap3.JaywongWang/DenseVideoCaptioningdataset:Dense-Captioning Events in Videos,activitynet_c3d_fc7_stride_64_frame.hdf54.scopeInfinity/Video2D...原创 2019-08-22 16:35:35 · 1178 阅读 · 0 评论 -
序列模式挖掘资料收集
一 4种序列模式比较序列模式挖掘比较二 PrefixSpan算法原理总结PrefixSpan算法介绍三 An Open-Source Data Mining Library开源java序列模式挖掘库四 code4.1 pythongsp:gspprefixspan:prefixspan4.2 javaMaxSP:MaxSP...原创 2019-08-19 15:30:46 · 164 阅读 · 0 评论 -
如何做特征选择?
1 参考链接Topic 6. Feature Engineering and Feature Selectionhttps://www.kaggle.com/kashnitsky/topic-6-feature-engineering-and-feature-selection结合Scikit-learn介绍几种常用的特征选择方法https://blog.csdn.net/LY_ysys6...原创 2019-08-05 13:22:58 · 615 阅读 · 0 评论 -
Machine learning Tips阅读纪要
1 链接https://zhuanlan.zhihu.com/p/56534902?utm_source=ZHShareTargetIDMore&utm_medium=social&utm_oi=637963847940706304https://github.com/afshinea/stanford-cs-229-machine-learning/tree/master/z...转载 2019-07-23 12:50:25 · 113 阅读 · 0 评论 -
kaggle Predicting Molecular Properties 比赛 brute-force-feature-engineering 解读
1 链接https://www.kaggle.com/kernels/scriptcontent/16357888/downloadhttps://www.kaggle.com/c/champs-scalar-coupling/overview2 EDA解读与上一篇主要的区别是构造了更多的特征,总共大概有400多维,与我自己不同的是它利用xgboost做了特征选择,最后留下了比较重要的一些...翻译 2019-07-23 10:09:45 · 401 阅读 · 0 评论 -
kaggle Predicting Molecular Properties 比赛 molecular-properties-eda-and-modelsEDA解读
1 原文链接https://www.kaggle.com/artgor/molecular-properties-eda-and-modelshttps://www.kaggle.com/c/champs-scalar-coupling/overview2 解读2.1 基本分布特点index0和index1的分布很不一样type分布也很不均匀,3个很多,3个很少,2个中频不同t...翻译 2019-07-22 10:41:33 · 405 阅读 · 0 评论 -
概率图模型学习资料整理
1 博客汇总图:【机器学习】概率图模型总结https://blog.csdn.net/u014433413/article/details/78330746漫谈 Hidden Markov Modelhttp://freemind.pluskid.org/series/hmm-tutor/隐马尔可夫模型HMM(有代码分析)https://zhuanlan.zhihu.com/p/299...原创 2019-08-03 14:51:59 · 313 阅读 · 0 评论 -
lightgbm回归模型分类模型基本框架
#https://www.kaggle.com/kernels/scriptcontent/16357888/downloadimport numpy as npimport pandas as pdimport timeimport matplotlib.pyplot as pltimport seaborn as snsfrom tqdm import tqdm_notebook...翻译 2019-07-30 17:57:34 · 4304 阅读 · 0 评论 -
paddlepaddle百度飞浆使用体验二----中文文本分类
1 相关链接ERNIE代码:https://github.com/PaddlePaddle/ERNIE/tree/develop/ERNIE2 具体使用2.1 使用步骤下载数据:下载模型(含配置文件及词典)以及任务数据。解压模型和任务数据,开始训练,执行bash script/run_ChnSentiCorp.sh,附上修改后的run_ChnSentiCorp.shset -e...原创 2019-07-20 10:19:51 · 2740 阅读 · 0 评论 -
paddlepaddle百度飞浆使用体验一
1 使用目的最近有在做一些中文nlp的东西,总感觉国外的东西资源不是特别好找,飞浆在这方面应该还是有优势的,所以决定体验一发。2 资源文档:https://www.paddlepaddle.org.cn/documentation/docs/zh/1.5/beginners_guide/quick_start_cn.html官网:https://www.paddlepaddle.org....原创 2019-07-16 22:55:21 · 3455 阅读 · 1 评论 -
elo-eda-and-models回归模型解读(待完成)
1.题目忠诚度预估,回归模型2.解读2.1 目标分布有点奇怪翻译 2019-07-18 14:12:12 · 470 阅读 · 0 评论 -
sns画图记录(待完成)
1.非连续性数值分布情况以及非连续数值与预测值的关系plt.figure(figsize=(15,10))g = plt.subplot(211)g = sns.countplot(x='type', data=df_train, )g.set_title("Count of Different Molecule Types", fontsize=22)g.set_xlabel("Mo...转载 2019-07-14 22:55:20 · 486 阅读 · 0 评论 -
python flask sever client 测试,post 方法,传入python dict或者json字符串
测试1 传入python dict字典1 sever服务端目录结构|---- /hello.py|----/templates/|----|-----------/index.htmlhello.pyfrom flask import Flask,render_template,requestapp = Flask(__name__)@app.route("/")def index():原创 2017-10-11 17:24:16 · 3664 阅读 · 0 评论 -
python 39 numpy常见函数小结
1 向上取整 np.ceil 上限值,整数2 np.linspace 分成几等份np.linspace(-0.5,0.5,n),是把-0.5到0.5分成几等份3 np.meshgridimport numpy as npprint np.meshgrid(np.arange(0, 6))printx, y = np.meshgrid(np.arange(-1, 2), np.arange(原创 2017-09-24 17:19:35 · 347 阅读 · 0 评论