- 博客(46)
- 资源 (3)
- 收藏
- 关注
原创 监控有空闲资源的GPU并发送邮件
助你不浪费资源NOTE打开POP3/SMTPgetpass;re;smtplib;socket;subprocess;time;emaillinux运行注意事先检查服务器是否可以访问外网CODEimport getpassimport reimport smtplibimport socketimport subprocessimport timefrom email.mime.text import MIMETextimport numpy as npdef log
2020-11-20 15:43:25
532
1
原创 Expected to have finished reduction in the prior iteration before starting a new one.
Expected to have finished reduction in the prior iteration before starting a new one. This error indicates that your module has parameters that were not used in producing its output (the return value of forward). You can enable unused parameter detection .
2020-05-27 15:32:09
7020
2
原创 devtoolset安装gcc的坑
本文日期:20200508Software Collections 官网镜像源例如:https://www.softwarecollections.org/en/scls/rhscl/devtoolset-4/按照指引安装可能遇到问题比如我这里安装gcc5 用的devtoolset-4,但是这里的源里已经没有了,就会报找不到的错。google搜了一下,都没找到有效解决办法。后来检查了下centos-release-scl的镜像,发现官方不提供devtoolset-4了,直接是7起步了。所以
2020-05-08 18:44:54
4291
2
原创 video大体数据集
大体数据集情况video classifificationfullysupervised, whole-clip, forced-choice video classififierstrim的单个动作样本,适合训练分类器KTHWeizmannHollywood-2HMDBUCF101large-scale video classifification也是单个动作样本,规模大...
2019-12-22 21:29:28
505
1
原创 spatio-temporal localization方法
前言: 光流,backbone等等这种的发展就不说了,主要说下大的发展的变化早期是单帧检测,然后把结果连接起来。不同方法backbone不同,有的也用了光流,比如[1]由于单帧缺少对时序信息的挖掘,最近的方法是在做检测时用到时间信息。代表性的有1>ACT [2] 将多帧结果堆叠回归一个立方的proposal也就是说类似于做了proposal层面的tube(作者把它叫做...
2019-12-22 21:26:32
366
原创 tensorrt libnvinfer.so.5 libcublas.so.9.0
安装tensorrt后,在import tensorrt时出现libnvinfer.so.5: cannot open shared …libcublas.so.9.0: cannot open shared object file: No such file or directory等错误把下面两行加入.bashrcexport LD_LIBRARY_PATH="$LD_LIBRA...
2019-08-20 11:47:59
1188
原创 pytorch dataloader num_workers
Notenum_workers是多进程执行的,其中子进程全是守护进程;pin_memory是多线程的。其中每个worker加载一个batch的数据选择num_workers如果使用pin_memory:此时是把所有数据放到host内存的固定区域,所以会一次性加载完所有数据,此时num_workers应该根据你的总数据量来设置,来达到最快的速度,比如设置:数据量 = batch_size...
2019-07-18 21:00:58
978
原创 rsync传输文件 删除文件
rsync -a /dir1/ /dir2/(注意/dir1/最后一个斜杠不能省略,否则会把dir1这个父目录也同步dir2,这个坑一定要注意)-u如果只想用dir1替换dir2中同名的文件加此参数--ignore-existing如果要保存dir2中的同名文件,加此参数--remove-source-files加这个参数在同步过程中,会把dir1的删掉...
2019-07-18 20:59:24
749
原创 为什么RGB图不使用3D卷积?
首先说明2D和3D不是指的卷积核的维度,而是输出的维度其实从输出维度遵从直觉,必然是输出的维度意味着做卷积运算的维度,意味着更"重要"原理上说2D是在RGB的三个通道上(其实不必被这个限制住,如果这里的输入的深度维度不是3,是5,10甚至更多),做点乘然后相加,类似于全连接,而不在第三个维度做类似于前两个维度的卷积运算。之所以RGB图像不用3D卷积(不是不能用),也就是说不用在三个通道上...
2019-05-10 17:00:44
1021
1
原创 python os 创建文件/目录 同名处理
import osindex = ''while True: try: os.makedirs('../hi'+index) break except WindowsError: if index: index = '('+str(int(index[1:-1])+1)+')' # Append 1 to ...
2019-03-27 17:58:30
1501
原创 最简单 安全 高效的 nvidia 驱动 pytorch tensorflow keras cuda安装
注:windows务必使用管理员权限这里使用pyenv + anaconda 管理ref:https://blog.csdn.net/huuuuuuuu/article/details/88530215https://blog.csdn.net/huuuuuuuu/article/details/84109295pyenv(windows跳过此部分)安装mac:(ref...
2019-03-27 10:19:34
308
原创 undefined symbol: nvrtcGetProgramLogSize
莫名其妙 import torch,出现undefined symbol: nvrtcGetProgramLogSize错误解决方法:卸载conda uninstall pytorchconda uninstall libtorchpip uninstall torchpip uninstall torch # 两遍安装conda install pytorch cuda80 -...
2019-03-25 16:29:32
2204
4
原创 最简单的最省事的win10 tensorflow-gpu安装
最简单的最省事的win10 tensorflow-gpu安装注意:使用管理员权限的CMD1. 官网安装anacondaanaconda官网2. 更新anaconda包C:\Users\admin> conda update condaC:\Users\admin> conda update anacondaC:\Users\admin> conda update...
2019-03-13 13:05:12
243
原创 强化学习概括
1. 概括图2. 基本方式1. 策略学习 Policy learningstate->action 叫做一个policy相当于每个state做了个action的分类,即找到最好的policyinput: state(界面,图片等)output: <action0, 70%>, <action1, 20%>, <action2, 10%>…...
2019-03-11 12:52:04
594
原创 Keras return_state和return_sequences
1.常见的4中结构one to one:model.add(Dense(output_size, input_shape=input_shape))one to many:model.add(RepeatVector(number_of_times, input_shape=input_shape))model.add(LSTM(output_size, return_seq...
2019-02-18 17:14:54
293
转载 词向量与Embedding究竟是怎么回事?
词向量,英文名叫Word Embedding,按照字面意思,应该是词嵌入。说到词向量,不少读者应该会立马想到Google出品的Word2Vec,大牌效应就是不一样。另外,用Keras之类的框架还有一个Embedding层,也说是将词ID映射为向量。由于先入为主的意识,大家可能就会将词向量跟Word2Vec等同起来,而反过来问“Embedding是哪种词向量?”这类问题,尤其是对于初学者来说,应该是...
2019-02-18 16:23:32
457
转载 最大熵模型
1.什么是最大熵原理例子1:假设随机变量X有5个取值{A,B,C,D,E},要估计各个值的概率P(A),P(B),…,P(E). 这些概率值满足条件P(A)+P(B)+P(C)+P(D)+P(E)=1 但是满足这个条件的概率分布有无数个。如果没有其他信息,一个可行的办法就是认为他们的概率都相等,均为0.2。 如果再加一个条件P(A) + P(B) = 0.3,那么各个值的概率为多少?...
2018-11-21 13:35:53
564
原创 CUDA安装以及基于pyenv和anaconda的TensorFlow和PyTorch安装与环境配置
基于pyenv和anaconda的TensorFlow和PyTorch安装与环境配置1.CUDA配置UbuntuWindowsmacOs2.TensorFlow安装与配置UbuntuWindowsmacOS3.PyTorch安装与配置UbuntuWindowsmacOS1.CUDA配置Ubuntu1.推荐16.04版本Ubuntu2.NVIDIA显卡驱动安装(通过ppa,当前推荐3.7....
2018-11-15 19:03:17
573
转载 Sklearn-RandomForest随机森林
在scikit-learn中,RandomForest的分类类是RandomForestClassifier,回归类是RandomForestRegressor,需要调参的参数包括两部分,第一部分是Bagging框架的参数,第二部分是CART决策树的参数。sklearn官网地址(RandomForestClassifier):http://scikit-learn.org/stable/mod...
2018-11-07 15:06:28
238
转载 模拟退火算法案例
2018年的华为软件精英挑战赛题目简介:给出华为云虚拟机过去的租借数量历史数据,用以训练模型并预测下一个时间段里的虚拟机租借数量,然后把这些预测得到的虚拟机装填进一定规格的物理机中,即分为预测和装填两个部分。 总结一下装填部分使用的模拟退火算法:算法原理装填的基础算法是FF(首次适应算法),而虚拟机的序列会影响FF算法的装填效果。比较明显的是FFD把序列降序之后再使用FF算法往往效...
2018-09-28 16:06:06
1360
转载 算法、技术及其它
在和刘同学长谈之后,我再次对前一段时间的想法进行了反思,结合聊天中的新感受,整理在这里。(注:标题里的算法,指机器学习算法,或者说“算法工程师”这个职位名称里的“算法”,不是“算法与数据结构”里的那个算法。谁能告诉我有没有什么更好的名字来区别这它们,或许是“机器学习算法”与“传统算法”?)
2017-09-29 09:52:09
580
原创 最近邻 相关推荐
#余弦相似度#相似度计算,inA、inB都是行向量 import numpy as np from numpy import linalg as la from sklearn.neighbors import NearestNeighbors M=np.array(["你吃饭了吗","今天的花儿很好看","简直不能更完美","你喜欢吃辣椒吗","天气很完美","这个花儿长的像辣
2017-09-13 14:37:07
231
原创 jieba分词,并去除所有标点
# encoding=utf-8import jiebaimport reclass Scan(object): def __init__(self,path): self.path = path def scan(self): r = '[’!"#$%&\'()*+,-./:;?@[\\]^_`{|}~]+'
2017-09-13 14:29:41
25354
原创 jedis使用
jedis是官方首选的java客户端开发包 Github地址:https://github.com/xetorthio/jedis下载 jedis-xxx.jar (http://mvnrepository.com/artifact/redis.clients/jedis)下载 commons-poolx.x.x.jar (http://mvnrepository.com/artifa
2017-08-21 10:37:42
1389
转载 mapreduce和shuffle详解
Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火,所以在
2017-06-28 10:12:09
253
原创 wireshark常用过滤器配置
tcp[13]&32==32 设置了URG位的TCP数据包tcp[13]&16==16 设置了ACK位的TCP数据包tcp[13]&8==8 设置了PSH位的TCP数据包tcp[13]&4==4 设置了RST位的TCP数据包tcp[13]&2==2 设置了SYN位的TCP数据包tcp[13]&1==1 设置了FIN位的TCP数据包tcp[13]==18 TCP SYN-AC
2017-06-12 11:28:35
1803
1
原创 pyshon实现一天前,一月前,一年前的日期计算
直接上代码from operator import modfrom datetime import datetimefrom datetime import timedeltaimport sysimport pandas as pdtimestr=sys.argv[1]#timestr='2016-02-01'Y=int(timestr[0:4])M=int(timestr
2017-06-09 21:53:04
2012
1
原创 OutOfMemoryError和StackOverflowError异常demo
/** * java堆溢出 * 虚拟机参数: -Xms:30m -Xmx30m -XX:+HeapDumpOnOutOfMemoryError */public class HeapOOM{ static class OOMObject{ } public static void main(String[] args){ List list=new
2017-05-26 16:35:36
216
转载 行存储与列存储
1 为什么要按列存储列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表(翻译不好,直接抄原文了):Ø Row-based storage stores atable in a sequence of rows.Ø Column-based storag
2017-04-07 10:49:32
416
转载 hive中的静态分区与动态分区
hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段,而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。下面的语句创建了一个简单的分区表:create table partition_test(member_id string,name string)partition
2017-03-30 14:08:56
392
转载 ELK在大数据的应用
圈子里关于大数据、云计算相关文章和讨论是越来越多,愈演愈烈。行业内企业也争前恐后,群雄逐鹿。而在大数据时代的运维挑站问题也就日渐突出,任重而道远了。本文旨在针对复杂的大数据运维系统推荐一把利器,达到抛砖引玉的效果,如果文中出现任何纰漏和错误的地方,恳请指正,欢迎讨论,希望大家不吝赐教。众所周知,大数据平台组件是很复杂的。笔者之前接触的一个大数据平台解决方案,仅平台组件就达20多个,这还没有
2017-03-03 16:30:04
653
转载 Logstash 快速入门
简介Logstash是一个接收,处理,转发日志的工具。支持系统日志,webserver日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型。怎么样听起来挺厉害的吧?在一个典型的使用场景下(ELK):用Elasticsearch作为后台数据的存储,kibana用来前端的报表展示。Logstash在其过程中担任搬运工的角色,它为数据存储,报表查询和日志解析创建了一个功能强大的管道链。Lo
2017-03-03 15:34:52
492
原创 倒排索引 mr实现
Map阶段....context.write("google ->a.txt",1);context.write("google ->a.txt",1);context.write("google ->a.txt",1);context.write("google ->a.txt",1);context.write("google ->a.txt",1)
2017-02-28 10:44:21
442
原创 中缀 后缀 前缀 原理
中缀转前缀: 和后缀大体一样,就是它是从右往左前缀的计算: 和后缀大体一样,就是它是从右到左举例:(3 + 4) × 5 - 6 就是中缀表达式- × + 3 4 5 6 前缀表达式3 4 + 5 × 6 - 后缀表达式
2017-02-26 13:34:43
700
原创 数据结构与算法:约瑟夫问题
这里用到循环链表#include #include #构造节点的自定义结构体类型变量typedef struct node{ #数据部分 int data; #指向下个节点的指针部分 str
2017-02-26 13:31:14
662
原创 ETL算法总结
源数据概述一.元数据分类流水事件表 一般只会增加不会删除和修改,如存款记录,采用append 常规状态表 会修改删除和新增,如客户信息表 代码参数表 记录原系统中使用数据代码的参数二.数据文件类型数据文件大多 数以一天为周期从源系统中加载到数仓,数据文件包含增量和全量以及带删除的增量.增量数据文件 数据文件内容为数据表增量信息,包含表内新增及修改的记录 全量数据...
2017-02-26 13:28:26
4993
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人