- 博客(19)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 小样本学习数据集
小样本学习数据集最近由于实验室项目原因开始研究小样本学习（few shot learning），看了一些论文，发现里面常用的测试数据集主要有Omniglot和miniImagenet两个，但是网上能查到的下载地址都在谷歌网盘上，而且miniImagenet中还缺少标注数据的csv文件，经过一番搜寻终于搞定两个数据集，搬到国内网盘上，方便以后要用到。 下载地址 链接: https://pa...
2018-07-25 15:04:07
18818
33
原创 Pandas处理“大”数据的一些技巧
Pandas处理“大”数据的一些技巧实习定下来下的空档期，抽空参加了一些大数据竞赛，pandas用的比较多，所以这里汇总下pandas的一些使用心得和总结一些遇到过的问题吧。数据读取慢（文件很大）pandas里面的read类函数都是单线程实现的，这里可以考虑使用分布式多线程版本的pandas: modin.pandas 更换import就可以实现四倍读写第一读写完的时候就把数据转换...
2019-05-23 13:31:01
2016
1
原创 2019校招实习笔试汇总
mark下遇到的笔试题吧招行算法：同学遇到的题，笔试后交流了下思路，由于a范围比较小，所以可以暴力（搜索剪枝）加用集合和字典优化。复杂度大概O（n*logn）有n种不同的化学试剂。第i种有ai升。每次实验都要把所有的化学试剂混在一起，但是这些试剂的量一定要相等。所以现在的首要任务是把这些化学试剂的量弄成相等。有两种操作：· 把第i种的量翻倍，即第i种的量变成2ai。· 把第i种的量减半...
2019-04-09 23:14:34
348
原创 残差网络学习及实现
残差网络ResNet由目前已经出到V2版本了，那么V2和V1由何不同呢，以下是阅读论文后的个人总结： 首先直接上图： 左边是v1，右边是v2，可以看出其主要差别是在BN和ReLU相对weight和addition的操作顺序上，即论文中提到的post-activation（后激活）还是pre-activation（先激活）的区别。 结合计算公式，可以看出对于V1来说f为ReLU函数，而...
2019-03-29 23:18:29
2488
原创 决策树学习笔记
决策树学习是数据挖掘中常用的一种监督学习方法，一颗决策树包含根结点，内部结点和叶结点。其根结点为算法开始阶段，包含所有样本，内部结点代表测试阶段，对应按照某个特征进行的划分结果，叶子结点对应最终决策结果（分类结果或回归结果）几种决策树对比，主要差别就是分裂依据信息熵: Ent(D)=−∑k=1∣y∣PkLog2PkEnt(D)=-\sum_{k=1}^{\left|y\right|}P_kL...
2019-03-25 20:47:07
215
原创 Pytorch实现各种2d卷积
普通卷积使用nn.Conv2d()，一般还会接上BN和ReLu参数量NNCin*Cout+Cout(如果有bias，相对来说表示对参数量影响很小，所以后面不考虑)class ConvBNReLU(nn.Module): def __init__(self, C_in, C_out, kernel_size, stride, padding, affine=True): supe...
2019-03-15 14:58:02
4422
4
原创 LeetCode day day up
01两数之和用哈希表（python字典）优化运行时间class Solution: def twoSum(self, nums, target): ""&
2019-02-23 00:38:13
314
原创 算法图解阅读笔记
算法图解阅读笔记第一章第二章第三章第四章第一章二分查找比简单查找快算法运行时间以增速度量大O表示法，不以秒为时间单位O(log n)比O(n)快# 二分查找def midsearch(data,target): low=0 high=len(data)-1 while low<=high: #这里是<=因为要运行到范围只有一个元素的
2019-01-30 15:25:31
244
原创 论文笔记：Cross-Modulation Networks For Few-Shot Learning
这两天读完的一篇论文,Universitat Autònoma de Barcelona和Google Brain对小样本学习的研究,已被NIPS 2018 Workshop on Meta-Learning接收。其中的研究思路值得mark学习下。论文不长，除去引用和实验表格和图片,内容才3页，所以能很快读完。但里面涉及到许多概念需要补其他论文，所以需要一定时间理解，以下简单总结整理：Abstr...
2018-12-21 19:51:10
1276
原创 Pytorch对Tensor的各种“特别”操作
经过一段时间的Pytorch使用，发现提供的Tensor类型中大部分操作都很好理解，比如各种数学操作（abs，add，asin，mul，div）和它们组成的复合操作（addcdiv，addcmul）等。下面将对于写代码时，我遇到的一些常用的“特殊”操作，总结mark下：clamp 截断用来“截断”tensor，使每个元素都保持在min~max范围内torch.clamp(input,min...
2018-12-02 17:52:38
7860
原创 Pytorch 1.0 多gpu训练尝试
单GPU开始用过全局指定os.environ["CUDA_VISIBLE_DEVICES"] = "0"的方法，但是运行会爆奇怪的cudnn错误，后面改成下面写法运行通过my_device="cuda:0" #这里的0可以根据需要改为指定的gpu id#对于模型model=model.to(device=my_device)#对于数据input_data=Variable(input_...
2018-11-30 16:49:05
4652
2
原创 Pytorch1.0rc + torchvision + fastai 安装
首先，安装好anaconda环境，这个直接去官网(传送门)搞定就行然后，添加清华大学源（不然下载巨慢）conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.ed...
2018-11-22 11:22:54
3953
3
原创 一些开源书籍下载地址汇总
明明是免费开源的书，CSDN上居然还有人好意思收下载积分，这里汇总下下载地址，无套路直达github下载，还有为防止被墙另外提供百度云盘地址。吴恩达 机器学习秘籍 中文版百度云包含 中英版本 提取码: br2mgithub 百度云...
2018-11-14 17:16:21
10942
原创 Python绘制心形
一个绘制心形的小脚本支持两种类型的心形，支持汉字，支持自定义大小。github：https://github.com/QueenSAD/some_funny_codes.git直接上代码：# -*- coding: UTF-8 -*-import mathdef fun1(x, y): return (x**2+y**2-1)**3-(x**2)*(y**3)def f...
2018-11-14 15:40:52
8728
3
原创 Python 数据处理
收集整理平时跑实验遇到的数据处理问题（不定期更新）文件处理相关文件遍历文件名序列化获取特定文件路径图片处理PIL文件处理相关文件遍历用os.walk()比较方便示例代码：import osworkdir='./Data/'for root,dirnames,filenames in os.walk(workdir): for name in filenames: ...
2018-10-27 17:25:09
744
原创 Pytorch卷积层手动初始化权值
由于研究关系需要自己手动给卷积层初始化权值，但是好像博客上提到的相关文章比较少（大部分都只提到使用nn.init里的按照一定分布初始化方法），自己参考了下Pytorch的官方文档，发现有两种方法吧。所以mark下。import torchimport torch.nn as nnimport torch.optim as optimimport numpy as np# 第一一个卷积层...
2018-10-18 18:22:59
12926
3
原创 Pytorch可视化工具tensorboardX（安装不踩坑，已修改）
Pytorch也能用的tensorboard啦，虽然Pytorch还有visdom可视工具，但是对于从tensorflow转来或者双修党来说，还是tensorboard用起来习惯点咯。首先上项目地址：https://github.com/lanpa/tensorboardX安装方法（如何不踩坑）：首先默认你已经安装好pytorch(如果木有，为什么点进来呢)安装tensorboardX...
2018-09-30 16:42:54
61171
13
原创 简单好用的python参数解析库fire
读github上的很多pytorch源码时，发现大部分用的都是argparse来进行参数解析，虽然功能强大，但是还是复杂了一些，后来发现有谷歌开源fire库，发现参数解析变得简单了很多呢~首先，安装fire：pip install fire超简单使用范例：# save the file as train.pyimport firedef train(p1=0, p2=...
2018-09-03 20:55:11
1576
原创 论文笔记：Prototypical Networks for Few-shot Learning
Prototypical Networks for Few-shot Learning（用于小样本学习的原型网络） 论文中心思想：通过神经网络学会一个“好的”映射，将各个样本投影到同一空间中，对于每种类型的样本提取他们的中心点(mean)作为原型（prototype）。使用欧几里得距离作为距离度量，训练使得测试样本到自己类别原型的距离越近越好，到其他类别原型的距离越远越好。测试时，通过对到每类原...
2018-08-14 16:53:40
17382
15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人