- 博客(103)
- 收藏
- 关注
RSS订阅原创 从mongoDB里加载到pyspark总是有bson.int64.int64的数据
当你去找什么序列反序列方法时，作为一个pyspark小白，真是不懂怎么操作，各种CloudPickleSerializer尝试了半天也不知道具体怎么弄。之后再转成pyspark dataframe，这时候就可以直接指定IntegerType或者LongType了，而且里面是有数值的。就是遍历从mongoDB拿到的doc，只要value是bson.int64.int64这个类型的，就先把它转成int。因为show不了，用select，collect也会报错，很难去找到到底是哪里有问题。
2023-04-24 02:55:29
370
1
原创 TypeScript 根据struct的attribute的名字来取值
最容易想到最trivial的办法就是用switch或者if else 一个一个值去判断它的名字是否等于传入的字符串s。其实传入的时候不把s定义为string，而是定义keyof myStruct 就好了，再也不用傻傻地写判断分支了。假如有一个interface struct。更简单的方法，JavaScript直接。就可以，但TypeScript好像不行。
2023-04-19 03:14:15
383
原创 如果你使用了＜iframe＞但是不显示内容
iframe内嵌的网页链接复制到浏览器可以看到内容，但是用iframe看不到。你的链接在前面没有加http://。localhost也要加。
2023-04-19 03:01:45
1514
原创 DataBricks jar包写的相对路径文件找不到
因为它源代码的逻辑是在运行目录创建一个results文件夹，再把所有的以expectedName命名的results文件写到里面（folderPath+expName+suffix），但是谁知道DataBricks运行jobs的目录在DBFS哪里。写到这里我突然想到或许可以尝试每次新建新的job来上传新的jar包，但懒得再尝试了，这个结论也是我尝试了多次打包上传才发现的。anyway，我突然灵机一动，既然jar包内部是一个black box我动不了，那我可以在参数上做文章啊。我可真是一个大天才！
2023-04-19 02:56:58
185
原创 Golang 如何判断一个podman container是否在running
【代码】Golang 如何判断一个podman container是否在running。
2023-04-02 23:37:24
165
原创 Golang os.Write 不是 atomic 的
Golang os.Write 不是 atomic 的，在parallel process 中容易产生 write read race。更好的做法是先写到一个temp file里，再os.Rename()
2023-04-02 23:29:28
107
原创 Script Identification of Multi-Script Documents: A Survey
这是一篇2017年来自新疆大学的Survey，写得不是很好，没有提出什么观点，没有很好将各种方法串连起来，各种分类阐述也很粗暴。而且由于是2017年的文章，其中对当前研究的工作的总结已经不太具有太多的价值。但是其它方面的整理分类工作还是有一定价值，适合对script identification（脚本识别）这个领域没有太多了解的人了解一下。...
2022-07-18 03:19:42
745
原创 Text Recognition in the Wild: A Survey
这是来自华南理工2020年的一篇survey，主要讨论的是场景文本识别（scene text recognition，STR）领域的现状与一些发展方向。
2022-07-18 03:12:03
545
原创 Hamming OCR: A Locality Sensitive Hashing Neural Network for Scene Text Recognition
当前的OCR模型太大，直接应用在中文等多字符语言系统的识别中，会导致过大的存储成本（主要是projection matrix的存储）和较大的计算量，如果直接缩减d（字符级特征向量的维度）会损害模型性能，直接缩减L（词汇表的长度）会限制应用场景。...
2022-07-18 03:08:56
287
原创 【量化】A Quantization-Friendly Separable Convolution for MobileNets
将深度卷积+BN+ReLU+点卷积+BN+ReLU替换成深度卷积+点卷积+BN+ReLU（+L2正则化）
2022-07-18 03:03:32
342
原创 【剪枝】ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression
剪枝的思想可以被总结为一句话：（以某一标准）评估每一个神经元的重要性，移除不重要的那些神经元，再finetune整个网络来恢复精度。所以，剪枝一般有三个阶段：filter selection，pruning，与fine-tuning。...
2022-07-18 02:58:38
430
原创 【量化】Post-Training Quantization for Vision Transformer
Ranking aware+Bias correction+Nuclear Norm Based Mixed-Precision Quantization
2022-07-18 02:48:55
1554
1
原创 【Backbone】MOBILEVIT: LIGHT-WEIGHT, GENERAL-PURPOSE,AND MOBILE-FRIENDLY VISION TRANSFORMER
文章的主要思想是用transformer来代替convolution去进行global processing，而convolution主要是来进行local processing。
2022-07-18 02:37:29
275
原创 【量化】PTQ4ViT: Post-Training Quantization Framework for Vision Transformers
作者的idea来源于对ViT中激活值的分布的观察，以及对不同评估量化误差的指标对比的观察。
2022-07-18 02:25:26
1132
原创 利用torch.fx进行后量化
torch.fx 量化支持——FX GRAPH MODE QUANTIZATIONtorch.fx目前支持的量化方式：Post Training QuantizationWeight Only QuantizationDynamic QuantizationStatic QuantizationQuantization Aware TrainingStatic Quantization其中，Post Training Quantization中的Static Quantiza
2021-10-30 11:19:52
2186
原创 2021-10-30 用torch.fx后量化的bug记录
报错：ValueError: input model must be a GraphModule, please run torch._fx.symbolic_trace on your model before using quantize_fx. Got type:<class ‘main.EVAL’>原因：模型中有不是graph module的部分解决方案：提供的torch._fx.symbolic_trace来看是哪个部分出问题了：st = symbolic_trace(net.
2021-10-30 11:18:33
1933
原创 【Leetcode】动态规划题思路总结（Medium）
根据难度分为了三篇，Medium中回文串相关的会单独介绍一篇。目录Medium62. 不同路径64. 最小路径和198. 打家劫舍213.打家劫舍 II740. 删除并获得点数1143. 最长公共子序列最长公共子串300. 最长递增子序列375. 摆动序列Medium62. 不同路径爬楼梯的二维版本，不同的是路只能一格一格走状态：dp[i][j]到达当前格子[i][j]的可能的路径数递推公式：dp[i][j] = dp[i-1][j] ...
2021-08-16 00:40:04
219
原创 【leetcode】动态规划题思路总结（Easy）
全部写下来发现太长了，就根据难度分为三篇了。Easy70. 爬楼梯 / 509. 斐波那契数这道题可以算是最经典的动态规划题了状态：dp[i] 到达第i台阶可能的跳法递推公式：dp[i] = dp[i-1] + dp[i-2]初始状态：dp[0] = 0，dp[1] = 1，dp[2] = 2（这个边界条件也可以设为dp[0] = 1，dp[1] = 1）class Solution(object): def climbStairs(self, n): .
2021-08-15 23:15:16
132
原创 多任务学习优化总结 Multi-task learning（附代码）
Multi-task Learning(Review)多任务学习概述多任务学习优化（Optimization in Multi-task learning）Multi-Task Learning as Multi-Objective Optimization 阅读笔记Multi-Task Learning Using Uncertainty to Weigh LossesGradNorm：Gradient Normalization for Adaptive Loss Balancing
2021-07-29 03:08:52
15792
7
原创 【leetcode】53. 最大子序和的贪心解法
题目：给定一个整数数组 nums ，找到一个具有最大和的连续子数组（子数组最少包含一个元素），返回其最大和。输入：nums = [-2,1,-3,4,-1,2,1,-5,4]输出：6解释：连续子数组[4,-1,2,1] 的和最大，为6 。除了常用的动态规划分治方法以外，还有一种基于贪心的算法，看起来很简单，细细想来实则很精妙：class Solution(object): def maxSubArray(self, nums): """ :t...
2021-07-26 00:12:58
195
原创 PyTorch 代码流程（简单例子）
一、模型构建这个写成了类，一般要继承torch.nn.Module来定义网络结构，然后再通过forward()定义前向过程。下面以一个很简单的两层全连接网络为例：# netclass net(nn.Module): def __init__(self): super(net, self).__init__() self.fc1 = nn.Linear(50, 50) self.fc2 = nn.Linear(50, 10) def forward(self,
2021-07-21 23:05:03
1029
原创 Column-and-constraint generation
论文地址：Solving two-stage robust optimization problems using a column-and-constraint generation method之前介绍过一个column-and-row generation方法，这次介绍一个更加常用的Column-and-constraint generation（C&CG）。从论文题目就可以看出，这个方法主要用于two-stage robust optimization (RO) ，也就是robust
2021-07-06 02:59:44
3347
4
原创 ResNet & MobileNetV1 & MobileNetV2设计对比分析
MobileNetV1论文地址：MobileNets: Efficient Convolutional Neural Networks for Mobile Vision ApplicationsMobileNetV2论文地址：MobileNetV2: Inverted Residuals and Linear BottlenecksResNet论文地址：Deep Residual Learning for Image Recognition关于这些网络结构的介绍已经有很多了：MobileN
2021-07-02 11:34:10
1945
原创 Column-and-row Generation 列和行生成算法（三）
论文地址：Linear Programs with Column-Dependent-Rowsthe dual of (MP) - MP的对偶问题Dual master problem：基于DMP中的DMP-y，我们可以写出yk的reduced cost：实际上，这个式子很难去真正地衡量yk的cost，因为像第一节中说的一样，Pricing model对新列的判定不一定仍然有效，因为PP中只有对对偶的部分描述（只有对列的部分）仍然可用。这种情况下，cost很有可能是正值，生成将会提前
2021-06-29 07:17:36
608
1
原创 Column-and-row Generation 列和行生成算法（二）
上一节大概介绍了一下这个算法可以解决的问题，这一节仔细讲一下当我们拿到一个formulation之后，怎么应用这个算法。CDR问题形式与三个假设的讨论上一节中给出了两个例子：quadratic set covering model (QSC) 二次集合覆盖问题和multi-stage cutting stock (MSCS) 多阶段木材下料问题。MSCS：先把木材按一定的cutting pattern切成intermediate rolls（第一阶段），再把中间roll按不同的cutting p
2021-06-29 03:58:11
556
1
原创 批标准化（Batch Normalization）
为什么要进行BN？简单一句话，就是为了训练参数更好更有效地向前传播。而为什么参数会出现不好传播的情况呢？主要原因是激活函数的使用。为了增加模型的非线性表达能力，在层与层之间常常加上一层激活函数。而这层激活函数的存在会使得数据分布产生变化，大部分激活函数都会有一个敏感区间，而非敏感区间的数据有可能就在多层的参数传递后丢失了。尤其是在层数特别深的情况下，未经过标准化的数据起到的作用相当有限。所以，BN层的作用是把一个mini-batch内的所有数据，从不规范的分布拉到正态分布。这样做的好处是使得数据
2021-06-25 19:18:22
348
2
原创 Column-and-row Generation 列和行生成算法（一）
行生成算法与列生成算法其实行生成算法（Row Generation/Constraint Generation）与列生成算法（Column Generation）单独的算法解释是有的：“行生成，列生成”学习笔记浅析constraint generation（约束生成，行生成）和column generation（列生成）然而当两个算法需要统一成一个算法（Column-and-row Generation，以下简称CRG）的时候，发现相关的中资料特别少，那我就来抛砖引玉吧。行生成算法简单来
2021-06-22 08:23:54
3092
原创 列生成（column generation）的应用问题
当我们讨论列生成算法，一定会要了解一个木材下料问题(The cutting stock problem)，问题的形式为，相关的问题解析有很多：单纯形法和列生成算法解释线性规划技巧: 列生成(Column Generation)列生成算法求解矩形下料问题（Matlab代码）列生成和分支定价这篇文章主要想把重心放在，当应用列生成算法时会遇到的一些问题及可能的解决方案。抽象来说，列生成的思路是在子区域（只包含部分列）先生成一个最小可行性产品（MVP），再去寻找可能减少成本（reduced
2021-06-22 04:10:37
1294
原创 【算法综述】分层强化学习（HRL）
分层的优点时间上的抽象（Temporal abstraction）：可以考虑持续一段时间的策略 迁移/重用性（Transfer/Reusability）：把大问题分解为小问题后，小问题学习到的解决方法可以迁移到别的问题之上 有效性/有意义（powerful/meaningful）-状态上的抽象（state abstraction）：当前的状态中与所解决问题无关的状态不会被关注不同的最优分层最优（Hierarchically optimal）：遵循分层结构，但是每一个子部件不一定是局部最优 回
2021-06-21 18:49:20
8531
原创 【leetcode】54. 螺旋矩阵
思路观察螺旋规律从 matrix[0][-1] 为起点，开始向右出发，那么第一次会走 n 步，n = matrix[0].size()向下转，会走 m - 1 步，m = matrix.size()向左转，n - 1 步向上转，m - 2 步因此，控制好步数，和步数的变化，将所有元素依次填入数组，即可得到答案使用方向数组 vector<vector<int>> dd ，参考图解：【螺旋矩阵 II】【螺旋矩阵 II】螺旋行走，图解方向数组设计方向数组的四个方向，与螺
2021-06-16 22:53:09
317
原创 【python】批量导出IEEE的文献信息为段落文本
问题背景：想了解一个领域最近在做些什么，要做一个全面的survey，但是从IEEE导出的.csv文件不是那么方便看。为了get重要信息（文章名、刊源、摘要），想把这些信息整合到一个方便阅览的文件（.tex）上。由于相关文献太多，手动操作浪费时间也不是那么实际。已有从IEEE导出的搜索结果，一个.csv文件。问题描述：将.csv文件中所关注的信息（我的需求是文章名、刊源、摘要），按照段落格式排列输出到一个.txt文件上脚本：# -*- coding: cp936 -*-#Descr
2021-04-14 17:01:51
356
原创 Additive secret sharing 加性秘密共享（加法，乘法，向量乘法）
目录前言Additive secret sharingSecure additionSecure multiplicationSecure vectorization前言本文前一部分主要来自另一篇博客：https://blog.csdn.net/qq_33154865/article/details/106271611，在此感谢这篇博客的作者。后一部分是因为我想整体地补充完整additive secret sharing，所以加上了addtion和vectorizati.
2021-01-16 19:42:19
8165
7
原创 Truthful Double Spectrum Auction (TDSA)
前言读论文看到这个双边频谱拍卖框架，但是云里雾里地研究了好久才看懂，感觉要是能写清楚一点能更容易理解。S1: Bayer Grouping拍卖者基于conflict graph，利用bid-independent grouping算法来组成不同的conflict-free buyer groups。因为是频谱拍卖，这里的conflict graph可以根据locations或者interference range来画。这里的bid-independent grouping可以用现有的算法，主要是
2021-01-14 17:57:13
270
原创 人脸遮挡检测的几种思路
遮挡是一直以来困扰研究人员及技术人员的问题，原因是存在遮挡后，不管是对人脸进行检测，还是其它属性识别（如关键点、角度、姿态、年龄等）的效果都会有很大影响。为了消除这些影响，一种思路是先判断是否被遮挡，再进行属性识别，另一种思路是在对人脸进行属性识别时加入对遮挡的处理，提高算法的鲁棒性。目前，暂时还没有通用的解决方案。对...
2021-01-14 16:40:47
6135
1
原创 【python】一些有用的文件操作函数：批量移动、抽取等
import os, random, shutilimport tqdm as tdqmimport argparsedef splitDataset(fileDir, trainFile, valFile): """ 从fileDir随机分训练集与验证集 """ pathDir = os.listdir(fileDir) #取图片的原始路径 filenumber=len(pathDir) print(filenumber) rate.
2020-12-20 10:11:11
331
原创 【实用向】提高测试效率的一些小技巧
一、编写自动化测试脚本在linux系统下，自动化的脚本很容易编写，只要把需要执行的指令都写在一个.sh脚本中就行了：vim run_test.shecho "Begin to run!!! "# #########生成raw_video list# echo "Create raw video list... "# video_list_path = ************/video.txt# find ***********/raw_video -name '*.mp4' &
2020-11-08 16:47:31
375
原创 新安装的新版Android Studio导入已有项目的一些坑
新版Android Studio与旧版不止页面有区别，安装后导入已有项目会报错。在检查了import的文件夹路径等没有问题的情况下，仍然没办法build。主要有以下的问题：1、Cannot find System Java Compilerhttps://blog.csdn.net/u012604283/article/details/69545917project structure里指定SDK、JDK及NDK的位置，也可在File->other settings->Def
2020-10-12 16:42:28
435
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人