MrCharles在CSDN

原创 CSDN学院：NumPy极简教程，欢迎订阅学习

NumPy是Python的最重要的扩展程序库之一，也是入门机器学习编程的必备工具。然而对初学者来说，NumPy的大量运算方法非常难记。本课程通过形象的图示来解析numpy，为您的编程助一臂之力。现在订阅课程享受优惠。优惠代码：NumPyProhttps://edu.csdn.net/course/detail/31568...

原创 用latexdiff实现修改的跟踪

对得到的diff.tex进行编译，既可以看到template.tex和template1.tex两个文件的差异。首先要打开MikTex console，选择packages，查看latexdiff是否已经安装。如果没有安装，则安装latexdiff。

原创 R 下载GEO数据总是超时

没办法，试了很多，只能自己手动下载。

转载 getGEO 函数

GSEMatrix 若为TRUE，则下载Matrix文件；若为FALSE，则下载SOFT文件。GEOquery（library(GEOquery) ） 里面的getGEO 是一个很重要的函数。getGPL 若为TRUE，则下载GPL注释文件；若为FALSE，则不下载。destir 读取文件所在的位置，或是下载的位置。返回值：GDS/GSE/GSM/GPL。GEO 决定下载的数据种类。filename 如果已经下载好了文件，直接读取。功能：从GEO数据库下载数据。

原创 Learning with Errors

【from wiki】容错学习问题 （通常称LWE问题，是 Learning with errors 的缩写）是一个机器学习领域中的怀疑难解问题。由 Oded Regev 在2005年提出，他因此赢得2018年哥德尔奖。这是一个极性学习问题的一般形式。Regev同时证明了LWE问题至少比几个最坏情况下的格问题要难。这个问题在最近[1][2] 被用作一种难度假设以创建公钥密码系统，例如 Peikert 提出的容错环学习密钥交换。虽然来自机器学习领域，但是学习时出错问题实际上是理论计算机科学中的计算复杂度问

原创 未来可以基于3D打印扫描和互联网实现实时隔空投物

现在3D打印和3D扫描其实已经逐渐被人们重视了，而且在生活中有一些应用。现在疫情严重，发快递又不是很方便，我在想能不能做一个隔空投递，通过网线，不依赖任何其他的东西，只是凭借信息传递实现隔空投物。怎么实现这个呢？我想一个3D打印和扫描仪器加上互联网就可以实现。假设我想从深圳寄一支笔给上海，传统方式下，要先将笔打包，写上地址，交给邮寄员，邮寄公司运送到上海，交给上海的收件人。未来的实时隔空投物就不用这么麻烦了，在深圳使用3D扫描仪，扫描这支笔的结构，把信息保存，并且通过网络发送到上海的接收端，接收端

原创 python保存数据的各种方式比较（磁盘空间，时间消耗）

Npy and binary files are both really fast and small for dense data. If the data is sparse or very structured, you might want to use npz with compression, which’ll save a lot of space but cost some load time.If portability is an issue, binary is better th.

原创 LSTM CNN Transformer各有各的好处

I’ll list some bullet points of the main innovations introduced by transformers , followed by bullet points of the main characteristics of the other architectures you mentioned, so we can then compared them.TransformersTransformers (Attention is all you

原创 不同屏幕尺寸相差大么和不同尺寸屏幕比较

在这里插入图片描述

原创 为什么我们需要ablation study?

用于验证哪一个组件起了最重要的作用；2）验证哪一组参数达到最好效果，其他参数为何不可以3）最主要，为什么可以这么好的效果

原创 什么是peer review

“Peer review”趣图（原图来自网络）

原创 Hamming distance 可以做损失函数么？

Hamming distance 是不可微的，选择做损失函数是不行的，要做一些smoothing才行！Hamming loss is by definition not differentiable, so for small movements of trainable weights you will never experience any changes in the loss. I imagine it is only added to be used for final measurement

原创 使用jupyter notebook 时明明已经安装了某个lib,还是出现ModuleNotFoundError

这是因为jupyter notebook要选择不同conda环境，但是运行jupyter 的时候，没有使用到这个环境，即使你已经conda activate这个环境，再执行jupyter。解决方法就是将conda环境写入jupyter notebook的kernel中在jupyter notebook中不同环境之间是通过切换kernel实现的。在conda环境下创建kernel文件，命令是conda install -n 环境名称 ipykernel。先进入conda的某个环境中，然后执行以下命令。p

原创 首尔来电（1）：2021-2022

如唔

原创 内存不足够怎么办，swap空间来相伴

工作研究中经常需要intensive的模型训练，但是目前可用的两台机器都是32GB的内存搭配24GB显存的RTX3090,因此使用起来经常发现内存不足够，进程会被系统直接kill。可是我们又想把所有的数据集加载到内存中，加快我们模型的训练速度，不然一边读取数据一边训练模型，GPU使用率非常低，训练的时间会很久。经过摸索，发现增加swap空间是可行的。swap交换空间只有在内存用尽的时候才会被使用到。虽然swap使用的是硬盘来代替内存空间，速度会慢非常多，但是只要数据能够加载到内存之中，多一点点数据在sw

原创 又到10·24

又是一年1024，今年没啥好总结的，就总结一下平时工作学习用到的一些小技巧吧：1） 预则立。凡事动手之前都应该先思考一下计划，等到计划周全之后再去做，一般就会顺利很多。2） 做好记录。在做的过程中详细的记录所有的结果。各种参数，各种设置，各种尝试，一定要详尽记录。3） 及时总结。每个小阶段都需要及时总结，找到目前的问题，难点，困难等。4） 不要懒惰。懒惰是第一大杀手。...

原创 利用TF dataset改善模型训练效率的最佳实践

不好的实践已经提前把数据全部保存为tfrecord， 以便提升模型训练的时候的效率，数据集大小大概为4G左右。使用如下数据集构建流程：def load_tfrecord_dataset(tfrecord_name, batch_size, shuffle=True, buffer_size=1024): """load dataset from tfrecord""" raw_dataset = tf.data.TFRecordData

原创 tf.data.Dataset 不要和random包混用

自从Tensorflow1.4发布之后，Datasets就成为了新的给Tensorflow模型创建input pipelines的方法。DDataset 有如下模式：从你的数据创建数据集在数据上进行一些预处理迭代每一个数据迭代是按照流这种模式进行的，所以整个数据集是不需要一次性加载到内存。一个典型的dataset构建过程：def ListFiles(basedir,ext): list_ds = tf.data.Dataset.list_files(basedir+"/*."+e.

原创 Hill-climbing 算法python 实现

Hill-climbing 其实也不是很复杂，在这个博文里面，我假定一个512维度的空间中存在一个点point1 ，我的目标是随机初始化一个点，通过Hill-climbing找到这个目标点point1。 站在当前点，通过探索所有可能的走法去判断下一步哪一个走法是能够朝着目标靠近的。过程其实也不复杂，在512里面的某一个维度，走起来只有两种选择，加一个步长或者减去一个步长。如果下一步找不到比较好的选择，都不能靠近目标点，那么算法结束。具体代码可以看下面：

转载 人脸识别App面临的安全风险

（一）网络和数据安全保障机制欠缺易造成人脸数据泄漏当前关于人脸识别技术的安全技术标准和使用规范不够完善，对于人脸数据控制者的责任和义务，人脸数据主体的权利以及人脸数据在收集、存储、处理等各环节应采取的安全措施缺少相关规定。因此，人脸识别技术的大部分开发企业和应用服务提供商已采取的安全措施可能难以应对人脸识别技术面临的安全威胁，容易发生人脸数据泄露等安全事件。除此之外，网络安全生态环境持续恶化，系统的安全漏洞几乎不可避免，因此人脸数据库泄漏事件也屡见不鲜。更为可怕的是，由于生物识别信息是唯一的，是不可再生的

原创 fuzzy extractor 模糊提取器的代码解读和实现

模糊提取器 的原理可以参看博客文章：https://blog.csdn.net/MrCharles/article/details/108734526密码机制中的秘密值通常是随机串，要求是均匀分布，而且需要时可以 精确再生。而在现实世界中秘密值很难满足这一点，例如，对于类似指纹等的生物特征，并不是均匀分布的随机值，而且每次需要时，也无法精确的再现（指纹都存在一定误差）。用户进行认证最常见的方式是基于Password，短的Password用户容易记忆，但是熵值很低，安全性差；而一些长的密码短语，用户不容易记

原创 深圳来电/Call From SZ/(2)

不知不觉已经年过三十了，要不是家人提醒，都没有想起来生日已经错过。突然那一霎那，感觉没有任何人有关心关注过自己，除了父母，还有谁担心我的生活呢？这种莫名的寂寞感就跃然心头，鼻头有一丝丝酸酸的感觉。有时候也想，人生实在是太过于无趣了，感觉不到乐趣所在。人生在世，不如意者十有八九，总是要学会妥协，学会和自己和解，和世界和解。那又能如何呢？实在是提不起精神，犯懒，什么都不想做。这便是深圳来电第二篇吧。我这持续不断的积极乐观人生终究也有消极的时刻。...

原创 为什么OpenCV使用BGR而不是RGB？

https://learnopencv.com/why-does-opencv-use-bgr-color-format/Satya Mallick早期的开发者选择了BGR，为啥选择BGR呢？那时候流行的相机制造商和软件商都是用这个模式，例如微软使用的是BGR，微软的软件里面COLORREF的值的格式为0x00bbggrr。所以从那时候起，opencv就一直使用BGR。现在我们也还是使用BGR，这种反人类的设计，只能去习惯它（当然，早期它并不绝对反人类）。“Why not use RGB when e

原创 Survey: A Survey on Image Tampering and Its Detection in Real-world Photos 图像仿冒

上图：人脸交换技术上图： 图像操作的相关概念一个tamper的例子

原创 最近喜欢的几款乐器和民谣

阿朵使用的乐器：雨棍雨棍是天然仙人掌制作完成，雨棍声音一般来说是越长声音越好，另外持续的时间也越久。雨棍是模仿下雨的声音。这种乐器叫【rainstick】，起源于南美土著。老外很流行玩这个，演奏音乐的时候做伴奏。这起先是用于古代土著人祈求落雨的法器。所以叫【雨棒】。外面一般用一节空心的竹筒制作(当然也有其他材料)，先在里面横插很多杆子(或是可以产生空隙的物件)，留下空隙（从下图外形看起来有点像大号山药，上面的那些凹凸不平处其实是横穿竹筒的诸多杆子），然后填充金属小球或钉子，最后封死两头。演奏的时候拿

原创 HSV三分量

1.如果想研究雾对图像HSV三个分量的影响，通过一个无雾图像的HSV三个分量与一个带雾图像的HSV三个分量进行对比，请问要用那些指标可以表示出这些分量的不同啊？图像的信噪比？清晰度？还是什么别的？？？2.rgb2hsv函数将图像转换到HSV空间后，再用imshow函数分别显示HSV三个分量的图像，那用imshow函数显示出来的三个图象是HSV三个分量吗？我看我得到的HSV三个分量图里面是以RGB三个数值来显示每一点的像素值的，那我的得到的是HSV三个分量的图吗？3.H，S，V不是表示的是色调，饱和度，亮

原创 opencv 对齐两幅图片

https://learnopencv.com/feature-based-image-alignment-using-opencv-c-python/def alignImages(im1, im2): # Convert images to grayscale im1Gray = cv2.cvtColor(im1, cv2.COLOR_BGR2GRAY) im2Gray = cv2.cvtColor(im2, cv2.COLOR_BGR2GRAY) # Detect ORB f

原创 纯RAW数据转换为DNG格式

手上有一个没有任何header信息的RAW文件，是从相机传感器直接输出的，格式是一个一维的数组，大小是1,310,720，也就是1024*1280.想使用rawpy来模拟ISP的处理流程，但是很不幸的是，rawpy不支持直接处理这种没有任何header信息的RAW文件。报错信息如下：LibRawFileUnsupportedError: b'Unsupported file format or not RAW file'好在，我找到了一个解决方案：（http://im.snibgo.com/proc

原创 深圳来电(1)

自从开始在TCL研究院实习，生活作息变得非常规律和稳定，每天七点钟绝对会准时起床，因为约定的巴士只会在楼下等到七点半，过时不候。每天下午六点准时下班，约定的巴士在办公室楼下也只会等待一刻钟的时间。错过了就需要搭地铁了。我很喜欢这辆巴士，从阳台上北边沿着宝石路一路南下，东边是郁郁葱葱的羊台山，西边是忽隐忽现的铁岗水库，隐藏在茂密的山林之间。傍晚的时候，路边陈列紧致的山林依然失去了骄阳，而远处山坡隆起的地方依然是夕阳普照，有一丝丝的安祥。巴士每一天都是同样的乘客，司机也是同一个人，大致哪个站哪些人下车都已经

转载 单目视觉＞双目视觉＞RGBD比较

目前，视觉SLAM（SLAM是“Simultaneous Localization And Mapping”的缩写，可译为同步定位与建图）可分为单目、双目(多目)、RGBD这三类，另还有鱼眼、全景等特殊相机，但目前在研究和产品中还属于少数。从实现难度上来说，大致将这三类方法排序为：单目视觉>双目视觉>RGBD。单目相机SLAM简称MonoSLAM，仅用一支摄像头就能完成SLAM。最大的优点是传感器简单且成本低廉，但同时也有个大问题，就是不能确切的得到深度。一方面是由于绝对深度未知，单目SL

原创 有趣的漫画

原创 高考加油，读书依然是成长最快的捷径

今天高考，作为受益于高考，受益于中国教育制度的过来人，今天想对所有考生说，尽力奋斗吧，读书依然是成长最快的捷径。当然，高考也并不是全部，他也不能决定终身。我也见过许多人考上了好大学，却虚度光阴。我想，高考的意义，在于提醒我们，时刻去拼搏，时刻进取，时刻保持积极乐观。加油。...

原创 实验性综述：低光照图像增强

W. Wang et al.: Experiment-Based Review of Low-Light Image Enhancement Methods来自以上文章总结。

原创 常见的数字图像处理

原创 峰值信噪比和结构相似性

本文摘自黑龙江大学硕士论文: 基于U-Net网络的低光照图像增强算法的研究与实现MAX 当作 信号， MSE 当作 噪声

原创 learning to see in the dark: 弱光场景下基于相机底层信号的图像处理

Chen, C., Chen, Q., Xu, J., & Koltun, V. (2018). Learning to see in the dark. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 3291-3300).针对以往的黑暗条件下图像处理的一些挑战，特别是短曝光的图像没有对应的ground truth的问题，该文提出了一个数据集，有一些列的短曝光的图像，同时.

原创 宝石东路的日记（2）

最近家妹出了一些变故，不过好在问题不大，希望可以妥善解决。挫折，困难，是每个人都不可避免会遇到的。我们每个人需要过这一关。人生关键时期，总是会有一些其他的外因让我们偏离航道，让我们失去信心。可是我相信每个人都有能力去战胜，周围的师长，同学，朋友，他们都会给你一些帮助。多走出自己的内心，多和人交流沟通，始终可以解决问题的。身处其中，...

原创 收到了CSDN送的图书，表示感谢｜对《程序员的三门课》的一表格表示疑问

突然收到快递短信，去物业一看竟然是CSDN送的图书，感觉很惊喜。最近颇为忙碌，都没有仔细写过什么博客，不过这种有人惦记的感觉还是挺不错的。感谢CSDN。这本书读了一下，也挺推荐给大家的，感觉还是非常有用的。不过读者也许会有自己的想法，例如对不同编程语言的分类问题：书中的这个表格中，对于C#恐怕是仁者见仁智者见智，我不太赞同他的结论，按照道理C#应该不能算作动态语言，这一点希望各位读者在评论区给出自己的意见。网络上找了另外一张图，Y轴的Strong weak 表示语言是强类型还是弱类型，X轴的Dy.

原创 宝石东路的日记（1）

一晃又是五月份了，时间实在是太快了。立夏时间，天气早就已经热起来了。找了许久的工作，实习，到现在也没有眉目。希望五月份能够好起来。

原创 百题突击16:1，Roberta、Albert 分别对 Bert 做了哪些改进 2，XLNet 如何实现 Permutation Language Model 3，CycleGAN的生成效果为啥一般都

Roberta、Albert 分别对 Bert 做了哪些改进请参考:https://zhuanlan.zhihu.com/p/347846720XLNet 如何实现 Permutation Language Model请参考:https://zhuanlan.zhihu.com/p/70257427CycleGAN的生成效果为啥一般都是位置不变纹理变化，为啥不能产生不同位置的生成效果请参考:https://blog.csdn.net/weixin_41697507/article/detai