自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

CD's Coding

听过自己哭泣,才会懂得珍惜

原创 【Grpc】使用grpc配置通过端口访问的python服务

0x00 前言 近期兴趣使然的技术调研越发的少了(TTS算一个),主要的都是为了项目和任务去研究的东西。目前的情况是为了节约显存,对一个较大的模型而言,比起使用4个worker来重复的占用显存,不如只占用一份显存,但是开启服务流式或触发式地处理不同项目的需求。 于是 @caoyixuan93 学长...

2020-04-16 18:41:43 515 0

原创 【HNS】试着领一下 HandShake 为开源社区发放的 HNS Coin

0x00 前言 最近呢,开源社区除了这么一件事: 《@ 开发者,这个 GitHub 项目可以褥羊毛》 简单概述一下其大致意思呢就是: GitHub 有一个区块链项目 Handshake 正在面向 GitHub 上前 25 万名开发者派送 4,246.99 HNS 币。大约价值 1358.56 美...

2020-02-20 22:31:52 2033 0

原创 【Pip】ValueError: ("Missing 'Version:' header and/or METADATA file at path

0x00 前言 有时候,pip install 用的好好的,突然就一屏幕红字: ERROR: Error checking for conflicts. Traceback (most recent call last): File "c:\programdata\anaconda3...

2019-08-24 10:59:02 1672 0

原创 Advanced Algorithm 听课笔记(Useful Inequalities & Balls and Bins)

0x00 前言 作为学术生涯的最后一门课,选了一门据说是最难的,上下来的感觉也确实是难得不行,不太懂…… 决定照着ppt和上课的笔记整理一下,以此争取达到复习的目的。 (意思是有些虽然写出来了,但自己都不见得明白,有的部分存疑后续去询问之后再做修改) 在随机算法的问题中有大量不等式常被使用,为了在...

2019-06-18 11:54:54 1466 1

原创 Advanced Algorithm 听课笔记(Introduction & Complexity Class)

Advanced Algorithm 听课笔记(Introduction of Randomized Algorithm) 0x00 前言 作为学术生涯的最后一门课,选了一门据说是最难的,上下来的感觉也确实是难得不行,不太懂…… 决定照着ppt和上课的笔记整理一下,以此争取达到复习的目的。 (意...

2019-06-11 19:06:46 1490 0

原创 【Matplotlib】在Jupyter交互页面中绘制折线图对比(自用函数)

最近数据对比的任务比较常见,比如好些模型的横向对比, 对于 Loss、PRF、Hits 之类的数据,有时需要作log,有时需要去除前面几个值, 还要考虑数据不对齐、记录文件格式不一致等诸多问题,总之主需求是鲁棒性, 稍微写了个画表格的函数,暂时还比较乱,后续有时间再作优化好了, 现在暂时写在这作为...

2019-05-30 12:36:44 1595 0

原创 【PyTorch】TypeError: stack(): argument 'tensors' (position 1) must be tuple

0x00 前言 近期有个版本适配的任务,说白了就是把 PyTorch 0.3.0 的代码更新适配 PyTorch 1.0.2, PyTorch 的向上兼容性在此时就可以体现出来了,令人欣慰的是直接升级版本后并没有太多报错, 其中一个比较突出的问题就是 torch.stack() 和 torch.c...

2019-04-21 13:40:01 3590 0

原创 【!Mode::】解决编码导致的 LaTeX IDE 中汉字乱码的问题

0x00 前言 最近想试着用LaTeX写写作业,也是为了方便未来写论文的时候可以不那么手忙脚乱, 从IDE开始就陷入了选择困难,最终选定使用 CTex 和 TeXStudio 这两者, CTeX 一直没有更新过了,是官网的那个 CTeX_2.9.2.164_Full.exe (1.31G), Te...

2019-03-20 11:45:54 689 0

原创 【sudo】ImportError: pip包未安装在当前环境的解决方案

0x00 前言 通常在使用 pip 指令安装 Python 需求的包时,会需要使用 sudo pip install 获取权限, 或者,在 Jupyter Notebook 里可以采用 ! 的语法调用 pip 指令直接安装需要的包,例如: ! pip install xlrd ! sudo pip...

2019-01-16 21:58:04 459 0

原创 【Tensorflow】超参调整时对于模型重加载轻量化的测试

0x00 前言 由于各类模型在落地使用时都或多或少地需要一些超参的调整(学名调参、俗称炼丹), 但如果每次修改少量超参之后,都要把网络和模型重新初始化一遍,这样就太花时间了, 所以考虑能否尽量减少,甚至可以一次初始化,N个 for 循环的形式来解决超参测试呢? 0x01 测试代码 import o...

2019-01-02 11:39:55 344 0

原创 【HTTPServer】借助Python建立简易的HTTP服务

0x00 前言 局域网内有个想传的文件,但是跨平台了怪麻烦的。 于是想着建立个http服务来传吧,但是又懒得下载东西,哦对了我有Python,那就足够了~ 0x01 防火墙打开端口 为了开启服务,首先需要打开一个对外端口以便其他机器访问进来, Python中自带的HTTP Server默认占用的...

2018-11-22 11:48:20 438 2

原创 【Docker】在Linux下安装与配置Docker环境

0x00 前言 没有太多说的,这个可能也到处都有…… 每个人的方法大概也大同小异? 主要是自己第一次接触docker,就当作简单的做一个记录与总结吧。 (注意:本篇和以前的环境配置不同,这次主要着眼于问题的解决) 0x01 记录 查看当前系统版本 Linux 系统需要不小于 3.10.x 下述输...

2018-11-20 11:17:32 5722 0

原创 【Tensorflow】逻辑斯特回归(Logistic Regression)的简单实现

### Introduction 为了简单的介绍和讲解一下Tensorflow的基本操作, 我决定做一个简单的逻辑斯特回归实现与代码讲解, 但不太会用Markdown的方式来展现一个JupyterNotebook, 姑且就按照“说明—实例”的方式来解释逐个代码块好了。

2018-10-07 02:30:53 555 0

原创 【DataProcessor】简易的通用多进程数据生成工具类(Advanced for HVD)

0x00 前言 基于先前实现的Python多进程共享内存队列实现的SMQueue(原文地址), 0x01 实现思路 0x02 Source Code # coding: utf-8 # ========================================================...

2018-10-03 17:46:52 374 0

原创 【Multiprocessing】Python多进程内存共享数据队列SMQueue

0x00 前言 自从先前研究了下Python的多进程计算(原文链接)之后, 深深地感受到多进程处理的美好,并决定运用到模型训练时, 作为 feed data 的数据处理模块使用,实现工具类 SharedMemoryQueue。 但是众所周知,python的进程间通讯比较复杂,更别提大量进程的时候…...

2018-09-30 12:05:33 1400 1

原创 【Julia】Linux下配置Julia交互开发环境(Julia notebook)

0x00 前言 近期Julia这门语言突然被拉入了大众视野,我也是被一句 “Walk as Python,Run as C” 深深的吸引住了, 如果它没有在吹牛,那么这门语言说不定确实是我所想要的,那么,学学看吧? 本篇文章主要用于介绍如何搭建便于学习与测试的REPL环境,先在Linux上试...

2018-08-18 16:28:17 2548 0

原创 【bitset】C++方便快捷的比特位管理标准库

0x00 前言 C++的STL向来是一个非常厉害且好用的东西, 提供了大量近乎优化到极致的解决方案,在日常编程或是竞赛中, STL使用的娴熟可以省去大量的时间和脑力得出非常优质的解法, 这回是我突然看见了bitset这个我不太常使用的类库,用于状态压缩非常巧妙, 于是决定相见即是有缘,就...

2018-08-09 17:04:19 253 0

原创 【Multiprocessing】采用多进程计算处理数据

0x00 前言 在数据处理方面,通常会将较为简单的源数据存于本地磁盘中, 每次使用时读取,经过生成函数生成模型可以直接使用的训练数据, 而这种数据通常为矩阵的形式,考虑到padding位的情况下通常较大, 那么,在源数据的量较大,而生成的数据的空间占用增量巨大无法存于本地, 就需要采用生...

2018-06-28 21:23:32 459 0

原创 【Tensorflow】自主实现包含全节点Cell的LSTM层(Cell-Holding LSTM Layer)

0x00 前言 常用的LSTM,或是双向LSTM,输出的结果通常是以下两个: 1) outputs,包括所有节点的hidden 2) 末节点的state,包括末节点的hidden和cell 大部分任务有这些就足够了,state是随着节点间信息的传递依次变化并容纳更多信息, 所以通常末状态...

2018-06-28 17:17:30 456 0

原创 【Tensorflow】自主实现部分连接层(Partial Connect Layer)

0x00 前言 通常而言,在NLP领域的机器学习中时常会有这样的需求:argmaxP(wi∣θ)argmaxP(wi∣θ) argmax P(w_i \mid \theta) 较为常见的做法是有多少个单词就做一个多少维的全连接层加softmax,但是, 如果词汇表 |V||V||V| 很大...

2018-06-28 15:54:40 1035 0

原创 第三十五次codeforces竞技结束 #483 Div 2

0x00 前言 啥都不说了,居然出了四题, 令我不仅产生了错觉:老选手也能有朝一日恢复到刚开始集训时的状态? 觉得浑身充满了活力QvQ!(可惜了这次用的不是自己的号QvQ,220名呀……) 那么这次比赛得到了一个怎样的教训呢?(看见那些TLE了么) ——老老实实给我用 printf() ...

2018-06-12 10:12:12 128 0

原创 第三十五次codeforces竞技结束 #482 Div 2

0x00 前言 感觉上次打了一场热身之后,脑子都转的灵活些了,果然一定要多写题防生锈, 这次两个小时的CF Div2,打了一个半小时不到出了三题,第四题恕我看题意都看睡着了, 然后抱着出了三题的喜悦去休息了,早上起来一看,FST了……QAQ 原因居然是写完了代码之后脑子有问题的加了一个特判...

2018-05-15 21:33:41 125 0

原创 第三十四次codeforces竞技结束 #480 Div 2

0x00 前言 时隔好久,又想着忙里偷闲打一场codeforces活动下快要生锈的脑袋 emmmm,虽然只出了三题,但也还凑合了…… 这次的教训就是:以后打codeforces不要作死加 ios::sync_with_stdio(false); 0x01 A. Links and...

2018-05-10 00:58:36 129 0

原创 【Pytorch 0.4.0】Windows操作系统下搭建Pytorch平台

0x00 前言 就在今天,PyTorch 官方 GitHub 发布 0.4.0 版本,Pytorch主页上的OS也令人愉快的增加了Windows的选项。 这意味着PyTorch对于没有Linux/Unix系统,且没有远程开发机的学习者而言,更加易于上手便于使用了。 而对于非初学者而言,这次的...

2018-04-25 14:34:26 1501 2

原创 【Reverse】Tensorflow中屏蔽Padding处理变长序列的双向LSTM

0x00 前言 通常我们处理双向LSTM的时候,序列长短不一参差不齐,就不可避免的需要进行padding, 实际上句子长度可能如下所示,为[2, 4, 5],就需要被padding成这样才能作为矩阵传入计算: array([[1, 2, 0, 0, 0], [2, 1, 4...

2018-04-19 20:11:46 3513 2

原创 【RemoteJoy】PSP图像采集方案

0x00 前言 只是简单的想给别人看看自己PSP1000(没错就是很元老级)里的命运石之门和刀剑神域里的画面。 图像采集?难道很难么? 试试看吧,好久没有探索新技能了 0x01 准备 RemoteJoyLite https://download.csdn.net/download...

2018-03-25 23:08:47 449 0

原创 【Lightgbm】AttributeError: 'LGBMRegressor' object has no attribute 'best_iteration'

0x00 情景复现 使用 lightgbm 进行简单便捷的fit操作,尝试使用early_stopping, 以选择最好的一次迭代进行预测时,调用best_iteration时报错: import lightgbm as lgb gbm = lgb.LGBMRegressor(objec...

2018-03-21 11:15:23 4936 0

原创 【拓扑排序】包含拓扑深度的拓扑排序 LeetCode 329

0x01 题面 LeetCode 329. Longest Increasing Path in a Matrix 传送门 Given an integer matrix, find the length of the longest increasing path. From ea...

2018-03-05 16:00:37 462 0

原创 【Pathlib】面向对象的Python3的文件系统路径

【Pathlib】面向对象的Python3的文件系统路径 Pathlib:将文件系统路径作为对象使用 《pathlib —— Object-oriented filesystem paths》 0x00 前言 目前,Python 科学栈中的所有主要项目都同时支持 Py...

2018-02-06 15:44:58 725 0

原创 【Pytorch】RuntimeError: arguments are located on different GPUs

0x00 前言Pytorch里使用optimizer的时候,由于其会记录step等信息, 有时会希望将optimizer的内容记录下来,以备之后继续使用, 那么自然而然的会想到使用API中自带的 torch.save(object, path) torch.load(path)再配合上 ...

2017-11-07 17:59:58 4560 0

原创 【Autograd】深入理解BP与自动求导

“所有数值计算归根结底是一系列有限的可微算子的组合” ——《An introduction to automatic differentiation》 BTW:也可以点击传送门去我的个人主页看这篇文章哦~ 符号语言的导数 《Deep Learning》 Chap 6.5.5 代数表...

2017-10-20 12:53:23 4742 0

原创 第三十三次codeforces竞技结束 #441 Div 2

0x00 前言哇,真的是好久好久没有打Codeforces了呢…… 距离上一次(2015-04-14 23:47)竟然已经过了两年半之久… 嘛,总之……还凑合QvQ……

2017-10-17 18:14:54 316 0

原创 【Chrome-crx】键盘模拟鼠标点击网页按钮

0x00 前言最近在做一个标注任务: 简单的说,就是屏幕上有好多小方块,选中其中的部分, 然后在页面下面的四个标注按钮(红绿蓝黑)上点一下, 小方块们就会被染成这个按钮的颜色,需要把所有的小方块们染色完。请各位想象一下:纯鼠标工作,在一个白底的网页上来回翻飞舞动,眼睛都看花啦! 所以我决定...

2017-10-11 17:12:40 6289 1

原创 【优先队列】百度2018校招编程题—序列合并

0x00 前言又一次当枪手的经历,但是,说实话好久没敲C++了有些手生,一个是freopen传参是啥来着想半天没想起来,一个是居然忘记优先队列的pop是不return的了……此题为: 百度2018校招 机器学习/数据挖掘/自然语言处理方向 编程题 第2题 0x01 题目描述定义函数 f(n)=...

2017-09-27 21:24:20 816 2

原创 【Pytorch】入门Pytorch,初次上手请多指教

前言本篇为在.ipynb页面上的自学尝试记录, 可以在本人的个人主页上查看或下载自行测试,关于Windows10如何配置Pytorch请移步前篇文章即可~

2017-09-27 08:32:02 1143 0

原创 【Pytorch】Windows10下配置Pytorch环境

0x00 前言 前言什么的也懒得说了…… 总之: 听说你Pytorch很牛, 不乐意让我Windows用, 而我又听说pytorch用来训练模型超好用, 不仅没头脑而且不高兴!我要在我的windows上配一个! [NEW] PyTorch在0.4.0版已完美适配Windows,...

2017-09-18 19:24:54 4904 1

原创 【selenium】Windows平台下使用python自动登陆网关 (更新至 v1.1.0)

0x00 前言所里开启了两步验证与二级加密(就不说是哪里了); 以前的auto_login用不了了,所以尝试着有没有什么新法子; 看到一个用 Phantomjs + Selenium 的解决方案,着手试试看好了。

2017-08-29 14:48:36 1120 0

原创 【列表解析式】Python的单行操作秀

0x00 前言 items = [line for line in open('test.txt', 'rb')] 通常,我们会在代码中看到一些形似上面的炫目操作(什么你们觉得很正常?好嘛是我菜了QvQ)我一头猛扎进了python的怀抱,正是因为“人生苦短,...

2017-08-11 11:08:41 3441 0

原创 【选课脚本】用Python网页爬虫来进行选(qiang)课 (更新至v1.0.7)

每当选课的时候,都如同打仗一般 都有自己想要的课,但是名额就那么一点 于是各显神通,有人用js,有人用chrome的console 人生苦短,我用Python

2017-06-01 08:53:18 13543 1

原创 【GraphLite】同步图运算初试-数三角形

0x00 前言图很适合进行分布式并行计算,比如最短路径,PageRank等问题,比较著名的图计算框架有Prege,cmu的GraphLab,apache的Giraph等。GraphLite属于BSP模型。 GrpahLite:https://github.com/schencoding/Grap...

2017-05-14 16:18:29 1004 1

提示
确定要删除当前文章?
取消 删除