weixin_41913844的博客

原创 科研利器-----插件

chrome浏览器插件，能帮你快速找到论文对应代码chrome-extension://aikkeehnlfpamidigaffhfmgbkdeheil/popup.html

原创 Lua安装使用随笔

安装sudo apt-get install libreadline-devcurl -R -O http://www.lua.org/ftp/lua-5.3.3.tar.gztar zxf lua-5.3.3.tar.gzcd lua-5.3.3make linux testsudo make install运行

原创 python随笔

1 传值和传址 -----python里的“传对象引用“https://www.cnblogs.com/salane/p/9287380.html

原创 ubuntu常用命令

安装显卡驱动sudo ./NVIDIA-Linux-x86_64-450.66.run -no-x-check -no-opengl-files -no-nouveau-check

原创 numpy+gym备忘录

函数reshapea = np.array([[1., 1., 3.], [1., 1., 3.], [1., 1., 3.]])print(a.reshape(1,-1))b = a.reshape(1,-1)print(b)print(a)[[1. 1. 3. 1. 1. 3. 1. 1. 3.]][[1. 1. 3. 1. 1. 3. 1. 1. 3.]][[1. 1. 3.] [1. 1. 3.] [1. 1. 3.]]

原创 可视化工具

Netrona viewer for neural network, deep learning and machine learning models.下载链接：https://github.com/lutzroeder/Netron安装：pip install netron使用：import netronnetron.start('extracted/models/model.h5')

原创 如何优雅的在word中插入代码

https://highlightcode.com/就是这么简单。

原创 自然语言处理_02信息论基础

熵（entropy）如果X是离散型随即变脸，则X的熵为：H(X)=−∑x∈Xp(x)log⁡2p(x)H(X)=-\sum_{x \in X} p(x) \log _{2} p(x)H(X)=−x∈X∑​p(x)log2​p(x)约定 0log0=00log0=00log0=0。熵的单位为二进制比特bit。熵又成为自信息self-information，表示信息源X每发送一个符号提供的平...

原创 《强化学习在阿里的技术演进与业务创新》读书笔记_00建模

1 背景知识介绍机器学习算法大致可分为3种：监督学习、非监督学习、强化学习。在阿⾥移动电商平台中，⼈机交互的便捷，碎⽚化使⽤的普遍性，页⾯切换的串⾏化，⽤户轨迹的可跟踪性等都要求系统能够对变幻莫测的⽤户⾏为以及瞬息万变的外部环境进⾏完整地建模。基于监督学习的方式缺少有效的探索能力，系统倾向于给消费者推送曾经发⽣过⾏为的信息单元（商品、店铺或问题答案）。而强化学习作为⼀种有效的基于⽤户与系统交互...

原创 自然语言处理_01基本概念和介绍

1 提出问题如何让计算机能够自动或半自动地理解自然语言文本，懂得人的意图？如何让计算机实现海量语言文本的自动处理、挖掘和有效利用，满足不同用户的各种需求，实现个性化信息服务？2...

原创 无法新建文件夹的有效解决方案

复制以下代码到记事本里，保存为 1.reg，双击运行。Windows Registry Editor Version 5.00[-HKEY_CLASSES_ROOT\Directory\Background\shellex\ContextMenuHandlers][HKEY_CLASSES_ROOT\Directory\Background\shellex\ContextMenuHandle...

原创 KL散度

KL 散度是一种衡量两个概率分布的匹配程度的指标，两个分布差异越大，KL散度越大。定义如下：p(x) 是目标分布，q(x)是去匹配的分布，如果两个分布完全匹配，那么散度又叫相对熵，在信息论中，描述的是q去拟合p的产品的信息损耗。KL 散度是非对称，即 D(p||q) 不一定等于 D(q||p) 。KL 散度经常作为优化的目标。...

原创 非线性分类——决策树

今天我们来讲非线性分类器。为什么要使用非线性分类器呢？因为有时候数据未必是线性可分的。常见的非线性方法有：线性扩展的思想线性扩展模型。即把非线性数据通过一个非线性转换，变为新的数据分布，并且这些数据符合线性分布。这样就可以使用线性方法进行分类处理。核函数方法。2.非线性的思想最近邻k近邻决策树神经网络集成学习决策树决策树的目标：产生一棵泛化能力强的决策树。决策...

原创 什么是计算复杂度、P问题、NP问题和NP-C问题

首先时间复杂度的概念。时间复杂度并不是用来表示一个程序解决问题需要花费多长时间。而是当问题规划扩大，数据量增加后，程序需要的运行时间增长有多快。若不管数据量有多大，花费的时间始终是一样多的，那么成具有O（1）的时间复杂度。若数据量增加多少，花的时间随之增加多长，两者存在线性关系，则称O（n）。例如找出n个数中的最大值。像冒泡排序、插入排序等，数据扩大2倍，时间变为4倍，属于O(n^2)一...

原创 生成模型与判别模型

监督学习的任务是学习一个“模型”。这个模型可以使给定的样本数据生成一个输出数据，且这个输出数据应尽可能与标签数据吻合。监督学习方法可以分为两大类：当学到的这个模型是真正的“模型”时，我们称之为生成方法（generative approach）。当学到的模型只是一种映射关系时，称为判别方法（discriminative approach）。对应的模型分别叫做生成模型（generative model...

原创 HMM前向-后向算法

首先通过计算以下给定的HMM模型中，求出三天观察是(Dizzy,Cold,Normal)的概率是多少来感受HMM的计算过程。上图HMM模型的参数对应如下形式：trainsition_probability = [[0.7,0.3],[0.4,0.6]]转移矩阵 emission_probability = [[0.5,0.4,0.1],[0.1,0.3,0.6]]发射矩阵 ...

原创 UCI 机器学习数据集

目录UCL网址部分数据集介绍UCL网址部分数据集介绍鸢尾花鸢尾花是最常用的模式识别数据集。该数据集包含3个类，每个类包含50个实例，其中每个类指的是一种虹膜植物。第一类可以与后两类线性分离; 后两类不能彼此线性分离。预测属性attribute：鸢尾花类别一共5列，第5列是类别。...

原创 强化学习入门与实践系列—0.强化学习序论

1.强化学习解决什么问题强化学习（Reinforcement learning，以下简称RL），主要解决序贯决策问题，即需要连续作出决策的问题。2.RL如何解决问题首先来看监督学习。监督学习是通过从大量带有标签的数据输入中学习到特征，因而当下一个数据输入时，可以通过识别其特征映射到对应的标签，达到智能感知的目的。RL则不同，它不关心输入长什么样，只关心当前输入（状态）下采取什么动作才能完成...

原创 pytorch知识点总结

1. linspace它是linear space的缩写，中文含义为线性等分向量，线性平分矢量，线性平分向量。 然后从PyTorch的官方网站上找到了这个函数的详细说明。torch.linspace(start, end, steps=100, out=None, dtype=None, layout=torch.strided, device=None, requires_grad=Fals...

原创 ubuntu屏幕放大+复制粘贴共享

1.屏幕放大（修改分辨率）右上角进入settings

转载 解决虚拟机VMWareTools图标灰色（安装VMwareTools）+【重新安装VMwareTools】按钮可用

大神们的方法实在千秋万变，一个比一个复杂，摸索出一个真正能点亮灰色按钮的方法。解决办法如下：1.关闭虚拟机；2.在虚拟机设置分别设置CD/DVD、CD/DVD2和软盘为自动检测三个步骤即可；3.再重启虚拟机，灰色字即点亮。如果默认就是自动检测，无法安装VMware，这时候可以把CD/DVD设置成VMware安装目录中的linux.iso...

原创 ubuntu下安装pyenv+anaconda3-5.3.0+cuda+tensorflow+

1.pyenv按照GitHub上的教程：安装之前要限安装curl 和git-core:sudo apt-get install curl git-core接着开始正式安装：$ curl -L https://raw.githubusercontent.com/yyuu/pyenv-installer/master/bin/pyenv-installer | bash安装完成后，根...

原创 李宏毅老师《1天搞懂深度学习》

Deep Learning• 上學期的「機器學習」錄影• DNN: https://www.youtube.com/watch?v=Dr-WRlEFefw• Tips for DNN: https://www.youtube.com/watch?v=xki61j7z-30• CNN: https://www.youtube.com/watch?v=FrKWiRv254g• RNN (Pa...

原创 Spinning Up

OpenAI推出强化学习项目Spinning Up 为通用人工智能铺路我们的软件包旨在为那些对深度强化学习感兴趣，且希望学习并使用，但不清楚如何将算法转化为代码的人，提供一个中间步骤。我们试图让这成为我们这一项目的起点。”Spinning Up项目是OpenAI大型教育服务中的一部分。2019年2月，该机构将举办一个Spinning Up讲习班，另一个讲习班将与加州大学伯克利分校的Center...

原创 TD Temporal-Difference Learning 时序差分法（差分学习）

temporary英 ['temp(ə)rərɪ]美 [ˈtempəreri]adj. 临时的，暂时的;短暂的n. 临时工，临时雇TD算法是RL的核心算法。TD是DP和MC算法的结合。Like DP, TD methods without waiting for a final outcome (they bootstrap)。TD(0), or one-step TDAdvan...

原创 安装过程中遇到的各种问题

利用anaconda建一个gymlab虚拟环境知乎教程：https://zhuanlan.zhihu.com/p/26985029出现的问题：1.conda不是内部或外部指令2.gymlab环境的使用：To activate this environment, use:#> activate gymlabTo deactivate an active environment,...

原创 介绍一种养眼的IDEA/Pycharm/Clion配色方案

https://blog.csdn.net/yuhaowow/article/details/78601808?utm_source=blogxgwz4

原创 贝尔曼方程

原创 David Silver深度强化学习第4课-免模型预测

https://www.bilibili.com/video/av9831252http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching_files/MC-TD.pdf

原创 David Silver深度强化学习第3课 - 动态规划

https://www.bilibili.com/video/av9930653http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching_files/DP.pdf

原创 David Silver深度强化学习第2课 - 马尔科夫决策过程

https://www.bilibili.com/video/av9833386http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching_files/MDP.pdfDavid Silver深度强化学习第2课 - 马尔科夫决策过程

原创 David Silver深度强化学习第1课- intro-RL

深度强化学习入门视频列表：第一课：https://www.bilibili.com/video/av9831889/ PPT:http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching_files/intro_RL.pdf快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl + Q插入...