June

原创 Algorithm2e

\usepackage[ruled,linesnumbered]{algorithm2e}\begin{algorithm} \caption{High-level knowledge extraction by \textbf{\textbf{Bayesian Ne}}twork} \label{BN_algo} \KwData{current period $t$, initial inventory $I_{t-1}$, initial capital $B_{t-1}$, demand s.

原创 pytorch与tensorflow网络输入图片通道在前在后（channel_first和channel_last）

首先，Tensorflow支持图像输入通道在前和通道在后的两种模式，而Pytorch只支持通道在前的输入模式：Tensorflow supports two form of data as the input of its convolutional layer, channels first and channels last. In the first format, data are in the form of [N, C, H, W] where N is the batch size, C

原创 gym中env的unwrapped

import gymenv_name = 'CartPole-v0'env = gym.make(env_name)print(env)<TimeLimit<CartPoleEnv<CartPole-v0>>>print(env.unwrapped)<CartPoleEnv<CartPole-v0>>区别如上所示，不加unwrapped的话，这个env是被套了一层壳的，每个episode是有步数的限制的。...

原创 在Python环境下使用pgmpy构建动态贝叶斯网络并进行参数学习（附详细代码）

首先列举当前主要构建贝叶斯网络的一些工具：1. 软件：GeNIe、SMILE2. MATLAB包：BNT3. Python包：pgmpy、libpgm、pomegranate4. R包：dbnlearn如果是单纯的进行贝叶斯网络的学习与推理的话，那我建议用GeNIe或者是pgmpy这两个。其中GeNIe软件中文教程比较多，教育版免费使用，而且不需要写代码，只用鼠标操作即可（除了贝叶斯网络还可以很方便的手动构建动态贝叶斯网络），但是要注意这个软件是在windows系统下面的。如果是在Pyt

原创 怎样理解Actor-Critic与Policy Gradient之间的关系

其实不应该把Actor-Critic看做是DQN和PG之间的结合PG是通过MC方法来获得总的回报G的，而这个方式其实有点慢，需要完整的采样。而TD就是针对这个问题改进的措施，DQN本质是哪个就是用网络来逼近TD这个算法，Actor-Critic 可以看做是用TD的方法来改进PG...

原创 Ubuntu下pip与conda

首先是怎样用两个东西来配置国内的源：1.https://blog.csdn.net/baidu_41617231/article/details/1078489162.https://blog.csdn.net/qq_36338754/article/details/96452627?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.control&depth_1-utm_..

原创 序贯决策与强化学习

https://www.jiqizhixin.com/graph/technologies/2efcaf86-4dd0-4984-901f-241802b1316f

原创 强化学习实验中的技巧

https://github.com/transedward/pytorch-dqn/blob/master/utils/seed.py

原创 深度强化学习调参方法

https://zhuanlan.zhihu.com/p/99901400

原创 Python中的那些内置函数【待续】

1. lambda函数又叫匿名函数，也就是这个函数不像 "def calculate():" 这样的函数有具体的名称，其形式为：lambda 参数:操作lambda函数的优势是允许快速的定义单行的简单的函数，可以在任何需要函数的地方# 单个参数的：g = lambda x : x ** 2print g(3)"""9"""# 多个参数的：g = lambda x, y, z : (x + y) ** zprint g(1,2,2)"""9"""# 与map函数一起用

原创 不动点问题

相应的代码链接：https://gist.github.com/TimeTraveller-San/8e37399d4740928a258f395413bde2e7

原创 有趣的概率题

1.甲、乙两支篮球队进行比赛，采取七场四胜制。每场比赛甲赢的概率都是0.5，求他们要打满7场才能决定胜负的概率是多少要打7场才能够决定胜负，假如说最终是甲胜，则说明前面6场甲一定是3胜3负。这样的结果有20种可能情况【6个里面选三个】，每种情况可能性为0.5^7。所以最终的可能性就是2*20*0.5^7=5/16https://zhidao.baidu.com/question/1691131902421147748.html?qbl=relate_question_72. 连续抛一枚公平...

原创 基于用户聚类的推荐

原创 推荐系统 AB 测试

原创 推荐系统通用技术架构

原创 Netflix 经典推荐系统架构

原创 抓取文件数据

https://blog.csdn.net/edj_13/article/details/87738081

原创 数学中的 argmax 和 argmin 什么意思

arg即自变量 argument 的英文缩写例如对于函数F(x,y):argminF(x,y) 就是指当 F(x,y) 取得最小值时，变量 x,y 的取值argmax F(x,y) 就是指当 F(x,y) 取得最大值时，变量 x,y 的取值

原创 机器学习中的独立同分布（I.I.D.）假设

随机过程简介随机过程的本质有两个要点：一是随机，随机说明任何时候结果都存在不确定性，即分布函数（或者概率密度函数）二是过程，过程体现的是时间；在时间t时，随机变量服从某一分布，另一时刻随机变量服从某一分布；如图所示：（随机过程中的所有随机变量服从高斯分布，就是高斯过程，泊松过程同理）独立同分布的定义独立同分布是指随机过程中，任何时刻的取值都为随机变量，如果这些随机变量服从同一分布，并且互相独立，那么这些随机变量是独立同分布如果随机变量 X1 和 X2 独立，是指 X1 的取值

原创 XML基础知识

两种技术：XML 和 JSON XML XML是属于大而且全的东西，程序员往往选择JSON，但是其实XML更好一点咯 XML包括简单元素与复杂元素，它们是嵌套关系，树形结构 简单元素只包含文本在里面 复杂元素包含别的标签 <>内部的东西叫做tag 两个<>之间的东西叫text XML比HTML更有意义因为它里面的东西你都可以自己去定义啊 ..

原创 LeetCode_1

Python3 解法：class Solution: def twoSum(self,nums,target): n = len(nums) # 获取nums的长度，是4 for x in range(n): # 外层循环先取出下标0，对应着数组里的第一个数字 for y in range(x+1,n): # 内层循环取出下标1，对应着数组里的第二个数字 if nums[x] + nums[y] == target: # 如果第一个数字+第二个数字=target ..

原创 2.5 数据结构与算法之——递归专题【待更新】

递归定义一个函数直接或者间接调用自己先来看一段写的很好的话“当在一个函数运行期间调用另一个函数时，在运行被调函数之前，系统需要完成三件事：（1）将所有的实参、返回地址等信息传递给被调函数保存（2）为被调函数的局部变量分配存储区（3）依照被调函数保存的返回地址将控制转移到调用函数当有多个函数构成嵌套调用时，按照后调用先返回的原则，上述函数之间的信息传递和控制转移必须通过栈来实现，即系统将整个程序运行时所需要的的数据空间安排在一个栈中，每当调用一个函数时，就为它在栈顶分配一个存储区，

原创 贝尔曼方程中的深刻数学原理

https://www.sohu.com/a/380315869_701814

原创 Python中的内置数据结构

https://www.cnblogs.com/myworld7/p/8449614.html#_label0_0列表 list：用方括号表示，例如 [1,2,3]元组 tuple：用圆括号表示，例如(1,2,3)，可以理解为固定的列表，内部的元素不可以更改字典 dict：用花括号表示，例如{‘Mon’:2, 'Tue':3}这样的形式，键不可重复，值可重复集合 set：初始化用圆括号加方括号的方式进行([1,2,3])，集合中每个元素都是无序的、不重复的任意对象...

原创 一些好的Python专栏

https://blog.csdn.net/qq_41871826/category_9682300.html

原创 强化学习的两大基本问题

预测即给定强化学习的6个要素：状态集S, 动作集A, 模型状态转化概率矩阵P, 即时奖励R，衰减因子γ, 给定策略π， 求解该策略的状态价值函数v(π)控制也就是求解最优的价值函数和策略。给定强化学习的5个要素：状态集S, 动作集A, 模型状态转化概率矩阵P, 即时奖励R，衰减因子γ, 求解最优的状态价值函数v∗和最优策略π∗　...

原创 Python中的代码与命名规范

https://blog.csdn.net/shudaqi2010/article/details/70908078https://blog.csdn.net/warm77/article/details/78353632

原创 Python工程中__pycache__文件是干嘛的？

今天写了一个Python的代码，里面包含了两个我自己写的函数，分别叫 is_python.py 和 rgb2gray.py ，发现在主函数调用它们运行之后，在文件夹主目录下出现了一个名为__pycache__的文件，里面存放了命名如下的两个文件is_rgb.cpython-36.pycrgb2gray.cpython-36.pyc可以发现，这两个文件的结尾都是 .cpython-36.pyc 其中cpython代表的是c语言实现的Python解释器，-36代表采用的Python版本为3.6说

原创 Python 入门推荐

Python 学习的网站推荐：www.runoob.com/

原创 2.4 数据结构与算法之——队列

队列的定义：一种可以实现“先进先出”的存储结构，类似于排队去买票，先排的先进去；可以在两端进行操作，但是只能固定在一端插入固定在一端删除；而栈只能在一端进行插入和删除的操作队列的分类：链式队列【用链表实现】—— 很简单了，跟之前没啥区别，我们就不讲了静态队列【用数组实现】—— 静态队列通常都必须是循环队列，算是有点难度了循环队列讲解：（1）静态队列为什么必须是循环队列如果是传统的数组的话，出队要从 Front 出，那它只能加，入队要从 Rear 入，它也只能加，那你下面的空间都浪

原创 C++程序设计【谭浩强】第四篇：面向对象的程序设计

第11章 继承与派生第12章 多态性与虚函数第13章 输入输出流第14章 C++工具

原创 C++程序设计【谭浩强】第三篇：基于对象的程序设计

第8章 类和对象面向对象方法概述面向过程：适用于规模比较小的程序，其实是面向一个个函数实现一个个功能进行的，程序 = 算法 + 数据结构面向对象：适用于规模比较大的程序，面向数据和函数封装成的对象，程序 = 多个对象 + 消息【对象 = 算法 + 数据结构】对象：客观世界中的任何一个具体的事物都可以看做具体的对象，在C++中，对象由数据和函数组成属性：对象的静态特征，例如班级的学生人数、所在教室行为：对象的动态特征，例如班级开会等，行为由消息控制封装：一是将数据和代码封装在一个对

原创 2.3 数据结构与算法之——栈

引言之前在讲到C语言中的内存分配时提到栈这个名词了，内存分为两种：静态内存和动态内存其中，静态内存是在栈中分配的，动态内存是在堆中分配的一个不规范的代码举例：#include <stdio.h>#include <malloc.h>void f(int k){ int m; double * q = (double *)malloc(200);}int main(void){ int i = 10; int * p = (int *)mall

原创 Carla 入门教程分享

教程一1. Carla的基本概念：https://pythonlibrary.net/2020/04/05/carla-autonomous-driving-simulator-intro/2. 使用Python与仿真环境交互：https://pythonlibrary.net/2020/04/12/carla-autonomous-driving-simulator-core-concepts/3. 用摄像头识别车辆实例：https://pythonlibrary.net/2020/04/18

原创 8. 强化学习之——模仿学习

课程大纲注：本文所有内容源自于B站周博磊老师更新完的强化学习纲要课程，听完之后获益很多，本文也是分享我的听课笔记。周老师Bilibili视频个人主页：https://space.bilibili.com/511221970?spm_id_from=333.788.b_765f7570696e666f.2感谢周老师 :)...

原创 C++程序设计【谭浩强】第二篇：面向过程的程序设计

第3章 程序设计初步算法：解决问题所采用的方法和步骤（数值算法 和 非数值算法）C++程序包括：（1）预处理命令：#include 或者 #define（2）声明部分：对数据类型和函数的声明，有函数内声明，也有函数外声明（3）函数全局变量与局部变量：在函数内声明的是局部变量，范围到程序结束；在函数外声明的是全局变量，范围到函数外结束C++中的 9 种控制语句：（1）if 条件语句（2）for 循环语句（3）while 循环语句（4）do...while 循环语句.

原创 C++程序设计【谭浩强】第一篇：基本知识

第1章 C++初步知识C++的基本标准程序形式# include <iostream> //头文件没有.h# include <string> //string头文件using namespace std; //使用命名空间stdint main(void){ string str; //增加了字符串变量这个数据类型string return 0;}最简单的C++程序# include <io.

原创 如何保存与调用 pytorch 训练好的网络模型

问题描述深度神经网络的模型训练起来十分困难，那么训练好的 pytorch 网络模型就应该把它保存起来，下次使用的时候直接调用就行了，应该怎么保存这个模型呢？解决方法Pytorch 主要提供了两种方法，分别是：保存模型参数的方法 和 保存整个模型的方法方法一：只保存模型参数#保存torch.save(the_model.state_dict(), PATH)#读取the_model = TheModelClass(*args, **kwargs)the_model.load_st

原创 MatplotlibTutorial——Matplotlib的基本使用【Jupiter Notebook代码】

加载必要的包import numpy as npimport pandas as pdimport matplotlib.pyplot as plt基本线图绘图(学会查文档)# 数据输入x = [0,1,2,3,4]y = [0,1,2,3,4]# 设置图片大小plt.figure(figsize=(5,3),dpi=200)# 画第一个函数plt.plot(x,y,label='y=x',color='green',marker='^',markersize=10,linewi

原创 解决 plt.savefig() 生成空白图片的问题

问题描述当你在使用 matplotlib.plot 中保存图片的 plt.savefig() 命令时，偶尔会出现图片保存好了点开看却是一张空白图片，此时你的代码往往是这样的：import matplotlib.pyplot as plt"""你的一堆代码"""plt.show()plt.savefig("××××.png")解决方案先保存图片，再 show() 图片。因为 show() 相当于又新创建了一个新的空白 figure（有点类似于 MATLAB 中的 figure