2020年03月_北木.

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创深度强化学习之策略梯度和优化(二) — DDPG

DDPG 之前讨论的应用DQN来玩Atari游戏。然而这些都是在离散环境下完成的，其中具有有限个行为。考虑一个连续的环境空间，如训练机器人行走。在这些环境下，就不能应用 QQQ 学习了，这是因为贪婪策略在每个时间步都需要大量的优化。即使将这一连续环境离散化，也可能会失去一些重要特征，从而最终得到一个庞大的行为空间。在此情况下，很难保证收敛。为此，使用一种称为行为者评论家的新...

2020-03-27 17:40:33 1199

原创 326. 3的幂

题目描述：给定一个整数，写一个函数来判断它是否是 3 的幂次方。示例 1:输入: 27输出: true示例 2:输入: 0输出: false示例 3:输入: 9输出: true示例 4:输入: 45输出: false 解题思路1: 通过n除以3的商和余数判断代码1： class Solution: def isPowerOfThree(s...

2020-03-31 20:14:31 94

原创 637. 二叉树的层平均值

题目描述：给定一个非空二叉树, 返回一个由每层节点平均值组成的数组.示例 1:输入: 3 / \ 9 20 / \ 15 7输出: [3, 14.5, 11]解释: 第0层的平均值是 3, 第1层是 14.5, 第2层是 11. 因此返回 [3, 14.5, 11]. 解题思路: 层序遍历的过程中求平均数代码：迭代法# c...

2020-03-31 19:07:12 83

原创快乐的Leetcode --- 206. 反转链表(面试题24. 反转链表)

题目描述：反转一个单链表。示例:输入: 1->2->3->4->5->NULL输出: 5->4->3->2->1->NULL 解题思路1: 迭代法代码1： class ListNode(object): def __init__(self, x): self.val = x ...

2020-03-31 16:55:08 112

原创 912. 排序数组

题目描述：给你一个整数数组 nums，将该数组升序排列。示例 1：输入：nums = [5,2,3,1]输出：[1,2,3,5]示例 2：输入：nums = [5,1,1,2,0,0]输出：[0,0,1,1,2,5] 解题思路1: 可以使用sorted()排序，但意义不大代码1： class Solution(object): def sortArray...

2020-03-31 11:54:35 110

原创 leetcode--150--逆波兰表达式求值

题目描述：根据逆波兰表示法，求表达式的值。有效的运算符包括 +, -, *, / 。每个运算对象可以是整数，也可以是另一个逆波兰表达式。说明：整数除法只保留整数部分。给定逆波兰表达式总是有效的。换句话说，表达式总会得出有效数值且不存在除数为 0 的情况。示例 1：输入: ["2", "1", "+", "3", "*"]输出: 9解释: ((2 + 1) * 3) = 9示...

2020-03-31 11:05:03 95

原创 1162. 地图分析

题目描述：你现在手里有一份大小为 N x N 的『地图』( 网格 ) grid，上面的每个『区域』（单元格）都用 0 和 1 标记好了。其中 0 代表海洋，1 代表陆地，你知道距离陆地区域最远的海洋区域是是哪一个吗？请返回该海洋区域到离它最近的陆地区域的距离。我们这里说的距离是『曼哈顿距离』（ Manhattan Distance）：(x0, y0) 和 (x1, y1) 这两...

2020-03-29 17:35:50 152

原创深度强化学习之Capstone项目——基于DQN的赛车游戏

引言本节将介绍一个对抗DQN的实现过程，这基本上与常规的DQN相同，只是将全连接层分解为两个分支，即值分支和优势分支，且这两个分支最终汇聚在一起来计算Q函数。另外，还将分析基于对抗DQN如何训练一个智能体来赢得赛车游戏。代码实现 1. 环境封装函数 import warningswarnings.filterwarnings('ignore')import numpy as...

2020-03-28 19:53:57 1904 6

原创 945. 使数组唯一的最小增量

题目描述：给定整数数组 A，每次 move 操作将会选择任意 A[i]，并将其递增 1。返回使 A 中的每个值都是唯一的最少操作次数。示例 1:输入：[1,2,2]输出：1解释：经过一次 move 操作，数组将变为 [1, 2, 3]。示例 2:输入：[3,2,1,2,1,7]输出：6解释：经过 6 次 move 操作，数组将变为 [3, 4, 1, 2, 5, 7]。...

2020-03-28 16:02:35 137

原创常见的深度学习面试题及解答(一)

1. 在训练过程中,若一个模型不收敛,那么是否说明这个模型无效?导致模型不收敛的原因有哪些? 不能说明这个模型就是无效的，造成模型不收敛的原因有很多，可能经过调整，模型效果很好。原因：数据分类的标注不准确,样本的信息量太大导致模型不足以fit整个样本空间。学习率设置的太大容易产生震荡,太小会导致不收敛。可能复杂的分类任务用了简单的模型。数据没有进行归一化的操作。https:...

2020-03-28 12:22:11 2022

原创 820. 单词的压缩编码

题目描述：给定一个单词列表，我们将这个列表编码成一个索引字符串 S 与一个索引列表 A。例如，如果这个列表是 ["time", "me", "bell"]，我们就可以将其表示为 S = "time#bell#" 和 indexes = [0, 2, 5]。对于每一个索引，我们可以通过从字符串 S 中索引的位置开始读取字符串，直到 “#” 结束，来恢复我们之前的单词列表。那么成功对给定单...

2020-03-28 12:21:00 172 2

原创面试中的一些开放问题汇总(持续更新中ing)

请问你认为想要应聘本职位，最重要的特质是什么？可以说说对自己的评价吗？写一个函数，求两个整数之和，要求在函数体内不得使用+、-、*、/四则运算符号。请你介绍一下矩阵正定性是如何判断的,以及Hessian矩阵正定性在梯度下降中的应用...

2020-03-27 23:01:31 1125

1. 面试官让说一些C++中一些重要的点友元关系继承问题：友元关系不能继承。基类的友元对派生类的成员没有特殊访问权限。如果基类被授予友元关系，则只有基类具有特殊访问权限，该基类的派生类不能访问授予友元关系的类。（摘取：《c++ primer 第四版》）静态成员继承问题：如果基类定义 static 成员，则整个继承层次中只有一个这样的成员。无论从基类派生出多少个派生类，每个 static 成员只...

2020-03-27 22:54:36 917

原创 371. 两整数之和

题目描述：写一个函数，求两个整数之和，要求在函数体内不得使用+、-、*、/四则运算符号。示例 1:输入: a = 1, b = 2输出: 3示例 2:输入: a = -2, b = 3输出: 1 解题思路1: 加入列表中，然后求和即可代码1： class Solution(object): def getSum(self, a, b): ...

2020-03-27 21:23:22 107

原创常见的机器学习面试题及解答(一)

线性回归分析中，目标是残差最小化。残差平方和是关于参数的函数，为了求残差极小值，令残差关于参数的偏导数为零，会得到残差和为零，即残差均值为零。m 个元集到n 个元集的映射为n^m个.m 个元集到n 个元集的单射为：当 m=n 时,为 A(m,m)=m! (个) 当 m≠n 时,为0个.m 个元集到n 个元集的满射为：当mn时,情况复杂,需分类讨论 : m=n+1时,为C(m,2)A(n,n...

2020-03-27 20:41:50 1966

原创深度强化学习之策略梯度和优化(一) — PolicyGradient

引言之前所讲的各种强化学习算法，如DQN、DRQN、A3C。在这些算法中，目标都是为了找到正确的策略，以便能够获得最大的奖励。由于Q函数能够得到哪个行为是在某一状态下执行的最佳行为，因此，使用Q函数来寻找最优策略。在策略梯度的方法中，我们可以不适用策略来得到最优策略。策略梯度策略梯度是强化学习(RL)中一种令人惊叹的算法，可通过一些参数直接优化参数化的策略。在此之前，已学习了...

2020-03-27 15:35:25 1433

原创 914. 卡牌分组

题目描述：给定一副牌，每张牌上都写着一个整数。此时，你需要选定一个数字 X，使我们可以将整副牌按下述规则分成 1 组或更多组：每组都有 X 张牌。组内所有的牌上都写着相同的整数。仅当你可选的 X >= 2 时返回 true。示例 1：输入：[1,2,3,4,4,3,2,1]输出：true解释：可行的分组是 [1,1]，[2,2]，[3,3]，[4,4]示例 2：...

2020-03-27 11:28:42 141

原创 Python之any()和all()用法

用法any(x)：判断x对象是否为空对象，如果都为空、0、false，则返回false，如果不都为空、0、false，则返回trueall(x)：如果all(x)参数x对象的所有元素不为0、’ '、False或者x为空对象，则返回True，否则返回False注意事项 print(all([])) # 空列表 print(all(())) # 空元组即：空...

2020-03-27 11:27:45 365

原创 Python之Fraction和GCD求最大公约数

1. Fractionfrom fractions import Fractionprint(Fraction(100, 75))结果为：4/32. gcdfrom fractions import gcdprint(gcd(100, 75))结果为：25

2020-03-27 11:17:06 909

原创 leetcode--141--环形链表

题目描述：给定一个链表，判断链表中是否有环。为了表示给定链表中的环，我们使用整数 pos 来表示链表尾连接到链表中的位置（索引从 0 开始）。如果 pos 是 -1，则在该链表中没有环。示例 1：输入：head = [3,2,0,-4], pos = 1输出：true解释：链表中有一个环，其尾部连接到第二个节点。示例 2：输入：head = [1,2], pos = 0输...

2020-03-27 09:10:43 110 3

原创深度强化学习之A3C网络—理论及代码(小车上山)

A3C 由于DQN学习过程需要强大的计算能力和大量的训练过程。为此，DeeoMind团队提出了一种新的算法，称为异步优势行为者评论家(A3C)算法，该算法要优于其他深度强化学习算法，因为其需要较少的计算能力和训练时间。A3C的主要思想是通过多个智能体并行学习并整合其所有经验。 A3C网络还可以与其他算法产生更好的精度，在连续和离散行为空间中均有很好的效果。该网络是使用多个智能，且每个智...

2020-03-26 17:49:16 4345 8

原创多味的LeetCode --- 面试题39. 数组中出现次数超过一半的数字

题目描述：数组中有一个数字出现的次数超过数组长度的一半，请找出这个数字。你可以假设数组是非空的，并且给定的数组总是存在多数元素。示例 1:输入: [1, 2, 3, 2, 2, 2, 5, 4, 2]输出: 2 解题思路1: 使用Counter，注意元组的读取方式代码1： class Solution: def MoreThanHalfNum_Solution(...

2020-03-26 12:01:15 201

原创 999. 车的可用捕获量

题目描述：在一个 8 x 8 的棋盘上，有一个白色车（rook）。也可能有空方块，白色的象（bishop）和黑色的卒（pawn）。它们分别以字符 “R”，“.”，“B” 和 “p” 给出。大写字符表示白棋，小写字符表示黑棋。车按国际象棋中的规则移动：它选择四个基本方向中的一个（北，东，西和南），然后朝那个方向移动，直到它选择停止、到达棋盘的边缘或移动到同一方格来捕获该方格上颜色相反的卒。另...

2020-03-26 11:48:41 74

原创 leetcode--136--只出现一次的数字

题目描述：给定一个非空整数数组，除了某个元素只出现一次以外，其余每个元素均出现两次。找出那个只出现了一次的元素。说明：你的算法应该具有线性时间复杂度。你可以不使用额外空间来实现吗？示例 1:输入: [2,2,1]输出: 1示例 2:输入: [4,1,2,1,2]输出: 4 解题思路1: 利用Counter，并通过most_common将其转换为list形式。由...

2020-03-26 10:52:26 100

原创 DARQN

DARQN 上述，通过增加一个捕获时间依赖性的递归层，改进了DQN架构，这称为DRQN。那么还能进一步改进DRQN架构吗? 是的。还可以通过在卷积层顶部增加注意力层来进一步改进DRQN架构。那么,注意力层有什么作用呢?在此,注意力就是这个词的字面意思。注意力机制广泛应用于图像文字说明、目标检测等领域。以利用神经网络对图像进行文字说明的任务为例,为了理解图像中的内容,神经网络必须关注图像中...

2020-03-26 10:06:40 836

转载 Python之字典的操作汇总

python之字典字典说明字典类型：dict1 = {“键1”:“值1”，“键2”:“值2”}字典和列表一样，也能够存储多个数据列表中找某个元素时，是根据下标进行的字典中找某个元素时，是根据‘名字’，也就是键进行的字典的每个元素由2部分组成，键：值根据建访问值demo：dict1 = {'name':'lufei', 'age':'18','address':'earth'}...

2020-03-25 22:30:20 325

原创深度强化学习之基于DRQN玩Doom游戏

DRQN 为何在希望DQN按人类水平玩Atari游戏时需要DRQN？要回答这个问题，首先要了解什么是部分可观测马尔科夫决策过程(POMDP)。当对环境只有有限信息时，该环境就称为POMDP。到目前为止，在前面的内容中，已了解一个完全可观测的MDP是已知所有可能的行为和状态，尽管智能体不知道转移概率和奖励概率，但对环境信息是完全已知的，例如，在建一个冰冻湖环境中，完全已知关于环境的所有状态和...

2020-03-25 21:13:31 1233

转载 892. 三维形体的表面积

题目描述：在 N * N 的网格上，我们放置一些 1 * 1 * 1 的立方体。每个值 v = grid[i][j] 表示 v 个正方体叠放在对应单元格 (i, j) 上。返回最终形体的表面积。示例 1：输入：[[2]]输出：102个立方体分别贡献了5个单位的表面积示例 2：输入：[[1,2],[3,4]]输出：34示例 3：输入：[[1,0],[0,2]]输...

2020-03-25 12:48:09 122

原创 Python之字符串转列表(split)，列表转字符串(join)

字符串转列表str1 = "A man, a plan, a canal: Panama"print(str1.split(" "))结果为：['A', 'man,', 'a', 'plan,', 'a', 'canal:', 'Panama']列表转字符串list1 = ['A', 'm', 'a', 'n', 'a', 'p', 'l', 'a', 'n']print("".j...

2020-03-25 10:29:49 1704

原创 python去掉字符串中的标点符号

方法1：使用列表添加每个字符，最后将列表拼接成字符串import stringdef removePunctuation(text): temp = [] for c in text: if c not in string.punctuation: temp.append(c) newText = ''.join(temp) ...

2020-03-25 10:23:04 6116

原创快乐的LeetCode --- 125.验证回文串

题目描述：给定一个字符串，验证它是否是回文串，只考虑字母和数字字符，可以忽略字母的大小写。说明：本题中，我们将空字符串定义为有效的回文串。("回文串"是一个正读和反读都一样的字符串)示例 1:输入: "A man, a plan, a canal: Panama"输出: true示例 2:输入: "race a car"输出: false 解题思路1: 去除字符串中...

2020-03-25 10:01:44 99

转载 876. 链表的中间结点

题目描述：给定一个带有头结点 head 的非空单链表，返回链表的中间结点。如果有两个中间结点，则返回第二个中间结点。示例 1：输入：[1,2,3,4,5]输出：此列表中的结点 3 (序列化形式：[3,4,5])返回的结点值为 3 。 (测评系统对该结点序列化表述是 [3,4,5])。注意，我们返回了一个 ListNode 类型的对象 ans，这样：ans.val = 3, an...

2020-03-23 18:34:51 112

转载 leetcode--79--单词搜索

题目描述：给定一个二维网格和一个单词，找出该单词是否存在于网格中。单词必须按照字母顺序，通过相邻的单元格内的字母构成，其中“相邻”单元格是那些水平相邻或垂直相邻的单元格。同一个单元格内的字母不允许被重复使用。示例:board =[['A','B','C','E'],['S','F','C','S'],['A','D','E','E']]给定 word = “ABCCED”...

2020-03-23 18:10:30 97

原创免费学术资源(转自施一公博客)

Sci-Hub可用网址http://sci-hub.org.cn/（功能更加丰富便捷，含谷歌学术搜索、影响因子及全文下载链接等，强烈推荐）http://sci-hub.cc/（俄罗斯）http://sci-hub.bz/http://sci-hub.io/Sci-Hub最新可用替代网址请浏览此帖：https://discuss.sci-hub.org.cn/d/279英文文献及电子书搜...

2020-03-23 17:01:54 410 1

转载机器学习、深度学习、数据挖掘各种资源整理

Deep Learning（深度学习）：ufldl的2个教程(这个没得说，入门绝对的好教程，Ng的，逻辑清晰有练习)：一ufldl的2个教程(这个没得说，入门绝对的好教程，Ng的，逻辑清晰有练习)：二Bengio团队的deep learning教程，用的theano库，主要是rbm系列，搞python的可以参考，很不错。deeplearning.net主页，里面包含的信息量非常...

2020-03-22 11:21:03 569

原创 leetcode--784--字母大小写全排列

题目描述：给定一个字符串S，通过将字符串S中的每个字母转变大小写，我们可以获得一个新的字符串。返回所有可能得到的字符串集合。示例:输入: S = "a1b2"输出: ["a1b2", "a1B2", "A1b2", "A1B2"]输入: S = "3z4"输出: ["3z4", "3Z4"]输入: S = "12345"输出: ["12345"] 解题思路1: ...

2020-03-22 08:47:00 194

原创基于DQN的Atari游戏

首先吗，导入库import numpy as npimport gymimport tensorflow as tffrom tensorflow.contrib.layers import flatten, conv2d, fully_connectedfrom collections import deque, Counterimport randomfrom datetime ...

2020-03-21 17:18:00 4060 2

转载 365. 水壶问题

题目描述：有两个容量分别为 x升和 y升的水壶以及无限多的水。请判断能否通过使用这两个水壶，从而可以得到恰好 z升的水？如果可以，最后请用以上水壶中的一或两个来盛放取得的 z升水。你允许：装满任意一个水壶清空任意一个水壶从一个水壶向另外一个水壶倒水，直到装满或者倒空示例 1:输入: x = 3, y = 5, z = 4输出: True示例 2:输入: x ...

2020-03-21 15:17:22 113

原创快乐的LeetCode之遍历二叉树之前序、中序、后序、层序

二叉树基础知识：《大话数据结构》— “ 二叉树的遍历” 二叉树基础知识总结剑指offer面试题06----重建二叉树 leetcode–94–二叉树的中序遍历二叉树的前中后序遍历可以用递归和迭代两种方式实现，层序遍历使用BFS（广度优先搜索）实现。递归实现:前序遍历:打印-左-右中序遍历:左-打印-右后序遍历:左-右-打印二叉树前序遍历：解题思...

2020-03-21 13:15:12 258

原创多味的leetcode --- 94.二叉树的中序遍历

题目描述：给定一个二叉树，返回它的中序遍历。《大话数据结构》— “ 二叉树的遍历”示例:输入: [1,null,2,3] 1 \ 2 / 3输出: [1,3,2] 解题思路1: 按照left、mid、right的顺序递归的遍历二叉树代码1： # Definition for a binary tree node.class Tr...

2020-03-21 10:36:47 137