- 博客(38)
- 收藏
- 关注
RSS订阅原创 调度器优化笔记
总体思想是将集群配置优化过程建模为马尔科夫过程，通过训练DRL代理来动态优化集群调度器配置。目的是使作业等待时间最短，提高资源利用效率。模型部分经验部分：使用的Prioritized DDQN中的思想，方法是使用sumtree，有价值的样本被选定的概率越大。sumtree如下图所示Dueling DDQN：状态价值估计和优势函数估计是通过构建网络结构分离的，其学...
2021-12-21 16:14:39
375
原创 DDPG笔记（归纳总结）
Deep Deterministic Policy Gradient：DDPG就是用了确定性策略在DPG基础上结合DQN的特点建议改进出来的算法大体上理解：https://www.jianshu.com/p/6fe18d0d8822https://blog.csdn.net/qq_30615903/article/details/80776715DQN可以应对高维输入，而对高维的动...
2021-12-21 16:12:27
1524
原创 python笔记-编程优化NO3（阅读笔记-流畅的python）+【字节内推】
1.闭包+修饰器2.__repr__和__str__3.拆包相关4.字典相关1.闭包+修饰器闭包：一个函数包含了一个函数，并且返回了那个函数。在修饰器中用的很多。修饰器：修饰器是一个函数,接受一个函数或方法作为其唯一的参数,并返回一个新函数或方法,其中整合了修饰后的函数或方法,并附带了一些额外的功能.#闭包def outer(): x = 10 def inner(): # 内部函数 print(x) # 外部函数的一个变量.
2020-07-30 18:46:45
186
原创 python笔记-编程优化NO2（简化）
1.f-string（3.6之后有，3.8有改动）2.不定长度传参1.f-stringf-string 格式化字符串以 f 开头，后面跟着字符串，字符串中的表达式用大括号 {} 包起来，它会将变量或表达式计算后的值替换进去>>> name = 'Runoob'>>> f'Hello {name}' # 替换变量>>> f'{1+2}' # 使用表达式'3'>>> w = {'name.
2020-06-10 21:24:18
184
原创 python笔记-编程优化NO1（简化）
1.with2.异常（raise，assert）3.lambda匿名函数4.filter函数1.withpython中的with语句使用于对资源进行访问的场合，保证不管处理过程中是否发生错误或者异常都会执行规定的__exit__（“清理”）操作，释放被访问的资源，比如有文件读写后自动关闭、线程中锁的自动获取和释放等。eg：with A() as X: with B() as Y: with C() as Z: with-bo.
2020-06-01 21:26:12
131
原创 面试题——常识题，Java，Mysql（逐步更新）
常识+Java+mysql常识1.进程线程区别：根本区别：进程是操作系统资源分配的基本单位，而线程是任务调度和执行的基本单位在开销方面：每个进程都有独立的代码和数据空间（程序上下文），程序之间的切换会有较大的开销；线程可以看做轻量级的进程，同一类线程共享代码和数据空间，每个线程都有自己独立的运行栈和程序计数器（PC），线程之间切换的开销小。所处环境：在操作系统中能同时运行多个进...
2019-09-05 11:01:45
316
原创 面试题&笔试归纳——个人笔记（常见问题，逐步更新）
算法题：出栈种类：卡特兰数，1，1，2，5，14，42.。。。常识类：虚拟内存：虚拟内存隔离了各个进程的内存空间，虚拟内存可以防止应用程序直接访问物理地址。SCAN调度(电梯调度)算法，优先满足扫描方向的请求。Cookie是Web服务器发送给客户端的一小段信息，客户端请求时，可以读取该信息发送到服务器端协议类：GBN协议：帧0、1、2、3均已正...
2019-08-20 11:02:23
1140
原创 Linux常用指令（持续补充）
指令+快捷键1.scp [-r] username@ip:/path/file /path :scp上传或者下载 从第一个复制到第二个2. 查询语句 top：查看资源使用情况（内存，cpu），htop类似小工具 -d <time> 每隔time秒显示所有进程的资源占用情况 -c每隔5秒...
2019-07-31 14:43:09
196
原创 一、LeetCode——求和问题
求和问题笔记，后续会补充=-=求和相关问题最简单的两数求和==target问题class Solution { public int[] twoSum(int[] nums, int target) { int length = nums.length; for(int i = 0; i < length; i++){ ...
2019-06-19 10:46:51
252
原创 java学习笔记（五）——并行程序
并行程序设计模式+并发数据结构+多线程常用知识（executor，中断等）大量相互独立且同类的任务进行并发处理，会将程序的任务量分配到不同的任务中，这样才能真正获得性能的提升。——《java并发编程实践》多线程访问同一个变量，没有正确的同步，有三个方法：不使用跨线程共享变量 使变量不可变 任何访问状态变量的时候使用同步线程安全1.不要让this引用在构造期间逸出。如果在构造期...
2019-06-12 15:58:44
464
原创 java学习笔记（四）——深入理解JVM
jvm运行内存划分+部分GC知识+锁下图来自：https://blog.csdn.net/marvel__dead/article/details/69220153在JDK1.7 字符串常量池被从方法区拿到了堆中, 这里没有提到运行时常量池,也就是说字符串常量池被单独拿到堆,运行时常量池剩下的东西还在方法区, 也就是hotspot中的永久代在JDK1.8 hotsp...
2019-05-25 17:27:28
173
原创 java学习笔记（三）——设计优化
主要内容是ehcache，字符串优化，核心数据结构（有concurrenthashmap）+部分代码优化方法1.ehcache首先buffer(缓冲区)与cache(缓存区)都是内存的一块区域buffer是将多个待写入磁盘的数据在此区域缓冲一下然后在某时刻一次性写入到磁盘中,这样可以大大减少对于磁盘设备的IO操作.cache是将磁盘中经常被访问的数据放入到缓存区,那么访问此类数据就不需...
2019-05-25 17:25:55
216
原创 java学习笔记（二）——设计模式（享元，观察）
各个设计模式：https://www.runoob.com/design-pattern/decorator-pattern.html1.享元模式一般结合工厂模式一起使用，在结构里包含一个享元工厂。享元模式是为了节约内存空间，提升程序性能（避免大量的new操作）；而单例模式则主要是出于共享状态的目的单例模式：主要是在全局范围内提供唯一的对象访问接口(框架里面使用的特别多)享元模式：...
2019-05-16 10:21:06
108
原创 java学习笔记（一）——设计模式（单例，代理）
https://www.runoob.com/design-pattern/design-pattern-intro.html所有设计模式主要内容有单例模式和代理模式以及动态代理所涉及到的反射，泛型等。1.单例模式https://www.cnblogs.com/tangxiao1996/p/7899393.html系统中一个类只产生一个实例：可以节省创建对象所花费的时间，尤其...
2019-05-09 10:13:57
226
原创 三、Hadoop权威指南学习（YARN）
部分基础以及yarn sls：https://mp.csdn.net/postedit/83991164yarn应用可以在运行中的任意时刻提出资源申请。1.在最开始提出所有请求（spark）；2.为了满足不断变化的应用需要采取根伟动态的方式在需要更多资源时提出请求。yarn应用的生命周期：1.一个用户作业对应一个应用（MapReduce）2.作业的每个工作流或每个用户对话对应一个应...
2019-04-01 18:55:20
351
原创 二、Hadoop权威指南学习（HDFS）
Hadoop distributed filesystem：以流式数据访问模式来存储超大文件。一次写入、多次读取。流式数据访问每次读取都将涉及到数据集的大部分数据甚至全部。（为了读取很大的文件） 商用硬件 低时间延迟 不适合在HDFS上运行，HDFS是为搞数据吞吐量应用优化的，这可能会以提高实践延迟为代价。HBase更适合低延迟访问需求。 大量小文件 无法高效的存储大量小文件 多...
2019-03-05 15:53:16
323
原创 一、Hadoop权威指南学习（理论，1-2章）
第二步中，建立了一个临时文件夹hdfs://...JOB129330，在之后会删除第三步中，将工程打包上传一、MapReduce来自：https://www.cnblogs.com/baalhuo/p/5762087.html MapReduce中的每个map任务可以细分4个阶段：record reader、mapper、combiner和partitioner。ma...
2019-03-04 10:40:45
102
原创 pytorch学习笔记（更新中）
pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/notes/autograd/https://ptorch.com/docs/8/一、动态图https://blog.csdn.net/qjk19940101/article/details/79557866二、变量tensor的建立：随机创立tensor：htt...
2019-03-03 19:52:32
815
原创 python基础-环境（conda，git。。。）
1.字符串相关str = ‘0123456789’print str[0:3] #截取第一位到第三位的字符print str[:] #截取字符串的全部字符print str[6:] #截取第七个字符到结尾print str[:-3] #截取从头开始到倒数第三个字符之前print str[2] #截取第三个字符print str[-1] #截取倒数第一个字符print str[::...
2019-03-03 19:50:39
241
原创 二、DRL系列-Dueling DDQN+Prioritized DDQN+A3C+distributional DQN（学习笔记）
rainbow的所有模型：https://blog.csdn.net/philthinker/article/details/81043882rainbow论文中文简介：http://www.sohu.com/a/198378840_642762rainbow Tensorflow代码：https://github.com/google/dopamine/blob/master/dop...
2019-02-21 20:14:58
1740
原创 一、DRL系列-DQN+DDQN（学习笔记）
参考DQN：https://blog.csdn.net/u013236946/article/details/72871858DDQN：https://www.cnblogs.com/pinard/p/9778063.htmlDueling-DQN&DDQN：https://blog.csdn.net/u013236946/article/details/73161586D...
2019-01-26 22:08:31
4355
原创 六、Image Compression（图像压缩）
一、Lossless Coding•represent an image signal with the smallest possible number of bits without loss of any information•speed up transmission and minimizing storage requirements表示具有最小可能位数的图像信号而不丢失...
2019-01-07 22:08:14
3517
1
原创 五、Motion Detection and Estimation（运动检测于估计）
•Motion Detection: Whether image points are moving or not?•Motion Estimation: How image points move?Goals of motion detection•Identify moving objects•Detection of unusual activity patterns•C...
2019-01-07 22:07:55
1968
原创 四、Basic Methods for Image Restoration and Identification（笔记&链接）
•What’s image degration?Recorded image invariably represents a degraded version of the original scene. The undoing of these imperfections is crucial to many of the subsequent image processing tasks....
2019-01-07 22:07:36
321
原创 三、Wavelet Denoising（小波去噪）
傅里叶变换：知道一段时间内，信号的各个频率分量有分别多少。https://www.cnblogs.com/h2zZhou/p/8405717.html （傅立叶）小波变换：知道一段时间内，信号的各个频率分量有分别多少，以及他们都是什么时候出现的。Multiresolution theory（多分辨率理论）•Image pyramids an image pyramid is...
2019-01-07 22:07:11
8925
原创 二、Morphological Filtering
The goals of image enhanceImprove the visibility and perceptibility of the various regions into which an image can be partitioned and detectability of the image features inside these regions –Cle...
2019-01-07 22:06:49
1338
原创 一、Nonlinear Filtering (Order-Statistic Filter)——非线性滤波
虽然线性图像增强工具在许多应用中经常是足够的，但是如果应用非线性技术，图像增强可以获得显著的优势。非线性方法有效地保留了图像的边缘和细节，而使用线性往往会使图像模糊和扭曲。此外，非线性图像增强工具对噪声的敏感性较低。•The principles behind WM smoothers and WM filters have been presented in this article, ...
2019-01-07 22:05:22
1951
3
原创 基于DRL控制调度配置（翻译）
基于DRL控制算法1描述了控制器中训练DQN的步骤。经过学习，DQN推导出群集中的每组状态动作(s, a)和值Q( ϕ(s), a; Θ)之间的相关性，值Q表示系统在状态s开始时采取动作a的预计累积折中奖励。需要请注意的是状态s的持续时长可能因处于不同时间而不同在不同，这是因为在集群中等待和运行的作业以及可用资源会不断变化。因此我们使用函数ϕ将s映射成固定长度，表示为ϕ(s)。算法1控制器...
2019-01-02 15:49:31
1308
原创 分层高阶回归森林：3D室内场景标注（论文笔记）
论文题目：Hierarchical Higher-order Regression Forest Fields: An Application to 3D Indoor Scene Labelling 回归森林->决策数，随机森林->cart算法->gini系数rgbd（ red green blue depth）pottscrf->马尔可夫模型，贝叶斯网...
2019-01-02 15:48:49
221
原创 Real-Time Single Image and Video Super-Resolution Using an efficient Sub-Pixel CNN（论文笔记）
This paper proposes a novel convolutional neural network architecture where the feature maps are extracted in the low resolution space to reduce the computational complexity.Main points of streng...
2018-11-29 16:15:49
3340
原创 yarn sls源码的理解与schedule.xml配置实验
part1.slsl测试时的语句echo "!!!!!!!into autoSubmitJobs.sh"dir=/usr/local/hadoop/share/hadoop/tools/slsrm -rf $dir/my-logsmkdir $dir/my-logsrm -rf /usr/local/hadoop/share/hadoop/tools/sls/yumh-err.t...
2018-11-20 22:13:07
493
15
原创 配置yarn sls遇到的问题及解决方法
1.先看了下https://blog.csdn.net/hahachenchen789/article/details/80748920 学习sls搭建，并经介绍到Hadoop配置环境https://blog.csdn.net/hahachenchen789/article/details/79917316开始配置Hadoop配置Hadoop总体来说根据以上博客来没有什么特别的问题，只有一些小...
2018-11-20 20:28:33
465
11
原创 谷歌集群数据分析clusterdata-2011-2
本篇主要是解析数据集clusterdata-2011-2by ——https://github.com/google/cluster-datadataset的说明文档：https://drive.google.com/file/d/0B5g07T_gRDg9Z0lsSTEtTWtpOW8/view数据集描述：The clusterdata-2011-2 trace represents...
2018-11-18 19:04:41
3056
原创 MySQL查询优化
Google trace的上亿条数据的检索哪怕建立索引（Btree）也很慢。因为数据是在MySQL中，目前还没有尝试分布。因此将目前查到的方法作以整理，方便以后再看：1.较为有用的是建立中间表，减小需要查询数据量。2.使用between，exists，对于连续的数值，能用 between 就不要用 in 了3.尽可能不用select *，减少读取的规模。4.建立索引表5.准...
2018-11-16 20:40:31
103
原创 大数据基准总览（论文笔记）
论文：Benchmarking big data systemspart1:notepart2:change part 1:1. Three important aspects of benchmarking: (1)workload generation techniquesworkload implementation techniques run-time e...
2018-11-12 18:58:24
670
原创 yarn sls学习（理论）
Hadoop2.0版本，引入了Yarn。核心：HDFS+Yarn+MapreduceYarn是资源调度框架。能够细粒度的管理和调度任务。此外，还能够支持其他的计算框架，比如spark等。hadoop原理理解参考：https://blog.csdn.net/wjlwangluo/article/details/76423147yarn scheduler load simul...
2018-11-12 14:42:34
706
原创 完成基于mahout的电影推荐系统中出现问题总览
1.配置环境：eclipse中集成的maven中搜不到要加的jar包——解决方法，配置了一个新的maven，导入eclipse，并配置。（项目完成如果没有自动下载jar包的话右键点击，选择maven update）2.program：maven中搜到的mahout-core点击后可以选择版本。一些之前的推荐引擎如slope one的只有在0.8版本之前才有（0.9移除了）3.data：数据...
2018-11-11 14:44:34
396
原创 【学习笔记】数字证书，私钥——公钥
1.公钥是公开的，给大家用的，为的是解密私钥加密的内容。（可以用来验证是否是私钥拥有者发布的内容）2.私钥是个人私有的，作用是解密公钥加密的内容。（可以使别人给私钥拥有者发的消息避免让别人看到）数字证书每个用户自己有一个私钥（用于解密和签名），公开自己的公钥给相应的人（用于加密和验证签名）由于自己的密钥别人没有，所以就产生了别人无法伪造的文件。作用1.确保是
2016-10-01 17:37:42
636
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人