- 博客(28)
- 收藏
- 关注
RSS订阅YARN 早就支持CPU资源的调度了
首先，yarn刚出世的时候，对于CPU的调度只是在计划中，而前段时间一直用的2.0.0的版本，也做过测试，确实对cpu的资源限制不予理睬。但是，前不久，升级到了2.3.0，没有验证这个功能是否实现，一直认为对于公平调度器的队列配置，vcores的配置无所谓，直到上次把这个值配置成了0，限制了队列的最大资源，结果用户提交的APP只能启动一个ApplicationMaster，无法启动一个Task...
2014-07-04 11:11:00
166
Apache Hadoop YARN – ResourceManager
原文地址：Apache Hadoop YARN – ResourceManagerResourceManager (RM) 是管理所有可用的集群资源并协助管理运行在YARN上的分布式应用的主要组件。RM与每个节点的NodeManagers (NMs)和每个应用的ApplicationMasters (AMs)一起工作。NodeManagers 遵循来自ResourceManager的...
2014-06-25 11:09:00
251
yarn fair scheduler 之概述
所有的调度器都是基于事件模型，需要处理的一个重要事件是nodeUpdate,处理各个节点的心跳。对于公平调度器，在处理某一Node心跳事件时，先处理刚刚启动的Container和已完成任务的Container，更新集群资源情况，并尝试在当前Node上分配资源。这时就涉及选择哪一个队列中的哪一个APP的问题，实际上是利用公平排序算法将队列排序后，再对队列内部的APP排序确定一个APP参与这一次分...
2014-06-19 16:52:00
168
yarn fair scheduler 之公平份额算法和抢占模型
公平份额算法这个算法是保证资源抢占的公平。计算公平份额的过程是站在整个集群资源使用的角度，假设每个队列获得一部分资源，使得资源使用量总和逼近集群分配总资源，这时有一个资源权值比，每个队列的公平份额=资源权值比 * 权值。公平份额算法是先计算出一个资源权值比的最大值，使得资源使用量总和正好超过集群分配总资源，然后利用二分查找法在0到这个最大资源权值比之间确定一个资源权值比，使得资源使用量总和...
2014-06-19 16:21:00
217
yarn fair scheduler 之公平排序算法
这篇文章主要分析公平调度器的公平排序算法，基于hadoop-2.3.0-cdh5.0.0首先，了解这几个概念：资源需求量：当前队列或者应用希望获得的资源的总量。最小份额：队列的最小共享量在配置中指定。应用的最小共享量为0。资源使用量：当前队列或者应用已经分配到的总资源。权值：队列的权重值在配置中指定。在开启sizebasedweight特性的情况下，应用的权重=（log2(...
2014-06-19 10:50:00
232
用php做统计出错心得
1 提前关闭数据库连接不会出错，而会导致查询结果永远都是第一次连接查询的结果；2 这一点与php没什么关系，SQL中GROUP BY 语句后不能用SELECT的别名，无效的；见SQL之列名与别名3 在循环中务必对内部变量进行初始化，否则会造成累加重复数据（双层arrayname[]=""）,不要因为php语法的随意而随意。...
2013-05-23 15:10:00
105
首次接触birt遇到的一些问题
要创建一个birt，首先应该确定要展示的数据有哪些，一般使用的是数据库中的数据，再创建一个.rptdesign文件，做好基本的布局（或者直接使用Template），报表的形式有Table、Chart，Table就是简单的表格，Chart又分为几种格式，有直方图、柱状图、饼形图、线形图等。外观定下后，非常重要的工作就是，数据绑定（Data Binging）。在进行数据绑定时一定要对应的列名，...
2012-07-05 10:39:00
110
在linux系统中查看cpu位数
32位如下getconf LONG_BIT32getconf WORD_BIT3264位如下getconf LONG_BIT64getconf WORD_BIT32
2012-06-28 10:12:00
71
MySql查询技巧杂记
1 查询所有用户最近一次的登录信息select user_name ,MAX(op_time) from tb_log where op=TRUE GROUP BY user_name;
2012-06-27 13:46:00
86
河南省第五届大学生程序设计大赛回忆录
我有幸能参加这届首次被ACM官方授权的赛事，虽然结果不尽如人意，我觉得还是有必要在还记忆犹新时记录下来（免得像上次一样，已回忆不起什么），留作纪念，也可作为后来人的参考吧。 这场比赛是2012年5/13正式举行的，而我从4月份才开始正式着手准备，其实我本可以在一年之前就开始的，但是已经逝去的，后悔也没有用了。我4月份确定了两位队友，都是一个班的。这一点相当重要，这是团队比赛，...
2012-05-14 13:35:00
100
河南省第五届大学生程序设计大赛最终排名
RankNameSolvedTimeABCDEFGHTotal att/solv1郑大2队_Honorificabilitudinitatibus_79001/282/442/1801/840/--1/523/874/28514/72南阳理工1队_har_...
2012-05-14 13:24:00
379
第二届河南省大学生程序设计竞赛题型简要分析
时间限制: 每题运行时间不超过1000MS概览：题数类型1最短路径（广度优先搜索）2模拟3树形DP；数学推导4数论（置换群）5关键路径6数论（进制转换）7二叉排序树（递归）...
2012-05-02 19:03:00
136
第一届河南省大学生程序设计竞赛题型简要分析
概览：题数类型1几何2图论3组合；分治4多重背包5模拟6贪心7深度优先搜索（剪枝）8拓扑排序（有向图）【试题一】练习处：...
2012-05-01 00:15:00
117
在程序设计竞赛中高效使用Java语言
相对于C，Java的效率低主要体现在I/O处理和对象的创建上。因此，要尽可能提高效率，应该从以下几点入手：① 输入、输出采用缓冲区，但是不要忘了刷新缓冲区。② 能用基本数据类型就尽量避免使用对象，只有在使用面向对象的方法思考问题会柳暗花明时才使用对象。③ 类名加final修饰。④ 属性、方法都是static的，有些操作需要提前做的也要在static语句块中完成。⑤ 输入...
2012-04-16 23:09:00
178
前四届河南省大学生程序设计竞赛总结
前四届河南省大学生程序设计竞赛 河南省计算机学会主办竞赛时间：09:00--14:00届数承办方开赛日期1郑州大学信息工程学院5/182河南师范大学5/173河南理工大学5/164河南科技大学5/22...
2012-04-13 19:42:00
120
第三届河南省大学生程序设计竞赛题型简要分析
所有的题目 时间限制： 1秒概览：题数类型1线段树；区间树2动态规划；枚举3图论4图论5动态规划6模拟7贪心；（树形）动态规划8线段树...
2012-04-13 19:34:00
137
Flex学习笔记
学习Flex技术，需要掌握两门新的语言： MXML 和 ActionScript3.0 。其中， MXML是一种基于XML的可声明的语言，在用户界面布局中推荐使用。而 ActionScript3.0 是一种兼容 ECMA 的脚本语言，在业务逻辑中推荐使用。添加一个已编译的SWF文件是如何强化这种服务器工作流程的。这个过程的前两步是相同的：用户请求一个服务器页面......服务器页面返回...
2012-03-04 20:13:00
66
关于Windows Java 环境变量的设置
首先设置好JDK的安装路径java_homeD:\Program Files\Java\jdk1.6.0_24然后是Path前面加上%java_home%\bin;最后还有CLASSPATH.;%java_home%\lib\tools.jar; %java_home%\lib\dt.jar;还可以加上其它需要的lib目录或jar包当然这个可以不配置。因为J...
2012-03-04 11:49:00
66
ThePastTwoYears
两年时间已经过去。大一、大二，我都做了些什么？我要回顾，我要反思。 09年9月—10年7月，是大学一年级。由于禽流感的肆虐，军训取消。还像一个高中生一样，上课、吃饭、睡觉，教室、食堂、宿舍。没有什么大变化。这一年与高中最大的区别就是，没有压力了。这一年，可以说，只是做着学生最基本的义务而已：上课、自习和考试。我还记得那时，特别是上学期，整天闲着没事干，自由时间多啊！还想上网，目的就是看电影...
2011-08-18 22:33:00
156
log5
Q1、到现在为止，我已经完成了在数据库中图书的查询，接下来是什么呢？无非就是增、删、查、改。而关于删除操作，我的一位老师曾说过，“在实际应用中数据库中的一切数据都不会真正地被删除”，说不定啥时候还能用得上。我觉得这种理念是正确的，决定采用。那么，删除操作就如同修改操作了，只需修改图书存在标志即可。分两步来做：修改；插入。那么，更新（就是修改）在哪里执行呢？有两个选择，一是直接操作execute...
2011-05-02 23:26:00
133
log4
Q1、今天又学习到了一种新的java注释方法，也可以称作JavaDoc的制作。Java语言的注释，现在据我所知，有三种方案：（1） 单行注释//重建到数据库的连接（2） 多行注释/* * …… * …… */ （3） JavaDoc注释/** * {@code public void InqueryByAnything(String key...
2011-05-01 23:55:00
55
log3
Q1、前天，通过与郑老师的交流，意识到自己考虑方向的错误：开发环境在这个项目开始时就已经确定下来了，要使用的数据库平台已经定型，不需要考虑兼容性问题。关于这个应用程序投入使用时建立数据库等的一系列操作，可以从备份的数据库文件导入当前数据库来完成。...
2011-05-01 23:53:00
101
java类注释文档编写方法
对于Java语言，最体贴的一项设计就是它并没有打算让人们为了写程序而写程序——人们也需要考虑程序的文档化问题。对于程序的文档化，最大的问题莫过于对文档的维护。若文档与代码分离，那么每次改变代码后都要改变文档，这无疑会变成相当麻烦的一件事情。解决的方法看起来似乎很简单：将代码同文档“链接”起来。为达到这个目的，最简单的方法是将所有内容都置于同一个文件。然而，为使一切都整齐划一，还必须使用一种特殊的注...
2011-05-01 23:52:00
130
log2
Q1、今天在做登录验证的测试时，居然总是发生如下异常：javax.servlet.ServletException: [Microsoft][SQLServer 2000 Driver for JDBC][SQLServer]对象名 'userInfo' 无效。(userInfo是表名)遇到这个问题，我首先去检查数据库中是否有这个表，userInfo这个表确实存在且没有拼...
2011-04-29 14:05:00
89
log1
以后遇到的问题，以及解决思路都要坚持记载下来！这是第一篇！Q1、我负责处理java程序中与数据库交互的问题。今天在实现管理员的登录认证类LoginCertify 时，注意到客户端程序一旦运行就离不开数据库，那么就很有必要保持java程序与数据库的连接，因为加载驱动和建立连接也是一个相当耗时的过程，如果能够做到一次连接、多次查询、修改、插入，就大大提高了程序的效率。我决定将加载...
2011-04-28 21:41:00
136
取消开机登陆界面提示
（一）最简单的方法在Windows XP中单击“开始→运行”，输入“rundll32 netplwiz.dll,UsersRunDll”（注意大小写及空格）或者“control userpasswords2”，然后进入“用户账户”操作窗口，取消对“要使用本机，用户必须输入用户名及密码”项的选择。在接下来弹出的对话框中输入你想让电脑每次自动登录的账户名及其密码。对于Windows 2000，直接...
2011-04-16 10:16:00
88
如何删除文件夹右键菜单多余项
如何删除文件夹右键菜单多余项(1)所有或大部分文件都有的右键菜单打开注册表编辑器后，在[HKEY_CLASSES_ROOT/*/Shellex/ContextMenuHandlers]，根据名称删除相应的子项。(2)文件夹的右键菜单在注册表中的[HKEY_CLASSES_ROOT/Directory/Shell和HKEY_CLASSES_ROOT/Directory...
2011-04-15 14:35:00
115
MS SqlServer sql语言语法的注意事项
1.sql中字符串的表示在sql server的查询分析器中，当你想插入的这一列是字符串时，不要使用""，会导致失败的。换做' '就行了。2.sql 注释符、运算符与通配符 4.5.1注释符(Annotation) 在Transact-SQL 中可使用两类注释符。 ANSI 标准的注释符“--” 用于单行注释； 与C语言相同的程序注释符号，即“/**/”。“/*”用于注...
2011-04-04 15:24:00
66
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人