2014年05月_薄荷微光少年梦

12月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载十分钟轻松理解yarn原理

背景Yarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapReduce框架设计的不足，在原MapReduce框架上进行修改变得越来越困难，所以MapReduce的comm

2014-05-22 13:16:21 1003

转载 Hadoop InputFormat定制时必须知道的原理---如何划分split，split如何调度，如何读取

在执行一个Job的时候，Hadoop会将输入数据划分成N个Split，然后启动相应的N个Map程序来分别处理它们。数据如何划分？Split如何调度（如何决定处理Split的Map程序应该运行在哪台TaskTracker机器上）？划分后的数据又如何读取？这就是本文所要讨论的问题。先从一张经典的MapReduce工作流程图出发：1、运行mapred程序；2、本次

2014-05-21 15:55:31 2032

转载 haddop shuffle最详细的解释

最近一直在做mapreduce相关的产品，对

2014-05-21 11:27:38 1550

原创 dotNet源码解读--HashTable目录扩展的奥秘

摘要：为了探索dotnet中hashtable的目录结构及与目录扩展相关的算法，本文通过对相关源码的阅读与分析，得出如下结论，hashtable的目录是由数组组织，目录元素代表一个数据节点，不是数据桶。目录扩展是扩展当前目录长度2倍往1遍历过程中遇到的第一个素数。目录扩展触发条件：装载因子式的触发，同时考虑到“杂乱程度”需要进行重新散列。目录扩展时需要遍历原有目录中所有的元素。查询过程与探测再散列类似。关键词：dotnet，hashmap，目录扩展方法，目录扩展触发条件

2014-05-20 14:55:57 933

转载 JAVA源码注释---hashmap源码中文注释

package java.util; import java.io.*; public class HashMap extends AbstractMap implements Map, Cloneable, Serializable { // 系统默认初始容量，必须是2的n次幂，这是出于优化考虑的 static final

2014-05-19 14:19:09 1257

原创 JAVA源码解读---HashMap目录扩展的奥秘

摘要：为了探索JAVA1.7源码中HashMap类数据的组织方法与目录扩展方法，通过对JAVA1.7源码中HashMap类源码的阅读与分析，得出结论：hashmap中存储数据的数据结构采用的是链表数组，目录是个数组，数组的成员是链表。冲突解决方法：典型的链地址法，冲突后，在链表头部插入数据。目录扩展方法：已二倍的方式扩展，一直到目录的最大上限。目录扩展的触发条件：装载因子的方式触发。从java中hashmap的实现可以看出，桶数据的组织方式并不是一种非常高效的方式。对检索效率不利。同时，数据扩展简单的采用二

2014-05-19 13:10:17 1872

转载 xpdf读取pdf文件并根据pdf内容修改文件名称

1：准备工作上网查资料，C++读取pdf库，java读取pdf库，最后找到了xpdf库，还好，下载地址【下载xpdf地址】，我下载的是windows版的，然后按照步骤实验了一下实验，打开压缩包，读了读readme，然后进入bin32文件夹，里面好多exe可执行文件，好吧，开始搞起拷贝一个pdf文件进去，然后cmd命令行进入bin32文件夹，[html] view plaincopy

2014-05-15 22:26:51 1480

原创 java连接SqlServer2008

package org.apache.hadoop.examples;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.lang.reflect.Field;import java.lang.reflect.Method;

2014-05-15 14:17:26 717

转载 Hive优化总结（转）

Hive优化总结 ---by 食人花优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。长期观察hadoop处理数据的过程，有几个显著的特征:1.不怕

2014-05-08 13:11:27 1086

转载 MapReduce原理浅析（转）

------------------------每天学习一点点^_^-------------------------- 一个简单的应用了Map/Reduce模式的例子：http://wiki.apache.org/hadoop/WordCount 用 Mapeduce 来处理大数据集的过程, 这个 MapReduce 的计算过程简而言之，就是将大数据

2014-05-07 15:42:11 577

信息安全等级测评师培训教程：初级-高清-压缩包

2021-08-22

xpdfbin-win

pdf解析，win平台的。

2014-05-15

pdf解析包和demo

pdf rename title，更改pdf的小demo

2014-05-15

2007-2010嵌入式系统设计师上午和下午题合集

搜集了2007-2010年的真题合集。还有一些笔记

2012-11-10

\symbian s60 入门详细材料和程序实例

本合集为symbian S60入门必看经典。包括对基本的架构介绍。诸如列表框、菜单、文本编辑框等常用控件的使用介绍和代码分析。适合初学symbian s60的人阅读。建议在看多symbian os c++和Series 60应用程序开发之后再看。有从理论到实践过度的功效。编程学习之必看经典合集。合集内的文章均来自网络。特向其作者的无私奉献表示敬意和感谢。

2012-10-12

中兴总结的超强云计算基础知识

中兴原创做的云计算基础知识概括，包括虚拟化技术、数据挖掘、云存储、云安全、分布式计算

2012-08-01

C++ 西游记文字游戏

本人看了标准C++开发入门与编程实践这本书后，对书后的那个游戏产生了兴趣，然后敲了下来，并调试成功。部分内容与书内不同。只是很少的一部分。血汗啊。

2012-05-18

马维华嵌入式系统及应用

本书涵盖面比较广，适合嵌入式初学者。若想进阶请参考其他书

2011-09-08

The Future of Microprocessors读后感

本人全篇翻译，虽达不到信达雅，但是可以使中国本科及以上读者，领略，国际大师的魅力

2011-04-10

索爱Z520c霍尔传感器翻盖开关识别磁铁的位置

索爱Z520c 霍尔传感器翻盖开关识别磁铁的位置更换排线遗留问题

2011-03-13

computational thinking 观后感

computational thinking ，本人经翻译后，归纳的，关于计算思维的定义，设计学科，和特点

2011-03-11

基于ASP.NET企业销售管理系统论文

1 引言 1 1.1系统的背景与目的意义 1 1.1.1系统开发的背景 1 1.1.1系统开发的目的意义 1 1.2相关技术与开发工具介绍 1 1.2.1 ASP.NET 1 1.2.2 SQLSEVER2005 1 1.2.3 ADO.NET 1 2需求分析 4 2.1功能需求 1 2.1.1经理对功能的需求 1 2.1.2销售人员对功能的需求 1 2.1.3售后服务人员对功能的需求 1 2.2性能需求 1 2.3系统分析模型 1 2.3.1数据流程图 1 2.3.2数据字典 1 2.3.3 E-

2010-05-16

Java程序测试性能发现执行时间随着循环次数会明显降低

2014-08-07

TA创建的收藏夹 TA关注的收藏夹

TA关注的人