王小康walker-CSDN博客

原创【数据结构与算法】二叉树的遍历（递归遍历、非递归遍历、层序遍历）

导读： 1. 二叉树递归遍历 2. 二叉树非递归遍历 3. 层次遍历二叉树是一种非常重要的数据结构，很多其他数据结构都是基于二叉树的基础演变过来的。二叉树的遍历有前序、中序、后序三种，由于数的本身就是就是递归定义的，因此可以采用递归方法遍历但其开销也较大。若采用非递归实现遍历，则需要采用栈实现，递归本身也是用栈实现的。而二叉树的层序遍历是按照每一层进行遍历，很明显需要用队列来

2017-12-08 00:40:50 675

原创【MapReduce实例】数据去重

一、实例描述数据去重是利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问等这些看似庞大的任务都会涉及数据去重。比如，输入文件 file1.txt，其内容如下： 2017-12-9 a 2017-12-10 b 2017-12-11 c 2017-12-12 d 2017-12-13 a 2017-12-14 b 2017-12-15 c 20

2017-12-05 23:35:08 1403

原创【MapReduce实例】单词统计

一、实例描述计算出文件中各个单词的频数，要求输出结果按照单词出现的频数进行降序。比如，输入文件 file1.txt，其内容如下： hello word bye worldfile2.txt，其内容如下： hello hadoop goodbye hadoop对应上面给出的输入样例，其输出样例为： 2 hadoop 2 hello 2 worl

2017-12-04 19:44:29 2023

原创 Java反射机制与动态代理（二）

导读： 1. 代理模式 2. 静态代理 3. 动态代理 4. 小结一、代理模式代理模式所涉及的角色有： - 抽象主题角色：声明了真实主题和代理主题的共同接口，这样一来在任何可以使用真实主题的地方都可以使用代理主题。 - 真实主题角色：定义了代理角色所代表的真实对象。 - 代理主题（Proxy）角色：代理主题角色内部含有对真实主题的引用，从而可以在任何时候操作真实主题对

2017-11-24 00:06:57 247

原创 Java反射机制与动态代理（一）

导读： 1. 什么是反射 2. 反射的基本使用 3. 反射的使用实例一、什么是反射？ Java反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反射机制。简而言之，通过反射，我们可以在运行时获得程序或程序集中每一个类型的成员和成员的信息

2017-11-22 23:41:25 229

原创【MR原理-2】MapReduce作业提交与初始化过程分析

导读： 1. 作业提交与初始化概述 2. 作业提交过程详解 3. 作业初始化过程详解一、作业提交与初始化概述作业提交过程比较简单，主要为后续作业执行准备环境，主要涉及创建目录、上传文件等操作；而一旦用户提交作业后，JobTracker端便会对作业进行初始化。作业初始化的主要工作是根据输入数据量和作业配置参数将作业分解成若干个Map Task以及Reduce Task，并添加到

2017-11-21 23:01:35 599

原创【MR原理-1】MapReduce整体架构及工作机制

导读： 1. HDFS架构 2. MapReduce架构 3. MapReduce作业的生命周期 Hadoop的核心两个组件分别是分布式文件系统和分布式计算框架MapReduce。其中分布式文件系统主要用于大规模数据的分布式存储，而MapReduce则构建在分布式文件系统之上，对存储在分布式文件系统中的数据进行分布式计算。在了解MapReduce工作机制之前，考虑到MapRed

2017-11-20 22:46:34 5757 2

原创 Hadoop RPC机制及使用

一、Hadoop RPC基本介绍二、Hadoop RPC的使用三、小结

2017-10-31 22:28:30 956

原创数组中最短无序序列

题目描述：给定一个整数数组，编写一个函数，找出索引m和n，只要将m和n之间的元素排好序，整个数组就是有序的。注意：n-m越小越好，也就是说，找出符合条件的最短序列。示例：输入：1, 2, 4, 7, 10, 11, 7, 12, 6, 7, 16, 18, 19 输出：(3, 9) 解法：题目的要求是要找出两个索引，这表明数组中间有一段数据有待排序，其中数组开头和末尾是

2017-10-09 23:52:14 439

原创 Hadoop2.6.0单机伪分布式安装

一，环境准备本教程使用Ubuntu 14.04 64位的操作系统。 Hadoop的版本是Hadoop-2.6.0。 IP地址：192.168.50.130 主机名：ubuntu查看IP地址：命令 ifconfig 查看主机名：命令 hostname在安装其他环境之前，我们先在/etc/host中配置IP和主机名之间的映射，为方便后续操作的访问。通过命令# vi /etc/hosts 添加

2017-09-24 00:59:47 537

王小康walker的博客