yayawcx-CSDN博客

原创 Hadoop MapReduce执行过程详解（带hadoop例子）

摘要: 本文通过一个例子，详细介绍Hadoop 的 MapReduce过程。分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。整个流程如图：Ma

2016-12-10 11:15:19 644

转载【慢查询优化】连表查询注意谁是驱动表&搞不清楚谁join谁更好时放手让mysql自行判定

写在前面的话：不要求每个人一定理解联表查询(join/left join/inner join等)时的mysql运算过程；不要求每个人一定知道线上（现在或未来）哪张表数据量大，哪张表数据量小；但把mysql客户端（如SQLyog，如HeidiSQL）放在桌面上，时不时拿出来 explain 一把，这是一种美德！在实例讲解之前，我们先回顾一下

2016-06-28 13:55:07 2003 3

转载【慢查询优化】建索引时注意字段选择性&范围查询注意组合索引的字段顺序

写在前面的话：之前曾说过“不要求每个人一定理解联表查询(join/left join/inner join等)时的mysql运算过程”，但对于字段选择性差意味着什么，组合索引字段顺序意味着什么，要求每个人必须了解；重复上一次的话：把mysql客户端（如SQLyog，如HeidiSQL）放在桌面上，时不时拿出来 explain 一把，这是一种美德！确保亲手查过SQL的执行计

2016-06-28 13:31:55 684

转载 ext2、ext3、ext4文件系统区别

ext2与ext3Linux ext2/ext3文件系统使用索引节点来记录文件信息，作用像windows的文件分配表。索引节点是一个结构，它包含了一个文件的长度、创建及修改时间、权限、所属关系、磁盘中的位置等信息。一个文件系统维护了一个索引节点的数组，每个文件或目录都与索引节点数组中的唯一一个元素对应。系统给每个索引节点分配了一个号码，也就是该节点在数组中的索引号，称为索引节点号。 linux

2016-05-15 00:20:12 1859

原创 ext2文件系统下rm-rf * 误删数据恢复

如果你不小心执行了rm -rf * 或者 rm -rf XXX，在ext2系统并不是不可以恢复的。一. 首先需要明确几个基本概念：磁盘设备文件（简称硬盘）、分区、文件系统、目录&文件磁盘：简单来说，/dev/sda、/dev/sdb均代表一个硬盘设备分区：在磁盘上（设备文件上），处于使用目的将磁盘划分的不同区域，例如/dev/sda1、/dev/sda2是磁盘sda

2016-05-14 16:55:31 2348

转载【svn问题】svn cleanup failed–previous operation has not finished; run cleanup if it was interrupted

svn提交遇到恶心的问题，可能是因为上次cleanup中断后，进入死循环了。错误如下：解决方法：清空svn的队列1.下载sqlite3.exe 2.找到你项目的.svn文件，查看是否存在wc.db3.将sqlite3.exe放到.svn的同级目录4.启动cmd执行sqlite3 .svn/wc.db "select * from

2014-06-30 19:54:46 1098

转载 ibatis中SQL映射配置文件中动态SQL语句语法

有些时候，sql语句where条件中，需要一些安全判断，例如按某一条件查询时如果传入的参数是空，此时查询出的结果很可能是空的，也许我们需要参数为空时，是查出全部的信息。使用Oracle的序列、mysql的函数生成Id。这时我们可以使用动态sql。下文均采用mysql语法和函数（例如字符串链接函数CONCAT）。 3.1 selectKey 标签在i

2014-01-16 16:55:25 11770

原创控制反转（IOC）和依赖注入（DI）的区别

IOC inversion of control 控制反转DI Dependency Injection 依赖注入要理解这两个概念，首先要搞清楚以下几个问题：参与者都有谁？依赖：谁依赖于谁？为什么需要依赖？注入：谁注入于谁？到底注入什么？控制反转：谁控制谁？控制什么？为何叫反转（有反转就应该有正转了）？依赖注入和控制反转是同一概念吗？下

2014-01-16 11:23:03 53612 28

转载 C++类实例以及子类在内存中的分配

关于结构体和C++类的内存地址问题今天终于有时间写点东西了~ 太爽了 *_* 很多人都知道C++类是由结构体发展得来的，所以他们的成员变量（C语言的结构体只有成员变量）的内存分配机制是一样的。下面我们以类来说明问题，如果类的问题通了，结构体也也就没问题啦。类分为成员变量和成员函数，我们先来讨论成员变量。一个类对象的地址就是类所包含的这一片内存空间的首地址，这个首地址也就对应具体

2013-10-19 00:34:04 2570 1

转载机器学习中的相似性度量方法

在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。　　本文的目的就是对常用的相似性度量作一个总结。本文目录：1. 欧氏距离2. 曼哈顿距离3. 切比雪夫距离4. 闵可夫斯

2013-08-19 15:36:26 957