2016年08月_学战到底

转载 Hadoop 提交任务执行流程总结

用流水线可表示任务执行流程如下：input(k1,v1) -> map -> (k2,v2) -> combine -> shuffle(partitioner) -> sort -> (k2,v2) -> reduce -> (k3,v3) ->output接着来段大白话，聊一聊：一，input(通过FileInputFormat设置)，此步主要工作：

2016-08-21 21:13:52 2461

原创面向对象与面向过程

1、（函数与数据是否分离）面向过程的程序设计是采用函数来描述对数据的操作，但又将函数与其操作的数据分离开；面向对象的程序设计方法将数据和对数据的操作封装在一起，作为一个整体来处理。2、面向过程程序设计方法是以功能为中心来设计功能模块，难于维护；而面向对象程序设计方法以数据为中心来描述系统，数据相对于功能来说具有较强的稳定性，因此更易于维护。3、面向过程的程序控制流程是由程序中设计好的顺序来

2016-08-21 20:50:56 767

转载 java里的静态成员变量是放在了堆内存还是栈内存

堆区: 1.存储的全部是对象，每个对象都包含一个与之对应的class的信息。(class的目的是得到操作指令) 2.jvm只有一个堆区(heap)被所有线程共享，堆中不存放基本类型和对象引用，只存放对象本身栈区: 1.每个线程包含一个栈区，栈中只保存基础数据类型的对象和自定义对象的引用(不是对象)，对象都存放在堆区中 2.每个栈中的数据(原始类型和对象引用)都是私有的，其他栈

2016-08-18 20:45:30 10115 1

转载 Mahout clustering Canopy+K-means 源码分析

聚类分析聚类（Clustering）可以简单的理解为将数据对象分为多个簇（Cluster），每个簇里的所有数据对象具有一定的相似性，这样一个簇可以看多一个整体对待，以此可以提高计算质量或减少计算量。而数据对象间相似性的衡量通常是通过坐标系中空间距离的大小来判断；常见的有欧几里得距离算法、余弦距离算法、皮尔逊相关系数算法等，Mahout对此都提供了实现，并且你可以在实

2016-08-15 20:02:57 1167

转载 Mahout源码目录说明

mahout项目是由多个子项目组成的，各子项目分别位于源码的不同目录下，下面对mahout的组成进行介绍：1、mahout-core：核心程序模块，位于/core目录下；2、mahout-math：在核心程序中使用的一些数据通用计算模块，位于/math目录下；3、mahout-utils：在核心程序中使用的一些通用的工具性模块，位于/utils目录下；上述三个部分是

2016-08-11 17:07:57 893

转载 Amazon的pem文件转换为公钥.pub

将密钥上传到一台自己的linux主机，下面举例文件名为 key.pemchmod 600 key.pem改写密钥格式为 OpenSSH，如果询问passphrase可以留空（直接回车）ssh-keygen -p -f key.pem生成公密钥 .pub 文件。使用公密钥时，SecureCRT会询问私密钥或者.pem文件ssh-keygen -e -f key.pem

2016-08-08 21:24:17 12785 1

转载排序算法的稳定与不稳定

首先，排序算法的稳定性大家应该都知道，通俗地讲就是能保证排序前2个相等的数其在序列的前后位置顺序和排序后它们两个的前后位置顺序相同。在简单形式化一下，如果Ai = Aj，Ai原来在位置前，排序后Ai还是要在Aj位置前。其次，说一下稳定性的好处。排序算法如果是稳定的，那么从一个键上排序，然后再从另一个键上排序，第一个键排序的结果可以为第二个键排序所用。基数排序就是这样，先按低位排

2016-08-08 20:51:15 516

转载 python numpy中nonzero()的用法

转自：python numpy中nonzero()的用法，保存在此以学习。当使用布尔数组直接作为下标对象或者元组下标对象中有布尔数组时，都相当于用nonzero()将布尔数组转换成一组整数数组，然后使用整数数组进行下标运算。nonzeros(a)返回数组a中值不为零的元素的下标，它的返回值是一个长度为a.ndim(数组a的轴数)的元组，元组的每个元素都是一个整数数组，其值为非零元素的下

2016-08-07 02:07:41 2964

转载数据库中触发器before与after认识

转自：数据库中触发器before与after，保存在此以学习。Before与After区别：before：(insert、update)可以对new进行修改，after不能对new进行修改，两者都不能修改old数据。对于INSERT语句, 只有NEW是合法的；对于DELETE语句，只有OLD才合法；对于UPDATE语句，NEW、OLD可以同时使用。

2016-08-06 20:14:25 1846

转载 (Python科学计算包)NumPy文档：8.2矩阵对象

转自：(Python科学计算包)NumPy文档：8.2矩阵对象，保存在此以学习。注：NumPy是Numarray的后继者，用来代替NumArray。SAGE是基于NumPy和其他几个工具所整合成的数学软件包，目标是取代Magma, Maple, Mathematica和Matlab 这类工具。今天我想在网上找一些关于NumPy的介绍，并试一下用NumPy求逆矩阵的时候，竟然找不到

2016-08-06 15:59:20 670

转载桥接模式和适配器模式的区别

很多时候经常容易把桥接模式和适配器模式弄混。那什么时候用桥接，什么时候用适配器呢？共同点桥接和适配器都是让两个东西配合工作不同点出发点不同。 1）适配器：改变已有的两个接口，让他们相容。 2）桥接模式：分离抽象化和实现，使两者的接口可以不同，目的是分离。所以说，如果你拿到两个已有模块，想让

2016-08-05 15:15:12 1132

转载 Python学习笔记十一：面向对象

转自：Python学习笔记十一：面向对象，保存在此以学习。面向对象技术简介类(Class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。类变量：类变量在整个实例化的对象中是公用的。类变量定义在类中且在函数体之外。类变量通常不作为实例变量使用。数据成员：类变量或者实例变量用于处理类及其实例对象的相关的数据。方法重载：如果

2016-08-04 20:47:42 774

转载 Python学习笔记十：日期和时间

转自：Python学习笔记十：日期和时间，保存在此以学习。日期和时间处理是经常会遇到的事情。什么是Tick？时间间隔是以秒为单位的浮点小数。每个时间戳都以自从1970年1月1日午夜（历元）经过了多长时间来表示。Python附带的受欢迎的time模块下有很多函数可以转换常见日期格式。如函数time.time()用ticks计时单位返回从12:00am, January 1

2016-08-04 20:45:44 1186

转载 Python学习笔记九：文件I/O

转自：Python学习笔记九：文件I/O，保存在此以学习。打印到屏幕：1 #!/usr/bin/python2 3 print "Python is really a great language,", "isn't it?";读取键盘输入：raw_inputinput1 #!/usr/bin/python2 3 str = raw_in

2016-08-04 20:44:29 488

转载 Python学习笔记八：模块

转自：Python学习笔记八：模块，保存在此以学习。模块让你能够有逻辑地组织你的Python代码段。把相关的代码分配到一个模块里能让你的代码更好用，更易懂。模块也是Python对象，具有随机的名字属性用来绑定或引用。简单地说，模块就是一个保存了Python代码的文件。模块能定义函数，类和变量。模块里也能包含可执行的代码。import想使用Python源文件，只需在

2016-08-04 20:43:23 511

转载 Python学习笔记七：函数

转自：Python学习笔记七：函数，保存在此以学习。1. 定义一个函数任何传入参数和自变量必须放在圆括号中间。圆括号之间可以用于定义参数。参数值和参数名称是按函数声明中定义的的顺序匹配起来的。函数的第一行语句可以选择性地使用文档字符串—用于存放函数说明。函数内容以冒号起始，并且缩进。Return[expression]结束函数，选择性地返回一个值给调用方。不带表达式的retur

2016-08-04 20:42:21 500

转载 Python学习笔记六：列表、元组、字典

转自：Python学习笔记六：列表、元组、字典，保存在此以学习。学习其他语言很少关注数组是的结构是怎么回事，都是直接使用。Python定义了列表、元组、字典三种数据结构，是我们使用python的基础，因此有必要理解它们的含义，我想这个和python一切皆对象的思想有关。python的数据结构更加灵活。1. 列表[lists]序列是Python中最基本的数据结构。序列中的

2016-08-04 20:41:07 646

转载 Python学习笔记五：数字和字符串

转自：Python学习笔记五：数字和字符串，保存在此以学习。数据类型是不允许改变的,这就意味着如果改变数字数据类型得值，将重新分配内存空间。Python数字类型转换int(x [,base ]) 将x转换为一个整数 long(x [,base ]) 将x转换为一个长整数 float(x ) 将x转换到一个浮点数

2016-08-04 20:39:49 2005

转载 Python学习笔记四：过程控制

转自：Python学习笔记四：过程控制，保存在此以学习。条件语句：#以缩进来区分表示同一范围。 1 # coding=utf8 2 # 例1：if 基本用法 3 4 flag = False 5 name = 'luren' 6 if name == 'python': # 判断变量否为'python' 7 flag = Tru

2016-08-04 20:38:22 700

转载 Python学习笔记三：基础语法

转自：Python学习笔记三：基础语法，保存在此以学习。Python编程中理解对象的概念很重要，因为其宗旨是'一切皆对象'。(提前预告)高级语言Python，Perl和Java等语言有许多相似之处。但是，也存在一些差异。交互式编程：脚本式编程Python IDE 编写.py Python 标识符区分大小写以_开头的

2016-08-04 20:35:23 904

转载 Python学习笔记二：IDE环境搭建

转自：Python学习笔记二：IDE环境搭建，保存在此以学习。工欲善其事，必先利其器。每个IDE都有自己的优点，适合的才是最好的。【伯乐在线】Python 非常易学，强大的编程语言。Python 包括高效高级的数据结构，提供简单且高效的面向对象编程。Python 的学习过程少不了 IDE 或者代码编辑器，或者集成的开发编辑器（IDE）。这些 Python 开发工具帮助开发者加快使用

2016-08-04 20:33:25 755

转载 Python学习笔记一：十分钟入门

转自：Python学习笔记一：十分钟入门，保存在此以学习。简介：Python是一种动态解释型的编程语言。Python可以再Windows,UNIX,MAC等多种ca特点：1. python使用C语言开发，但是python不再有C语言中的指针等复杂的数据类型。2. python具有很强的面向对象特性，而且简化了面向对象的实现。它消除了包含类型、抽象类、接口

2016-08-04 20:30:52 942

转载 Amazon EC2不同账号之间实例共享（国外服务）

1从已有的机器自己制作EC2的AMI　　我一直用Amazon AWS提供的免费虚拟主机来服务我的网站可靠云服务.根据我的观察，虽然是t1.micro的机型，但是稳定性非常好，比hostmonster的VPS稳定多了.　　然后我用另外一张信用卡申请了另一台机器，打算再部署一个网站.　　我用的系统映像文件(AMI)是亚马逊提供的Ubuntu 12.04，这个AMI挺方便的，就是太简洁了

2016-08-04 11:00:56 5316

转载 PCA的数学原理

转自：PCA的数学原理，保存在此以学习。PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的

2016-08-01 15:43:58 491

转载 PCA

转自：PCA主成分分析，保存在此以学习。降维的必要性1.多重共线性--预测变量之间相互关联。多重共线性会导致解空间的不稳定，从而可能导致结果的不连贯。2.高维空间本身具有稀疏性。一维正态分布有68%的值落于正负标准差之间，而在十维空间上只有0.02%。3.过多的变量会妨碍查找规律的建立。4.仅在变量层面上分析可能会忽略变量之间的潜在联系。例如几个预测变量可能

2016-08-01 10:53:51 772

转载 TCP如何保证可靠性

转自：TCP如何保证可靠性，保存在此以学习。在TCP的连接中，数据流必须以正确的顺序送达对方。TCP的可靠性是通过顺序编号和确认（ACK）来实现的。TCP在开始传送一个段时，为准备重传而首先将该段插入到发送队列之中，同时启动时钟。其后，如果收到了接受端对该段的ACK信息，就将该段从队列中删去。如果在时钟规定的时间内，ACK未返回，那么就从发送队列中再次送出这个段。TCP在协议中就对数据可靠传输

2016-08-01 01:16:35 5022

转载 FFmpeg研究之路

http://chen-shan.net/?p=1371转自：FFmpeg研究之路，保存在此以学习。1.前言：项目中有需要，将摄像头的视频流进行转换。包括实时流的转换，和本地视频文件的转换。选用FFmpeg这一开源包来完成这一需求，下面是我从零开始的过程。2.步骤：一、我先去官网把源码下载到本地，然后看了下目录结构和ffmpeg.c文件中的mai

2016-08-01 00:16:07 1317

学在途中