- 博客(59)
- 资源 (7)
- 收藏
- 关注
RSS订阅转载 展望未来，总结过去10年的程序员生涯，给程序员小弟弟小妹妹们的一些总结性忠告
走过的路，回忆起来是那么曲折，把自己的一些心得体会分享给程序员兄弟姐妹们，虽然时代在变化，但是很可能你也会走我已经做过的10年的路程，有些心得体会你可以借鉴一下，觉得说得有道理的你就接纳，觉得说得没道理的，你就抛弃，以下是我发自内心的，给大家的忠告，特别是针对那些小弟弟妹妹们。01. 自己的户口档案、养老保险、医疗保险、住房公积金一定要保管好。由于程序员行业每年跳槽一次，我不隐瞒大家，
2015-07-24 10:04:15
439
转载 MapReduce实现大矩阵乘法
引言何为大矩阵？Excel、SPSS，甚至SAS处理不了或者处理起来非常困难，需要设计巧妙的分布式方法才能高效解决基本运算（如转置、加法、乘法、求逆）的矩阵，我们认为其可被称为大矩阵。这意味着此种矩阵的维度至少是百万级的、经常是千万级的、有时是亿万级的。举个形象的栗子。至2012年12月底，新浪微博注册用户数超5亿，日活跃用户4629万[1]，如果我们要探索这4000多万用户可以分成哪些类
2014-09-09 09:29:02
880
转载 C++中const、volatile、mutable的用法
const、volatile、mutable的用法const修饰普通变量和指针const修饰变量，一般有两种写法：const TYPE value;TYPE const value;这两种写法在本质上是一样的。它的含义是：const修饰的类型为TYPE的变量value是不可变的。对于一个非指针的类型TYPE，无论怎么写，都是一个含义，即value值不可变。 例如：const
2014-05-06 20:11:19
611
转载 java内部类总结
内部类本文主要参照网上的一些相关文章、以及thinking in java 第三版，对java里面的内部类进行了一个较为详细的总结内部类是指在一个外部类的内部再定义一个类。内部类作为外部类的一个成员，并且依附于外部类而存在的。内部类可为静态，可用protected和private修饰（而外部类只能使用public和缺省的包访问权限）。内部类主要有以下几类：成员内部类、局
2014-05-06 20:04:44
587
转载 Hadoop实战-中高级部分 之 Hadoop MapReduce高级编程
Hadoop实战-中高级部分 之 Hadoop MapReduce高级编程 Hadoop RestFulHadoop HDFS原理1Hadoop HDFS原理2Hadoop作业调优参数调整及原理Hadoop HAHadoop MapReduce高级编程Hadoop IOHadoop MapReduce工作原理Hadoop 管理Hadoop 集群安装H
2014-05-06 19:33:01
1992
1
转载 使用hadoop进行大规模数据的全局排序
1. Hellow hadoop~~!Hadoop（某人儿子的一只虚拟大象的名字）是一个复杂到极致，又简单到极致的东西。说它复杂，是因为一个hadoop集群往往有几十台甚至成百上千台low cost的计算机组成，你运行的每一个任务都要在这些计算机上做任务的分发，执行中间数据排序以及最后的汇总，期间还包含节点发现，任务的重试，故障节点替换等等等等的维护以及异常情况处理。谁叫had
2014-05-06 15:06:09
618
转载 MapReduce的二次排序 SecondarySort
关于二次排序主要涉及到这么几个东西：在0.20.0 以前使用的是setPartitionerClass setOutputkeyComparatorClasssetOutputValueGroupingComparator 在0.20.0以后使用是job.setPartitionerClass(Partitioner p);job.se
2014-05-06 14:39:32
819
转载 Hadoop中两表JOIN的处理方法
Dong的这篇博客我觉得把原理写的很详细，同时介绍了一些优化办法，利用二次排序或者布隆过滤器，但在之前实践中我并没有在join中用二者来优化，因为我不是作join优化的，而是做单纯的倾斜处理，做join优化或者查询优化时，上述二者是最基本的优化办法了。1. 概述在传统数据库（如：MYSQL）中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见
2014-05-06 14:32:36
697
转载 浅析观察者模式
简单地说，观察者模式定义了一个一对多的依赖关系，让一个或多个观察者对象监察一个主题对象。这样一个主题对象在状态上的变化能够通知所有的依赖于此对象的那些观察者对象，使这些观察者对象能够自动更新。 观察者模式的结构 观察者（Observer）模式是对象的行为型模式，又叫做发表-订阅（Publish/Subscribe）模式、模型-视图（Model/View）模式、源-收听者（Sou
2014-04-21 21:38:15
675
转载 程序员不可不知的eclipse操作快捷键
Ctrl+1 快速修复(最经典的快捷键,就不用多说了)Ctrl+D: 删除当前行 Ctrl+Alt+↓ 复制当前行到下一行(复制增加)Ctrl+Alt+↑ 复制当前行到上一行(复制增加)Alt+↓ 当前行和下面一行交互位置(特别实用,可以省去先剪切,再粘贴了)Alt+↑ 当前行和上面一行交互位置(同上)Alt+← 前一个编辑的页面Alt+→ 下一个编辑的页面(当然是针对
2014-04-16 20:53:17
713
转载 堆排序
最近面试，老是被问到堆排序算法。回答时老是感觉思路不清楚，现在总结一下，把思路弄清楚的。1.堆排序是利用堆的特性对记录序列进行排序的一种排序方法。好的那么堆得特性是什么呢？堆得定义：堆是满足下列性质的数列{r1, r2, …，rn}： 如下图最开始是一个小顶堆。当把97和13 交换后不是堆了，所以我们要调整根节点使之成为堆即筛选。(注意:是自堆顶到叶子的
2014-04-15 19:42:20
555
转载 Java中throw和throws的区别
区别一: throw是语句抛出一个异常；throws是方法抛出一个异常； throw语法:throw 在方法声明中,添加throws子句表示该方法将抛出异常. throws语法:[]([][throws] 其中,异常类可以声明多个,用 逗号分割区别二: throws可以单独使用,但throw不能； throw要么和try-catch-fin
2014-04-14 18:41:47
624
转载 KNN算法理解
一、算法概述1、kNN算法又称为k近邻分类(k-nearest neighbor classification)算法。最简单平凡的分类器也许是那种死记硬背式的分类器，记住所有的训练数据，对于新的数据则直接和训练数据匹配，如果存在相同属性的训练数据，则直接用它的分类来作为新数据的分类。这种方式有一个明显的缺点，那就是很可能无法找到完全匹配的训练记录。kNN算法则是从训练集中找
2014-04-14 09:46:51
839
1
转载 malloc和new有什么区别
malloc和new有以下不同：new、delete是操作符，可以重载，只能在c++中使用。malloc、free是函数，可以覆盖，c、c++中都可以使用。new可以调用对象的构造函数，对应的delete调用相应的析构函数。malloc仅仅负责分配内存，free仅仅回收内存，并不执行构造和析构函数。new、delete返回的是某种数据类型指针，malloc、free返回的是void指针。
2014-04-10 21:27:55
659
转载 结构体、共用体
结构体、共用体 1 #include 2 union 3 { 4 int i; 5 char x[2]; 6 }a; 7 8 void main() 9 { 10 a.x[0] = 10; 11 a.x[1] = 1; 12 printf("%d",a.i); 13 } 14 答案：266 15 16
2014-04-10 21:24:50
521
转载 static用法详解
一. 面向过程程序设计1、静态全局变量 在全局变量前，加上关键字static，该变量就被定义成为一个静态全局变量。我们先举一个静态全局变量的例子，如下： [cpp] view plaincopy//Example 1 #include void fn(); static int n; //定义静态全局变量
2014-04-10 21:21:22
996
转载 C++重要知识点小结---1
1.C++中类与结构的唯一区别是：类（class）定义中默认情况下的成员是private的，而结构（struct）定义中默认情况下的成员是public的。 2. ::叫作用域区分符，指明一个函数属于哪个类或一个数据属于哪个类。::可以不跟类名，表示全局数据或全局函数（即非成员函数）。 3.类名加载成员函数名之前而不是加在函数的返回类型前。错误：Tdate::
2014-04-10 21:18:36
638
转载 如何迅速秒杀掉海量数据处理面试题
转自：http://blog.csdn.net/v_july_v/article/details/7382693 教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道blog 前言 一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何
2014-04-10 21:07:30
666
转载 C++内存管理学习
来源：http://c.chinaitlab.com/basic/936306_2.html 一 C++内存管理1.内存分配方式 在讲解内存分配之前，首先，要了解程序在内存中都有什么区域，然后再详细分析各种分配方式。 1.1 C语言和C++内存分配区 下面的三张图，图1图2是一种比较详细的C语言的内存区域分法。图3是典型的C++内存分布图，简单
2014-04-10 21:02:18
896
转载 C++中引用的本质是什么?
一般的教材上讲到引用时，都是说“引用是对象的一个别名”。我认为这种定义是不清晰的，不利于初学者理解引用。至少我自己曾经被这个定义困扰了一段时间。到底什么是“别名”？ 实际上，引用的实质是位于xxxxxx地址上的一个xxxx类型的对象。比如教科书上常用的例子： int a = 5； //不妨假设编译器将a分配到0x400000 int &
2014-04-10 20:57:06
649
转载 浅淡C/C++中的typedef和#define
在C/C++中，我们平时写程序可能经常会用到typedef关键字和#define宏 定义命令，在某些情况下使用它们会达到相同的效果，但是它们是有实质性的区别，一个是C/C++的关键字，一个是C/C++的宏定义命令，typedef 用来为一个已有的数据类型起一个别名，而#define是用来定义一个宏定义常量。下面谈谈两者在实际使用中应当注意的地方。1.typedef关键字 typ
2014-04-10 20:54:15
670
转载 struct 与 typedef struct
1. 基本解释 typedef为C语言的关键字，作用是为一种数据类型定义一个新名字。这里的数据类型包括内部数据类型（int,char等）和自定义的数据类型（struct等）。 在编程中使用typedef目的一般有两个，一个是给变量一个易记且意义明确的新名字，另一个是简化一些比较复杂的类型声明。 至于typedef有什么微妙之处，请你接着看下面对几个问题的具体阐述。
2014-04-10 20:51:44
731
转载 C++类静态成员的初始化
记住:通常静态数据成员在类声明中声明,在包含类方法的文件中初始化.初始化时使用作用域操作符来指出静态成员所属的类.但如果静态成员是整型或是枚举型const,则可以在类声明中初始化!!!#include iostream>using namespace std;class test{public:static int num;};int test:
2014-04-08 16:27:08
639
转载 Java synchronized详解
第一篇：使用synchronized在编写一个类时，如果该类中的代码可能运行于多线程环境下，那么就要考虑同步的问题。在Java中内置了语言级的同步原语－－synchronized，这也大大简化了Java中多线程同步的使用。我们首先编写一个非常简单的多线程的程序，是模拟银行中的多个线程同时对同一个储蓄账户进行存款、取款操作的。在程序中我们使用了一个简化版本的Account类，
2014-04-07 20:01:46
526
转载 深入Java单例模式2
在阎宏博士的《JAVA与模式》一书中开头是这样描述单例模式的： 作为对象的创建模式，单例模式确保某一个类只有一个实例，而且自行实例化并向整个系统提供这个实例。这个类称为单例类。单例模式的结构 单例模式的特点：单例类只能有一个实例。单例类必须自己创建自己的唯一实例。单例类必须给所有其他对象提供这一实例。 饿汉式单例类publi
2014-04-07 19:58:30
580
转载 Java中Volatile关键字
Volatile修饰的成员变量在每次被线程访问时，都强迫从共享内存中重读该成员变量的值。而且，当成员变量发生变化时，强迫线程将变化值回写到共享内存。这样在任何时刻，两个不同的线程总是看到某个成员变量的同一个值。Java语言规范中指出：为了获得最佳速度，允许线程保存共享成员变量的私有拷贝，而且只当线程进入或者离开同步代码块时才与共享成员变量的原始值对比。这样当多个线程同时与某
2014-04-07 19:43:35
519
转载 深入Java单例模式
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://devbean.blog.51cto.com/448512/203501在GoF的23种设计模式中，单例模式是比较简单的一种。然而，有时候越是简单的东西越容易出现问题。下面就单例设计模式详细的探讨一下。 所谓单例模式，简单来说，就是在整个应用中保证只有一个类的实例存
2014-04-07 19:25:33
472
转载 排序算法的稳定性和时间复杂度分析
这几天笔试了好几次了，连续碰到一个关于常见排序算法稳定性判别的问题，往往还是多选，对于我以及和我一样拿不准的同学可不是一个能轻易下结论的题目，当然如果你笔试之前已经记住了数据结构书上哪些是稳定的，哪些不是稳定的，做起来应该可以轻松搞定。本文是针对老是记不住这个或者想真正明白到底为什么是稳定或者不稳定的人准备的。 首先，排序算法的稳定性大家应该都知道，通俗地讲就是能保证排序
2014-04-05 21:51:08
609
转载 常见排序算法分析
一.常见排序算法的实现1.冒泡排序冒泡排序是非常容易理解和实现，，以从小到大排序举例：设数组长度为N。1．比较相邻的前后二个数据，如果前面数据大于后面的数据，就将二个数据交换。2．这样对数组的第0个数据到N-1个数据进行一次遍历后，最大的一个数据就“沉”到数组第N-1个位置。3．N=N-1，如果N不为0就重复前面二步，否则排序完成。按照定义很
2014-04-05 21:37:07
548
转载 二分查找法的实现和应用汇总
来源：http://www.cnblogs.com/ider/archive/2012/04/01/binary_search.html在学习算法的过程中，我们除了要了解某个算法的基本原理、实现方式，更重要的一个环节是利用big-O理论来分析算法的复杂度。在时间复杂度和空间复杂度之间，我们又会更注重时间复杂度。时间复杂度按优劣排差不多集中在：O(1), O(log n),
2014-04-05 20:53:05
566
转载 归并排序
归并排序归并（Merge）排序法是将两个（或两个以上）有序表合并成一个新的有序表，即把待排序序列分为若干个子序列，每个子序列是有序的。然后再把有序子序列合并为整体有序序列。该算法是采用分治法（Divide and Conquer）的一个非常典型的应用。将已有序的子序列合并，得到完全有序的序列；即先使每个子序列有序，再使子序列段间有序。若将两个有序表合并成一个有序表，称为2-路归并。
2014-04-04 08:46:53
499
转载 Java内存泄露的理解与解决
在C++语言中，如果需要动态分配一块内存，程序员需要负责这块内存的整个生命周期。从申请分配、到使用、再到最后的释放。这样的过程非常灵活，但是却十分繁琐，程序员很容易由于疏忽而忘记释放内存，从而导致内存的泄露。Java语言对内存管理做了自己的优化，这就是垃圾回收机制。Java的几乎所有内存对象都是在堆内存上分配（基本数据类型除外），然后由GC（garbage collection）负责自动回收不再使
2014-03-27 21:48:46
470
转载 Java内存泄露原因详解
一、Java内存回收机制 不论哪种语言的内存分配方式，都需要返回所分配内存的真实地址，也就是返回一个指针到内存块的首地址。Java中对象是采用new或者反射的方法创建的，这些对象的创建都是在堆（Heap）中分配的，所有对象的回收都是由Java虚拟机通过垃圾回收机制完成的。GC为了能够正确释放对象，会监控每个对象的运行状况，对他们的申请、引用、被引用、赋值等状况进行监控，Java会使用有向图的方
2014-03-27 21:47:49
592
转载 java缓存的实现
缓存可分为二大类: 一、通过文件缓存,顾名思义文件缓存是指把数据存储在磁盘上，不管你是以XML格式，序列化文件DAT格式还是其它文件格式； 二、内存缓存，也就是实现一个类中静态Map,对这个Map进行常规的增删查. 下面为一个简单的缓存代码 Java代码 package lhm.hcy.guge.frameset.cache; im
2014-03-27 20:38:50
754
转载 动态链接库和静态链接库的区别
静态连接库就是把(lib)文件中用到的函数代码直接链接进目标程序，程序运行的时候不再需要其它的库文件；动态链接就是把调用的函数所在文件模块（DLL）和调用函数在文件中的位置等信息链接进目标程序，程序运行的时候再从DLL中寻找相应函数代码，因此需要相应DLL文件的支持。 静态链接库与动态链接库都是共享代码的方式，如果采用静态链接库，则无论你愿不愿意，lib 中的指令都全部被直接包含在最终生
2014-03-26 10:49:06
708
转载 分布式系统架构的基本原则和实践
原文地址：分布式系统架构的基本原则和实践作者：genstone采用分布式系统架构是由于业务需求决定的，若系统要求具备如下特性，便可考虑采用分布式架构来实现：1.数据存储的分区容错，冗余2.应用的大访问、高性能要求3.应用的高可用要求，故障转移分布式系统遵循几个基本原则1.CAP原理CAP Theorem，CAP原理中，有三
2014-03-26 09:31:29
1085
转载 JAVA反射机制
Java的反射机制是Java特性之一，反射机制是构建框架技术的基础所在。灵活掌握Java反射机制，对大家以后学习框架技术有很大的帮助。 那么什么是Java的反射呢？ 大家都知道，要让Java程序能够运行，那么就得让Java类要被Java虚拟机加载。Java类如果不被Java虚拟机加载，是不能正常运行的。现在我们运行的所有的程序都是在编译期的时候就已经知道了你所需要的那个类的已经被加载
2014-03-21 09:07:28
483
转载 Apache Mahout基于商品的协同过滤算法流程分析
最近使用mahout的itemBase协同过滤算法，研究了下他的源码，记录如下，以备后忘……其算法实现大致分四个主要的部分：1.将输入数据转化成矩阵2.计算相似性3.还是转化数据格式，为计算预测、推荐做准备4.预测评分并做推荐下面分别详细介绍：PreparePreferenceMatrixJob1.1 itemIDIndexi
2014-03-19 11:15:35
821
原创 Hive的安装和配置
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，并且不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive支持一种与SQL几乎完全相同的语言HiveQL，除了不支持更新、索引和事务。它可以看成是从SQL到Map-Reduce的映射器，提供shell、JDBC/ODBC、thrift、W
2014-03-01 20:47:03
825
原创 Lunix下MySql的安装及启动
1.MySql的安装使用yum命令安装Mysql：yum install mysql默认用户名是root，密码是空。2.启动MySqlservice mysqld startmysql -u root
2014-03-01 19:13:25
810
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人