2013年01月_月貘苏

08月 06月 04月 03月 02月 01月

转载 Hadoop MapReduce Job性能调优——修改Map和Reduce个数

map task的数量即mapred.map.tasks的参数值，用户不能直接设置这个参数。Input Split的大小，决定了一个Job拥有多少个map。默认input split的大小是64M（与dfs.block.size的默认值相同）。然而，如果输入的数据量巨大，那么默认的64M的block会有几万甚至几十万的Map Task，集群的网络传输会很大，最严重的是给Job Tracker的调度

2013-01-30 15:45:20 2376

转载程序员工作面试总结

本文着重于介绍我工作面试中涉及到的一些知识，以及我本人认为可以供大家参考的一些资料。书籍：《算法导论》这本是大部头，很多人都看不完。我本人也并没有看完，它跟了我这么多年，完全是属于常看常新的牛书。每一次看，都发现会有新的收获。比如，以前并不知道求K位数或者中位数有平均为O(n)复杂度的算法。看到了别的地方的参考资料，才知道，原来《算导》上专门有一小节讲这个内容。

2013-01-25 15:09:57 1134 1

转载十五年，你积累了些什么？

这件事弄得我挺郁闷的. 公司的兄弟部门要招一个JAVA平台的架构师,一位来面试的兄弟简历上做了十五年的编程,十二年JAVA工作经历.经历过N多的公司.原面试的一个女同事经历较浅,怕罩不住,请我帮她面试一下. 我看了一下简历,大多数时间在做CRM,工作流,办公系统类的项目,也有两家公司是国内比较知名的互联网应用的项目.我面试的一贯原则不会问我自己懂的东西,而是看对方的行业经验去问

2013-01-25 11:47:16 1098 1

转载 “如果你倾尽全力，只是为了击败在做同样工作的其他公司，那这样的工作怎么会令人兴奋？这就是许多公司衰落的原因。

前一段脑子里忽然冒出来个问题：马化腾、李彦宏、周鸿祎这些人，如果一直坚持只做一个100人的小公司、在任何时候都专注于一个产品。他们创造的社会价值，会不会比现在带着几万人做一个巨头公司更大？是的，小公司可能被巨头山寨、打垮、或者收购。但那有什么关系，正好进入下一个领域。做巨头，精力被耗费在管理内耗、血腥竞争上面。这给社会带来的增量是小的。做

2013-01-25 11:17:24 1882

转载 Hadoop中两表JOIN的处理方法

1. 概述在传统数据库（如：MYSQL）中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见且耗时，由于Hadoop的独特设计思想，当进行JOIN操作时，有一些特殊的技巧。本文首先介绍了Hadoop上通常的JOIN实现方法，然后给出了几种针对不同输入数据集的优化方法。2. 常见的join方法介绍假设要进行join的数据分别来自File1和File2.

2013-01-24 16:54:04 655

翻译 Mondrian聚合和存储策略

Storage and aggregation strategies OLAP Servers are generally categorized according to how they store their data:A MOLAP (multidimensional OLAP) server stores all of its data on disk in structur

2013-01-24 11:29:35 810

转载 Map/Reduce 算法面试问题列表

1. Map/Reduce方式实现矩阵相乘http://www.norstad.org/matrix-multiply/index.html 2. Map/Reduce方式实现PageRank算法http://blog.ring.idv.tw/comment.ser?i=369http://code.google.com/p/map-reduce-assig

2013-01-23 14:27:06 1225

转载产品需求文档(PRD)的写作方法

无论我们做什么事都讲究方式方法，写产品需求文档(以下称PRD文档)也是如此，之前我通过四篇文章分享了自己写PRD文档的一些方法，而这一篇文章主要是对之前四篇文章进行整体的摘要介绍，帮助大家快速了解写作流程。产品需求文档(PRD)的写作四篇章：1、写前准备(信息结构图)2、梳理需求(产品结构图和用户流程图)3、原型设计(手绘原型,灰模原型,交互原型)4、撰写文档(PRD文档

2013-01-22 15:44:51 774

转载 hadoop操作命令

在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动HADOOP1. 进入HADOOP_HOME目录。2. 执行sh bin/start-all.sh关闭HADOOP1. 进入HADOOP_HOME

2013-01-22 14:53:37 442

转载如何预测用户query意图

有一个朋友问，一个用户搜索一个query是“百度”，怎么知道用户真正是想找什么呢。我回答说，分析之前搜索这个query的用户点了些什么结果啊。朋友继续问，如果没有用户点击呢。呃，如果没有点击，这个问题就比较复杂了。整理了下思路，于是写成了本文。主要描述了关于如何预测用户query意图。希望会有所帮助。首先我们的明确一个标准，如何判断我们对用户意图的猜测是正确的?用户的思维是很发

2013-01-21 16:11:31 929

转载 KMP匹配算法图解

问题：对于一个源字符串 source = "abababaababacb" 来说，查找其中包含子串 pattern = "ababacb" 出现的位置下标。首先，我们通过最基本的方法来进行查找。i 表示当前用来匹配的 source 中字符的下标，j 表示当前用来匹配的模板的下标。i01234

2013-01-18 16:25:43 1031

转载字符串：KMP Eentend-Kmp 自动机 trie图 trie树后缀树后缀数组

涉及到字符串的问题，无外乎这样一些算法和数据结构：自动机 KMP算法 Extend-KMP 后缀树后缀数组 trie树 trie图及其应用。当然这些都是比较高级的数据结构和算法，而这里面最常用和最熟悉的大概是kmp，即使如此还是有相当一部分人也不理解kmp，更别说其他的了。当然一般的字符串问题中，我们只要用简单的暴力算法就可以解决了，然后如果暴力效率太低，就用个hash。当然hash也是一个面试

2013-01-17 17:13:04 891

转载字符串系列算法题

转载请注明作者：phylips@bmy 出处：http://duanple.blog.163.com/blog/static/70971767200982584340501/1.求最长回文子串。[解法]：将整个字符串反过来写在原字符串后面，中间用一个特殊的字符隔开。这样就把问题变为了求这个新的字符串的某两个后缀的最长公共前缀。而某两个后缀的lcs的计算利用后缀数组，可以O(1),

2013-01-17 11:05:17 654

转载美在线教育商Lynda连续15年盈利首度融资1亿美元

北京时间1月17日消息，据国外媒体报道，美国在线教育平台Lynda.com成立17年以来，在没有任何外部投资的情况下，连续盈利15年，而且在2012年创造了1亿美元的营收。日前这家公司终于同意接受风投，并成功融资逾1亿美元。早在去年5月份，Techcrunch就报道了以视频为基础的教育平台Lynda.com的独特故事。作为一家在线教育公司，它帮助人们学习软件、创新与商业技能，以实现个人和职业目

2013-01-17 10:22:55 1339

转载解密i++

学习过一门计算机语言的人一定知道j=i＋＋的运算结果，整个表达式的值为i，而i的值变为i+1；那么i=i＋＋又是一个什么情况呢？下面分别用java 和 c 两种语言来做个测试：JAVA:public class test{public static void main(String args[]){inti,j;i=0;for(j=0

2013-01-16 17:07:40 498

转载 C++内存详解

一个由C/C++编译的程序占用的内存分为以下几个部分1、栈区（stack）— 程序运行时由编译器自动分配，存放函数的参数值，局部变量的值等。其操作方式类似于数据结构中的栈。程序结束时由编译器自动释放。2、堆区（heap） — 在内存开辟另一块存储区域。一般由程序员分配释放，若程序员不释放，程序结束时可能由OS回收。注意它与数据结构中的堆是两回事，分配方式倒是类似于链表，呵呵。3、全

2013-01-11 15:58:39 534

转载 mondrian 配置XMLA例子2

XMLA配置好之后需要先使用XMLA test page测试看是否配置正确Mondrian is an open source Java OLAP server under Pentaho. One of its great feature is that it can be act asXML/A (XML for Analysis) server that can be consu

2013-01-08 12:42:23 1732

转载 mondrian配置XMLA的例子

This sample is the default features sample which querying Sales Cube from XMLA provider using JPivot interface. ConfigurationPrerequisites ArticlesMondrian web application with MySQL

2013-01-08 11:47:49 2880

转载如何让你的应用更受欢迎？

2012 年无疑是移动互联网高速发展的一年，也涌现出了众多令人赞叹的移动应用，例如微信、陌陌、啪啪、唱吧等等。相信还有很多正在创业的兄弟们也同样希望自己开发的应用能够像他们一样受欢迎。那么如何才能开发出更受欢迎的手机应用呢？不久前知乎围绕“如何开发移动应用”发起了一系列提问，并且邀请了姜跃平 (大众点评产品与运营副总裁)、屈辰晨 (Zaker 副总裁)、杨洪涛 (搜狗桌面事业部经理)、张锐（啪

2013-01-06 10:00:29 790

转载对use case的一点理解——by Vega

在一般的UML建模过程中，分为以下几个阶段：业务、需求、分析和设计，其中设计又可分为结构分析和行为分析。业务是对商业模型的深刻理解，从商业模型里面提取出业务需求，然后把需求分解成一系列的用例。分析和设计是在用例的基础上，对商业模型的结构和行为进行详细具体的描述。结构分析一般是用类图，类图又可以按照M－V－C模型分为数据类、界面类和控制类。行为分析是描述三种类之间的流程操作关系，一般是用时序图或者状

2013-01-05 14:06:36 815