- 博客(34)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 MapReduce的核心资料索引
[+]名字起源起源诸多优点架构HDFSNameNodeDataNode文件操作Linux 集群集群系统应用程序Hadoop系统安装于配置海量数据处理平台架构介绍Hadoop能解决哪些问题Hadoop在国内的情景Hadoop简介Hadoop生态系统介绍HDFS简介HDFS设计原则HDFS系统结构HDFS文件权限HDFS文件读取HDFS文件写入HDFS文件存储HDFS文件存
2014-04-14 15:15:49
3948
转载 排序--MapReduce .
1、1TB（或1分钟）排序的冠军 作为分布式数据处理的框架，集群的数据处理能力究竟有多快？或许1TB排序可以作为衡量的标准之一。 1TB排序，就是对1TB（1024GB，大约100亿行数据）的数据进行排序。2008年，Hadoop赢得1TB排序基准评估第一名，排序1TB数据耗时209秒。后来，1TB排序被1分钟排序所取代，1分钟排序指的是在一分钟内尽可能多的排序。2009年，在一个14
2014-04-03 15:35:58
935
原创 hadoop0.20.2中的KeyValueInputFormat
今天想用数据输入格式KeyValueInputFormat，API文档上的方法，我使用job.setInputFormatClass(KeyValueTextInputFormat.class);结果却报错The method setInputFormatClass(Class) in the type Job is not applicable for the arguments (Class)
2014-04-03 14:27:19
1439
原创 Hadoop集群配置
折腾了好几个小时，终于搭建好了Hadoop集群环境。主要参考了下面这篇博客（http://blog.csdn.net/flyqwang/article/details/7244552），表示感谢。在按照这篇博客进行操作的过程中主要遇到了这几个问题（都是些小问题，但是很折腾人。）1、我是直接复制了那篇博客里对那几个文件的配置，出现错误后，我发现，原来博主的配置文件内容有一个小错误，格式也
2014-04-01 20:46:04
1190
转载 Hadoop -- MapReduce过程
Hadoop -- MapReduce过程（转载自http://blog.sina.com.cn/s/blog_61ef49250100uul8.html） 昨天我们对MapReduce作了大概了解，知道它如何进行数据处理。今天我们走进MapReduce，分析MapReduce源代码，看看它到底是如何实现的，我们会根据数据流动的顺序来进行分析 :-)1.读取数
2014-03-30 20:15:51
8512
3
原创 每次启动hadoop都要格式化namenode?
前面配置好hadoop后，在使用中发现一个问题。就是每次启动都需要格式化，不然namenode就无法启动。在网上找到了相应的解决方法http://blog.csdn.net/bychjzh/article/details/7830508内容如下： 最近遇到了一个问题，执行start-all.sh的时候发现JPS一下namenode没有启动 每次开机都得重新格式化一下
2014-03-13 22:38:07
11341
4
原创 Nutch0.9配置
参看了很多文章，花了一个下午的时间，使用nutch0.9完成了一个简单搜索引擎。就是一些简单配置，不细说了。主要参照了这两篇文章：http://xusulong.iteye.com/blog/663411http://www.blogjava.net/persister/archive/2009/07/23/288039.html 配置过程中遇到过两个问题。1、当我把ROO
2014-03-13 21:26:26
942
原创 hadoop-0.20.2开发环境搭建
折腾了蛮久，参看了网上很多博客文章，我的hadoop环境终于搭建起来。现在回想起来，好像也没有什么难的，不过一步步照着来就是了。但是最初搭建的时候确实遇到了很多问题。现在就自己能记得的，把重要的步骤记录一下。准备工作：hadoop-0.20.2、jdk-7u45-linux-x64、VMware-workstation-full-v10.0.0-1295980、ubuntu-12.04-des
2014-03-12 21:39:24
1738
原创 题目1510：替换空格
题目描述：请实现一个函数，将一个字符串中的空格替换成“%20”。例如，当字符串为We Are Happy.则经过替换之后的字符串为We%20Are%20Happy。输入：每个输入文件仅包含一组测试样例。对于每组测试案例，输入一行代表要处理的字符串。输出：对应每个测试案例，出经过处理后的字符串。样例输入：We
2014-02-26 20:13:19
1054
原创 题目1384：二维数组中的查找
题目描述：在一个二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。输入：输入可能包含多个测试样例，对于每个测试案例，输入的第一行为两个整数m和n(1输入的第二行包括一个整数t(1接下来的m行，每行有n个数，代表题目所给出的m行n列
2014-02-24 22:36:34
707
原创 题目1464：Hello World for U
题目描述：Given any string of N (>=5) characters, you are asked to form the characters into the shape of U. For example, "helloworld" can be printed as:h de ll rlowoThat is,
2014-02-23 21:25:27
1203
1
原创 题目1202：排序
题目描述： 对输入的n个数进行排序并输出。输入： 输入的第一行包括一个整数n(1 接下来的一行包括n个整数。输出： 可能有多组测试数据，对于每组数据，将排序后的n个整数输出，每个数后面都有一个空格。 每组测试数据的结果占一行。样例输入：41 4 3 2样例输出：1 2 3 4
2014-02-23 21:23:52
877
原创 题目1185：特殊排序
题目描述：输入一系列整数，将其中最大的数挑出，并将剩下的数进行排序。输入：输入第一行包括1个整数N，1接下来的一行有N个整数。输出：可能有多组测试数据，对于每组数据，第一行输出一个整数，代表N个整数中的最大值，并将此值从数组中去除，将剩下的数进行排序。第二行将排序的结果输出。样例输入：41 3 4 2样例输出：
2014-02-23 21:21:55
812
原创 题目1061：成绩排序
题目描述： 有N个学生的数据，将学生数据按成绩高低排序，如果成绩相同则按姓名字符的字母序排序，如果姓名的字母序也相同则按照学生的年龄排序，并输出N个学生排序后的信息。输入： 测试数据有多组，每组输入第一行有一个整数N（N 每个学生的数据包括姓名（长度不超过100的字符串）、年龄（整形数）、成绩（小于等于100的正数）。输出：
2014-02-23 21:18:57
865
转载 C++中成员函数指针的应用
C++成员函数指针的应用C++中，成员指针是最为复杂的语法结构。但在事件驱动和多线程应用中被广泛用于调用回叫函数。在多线程应用中，每个线程都通过指向成员函数的指针来调用该函数。在这样的应用中，如果不用成员指针，编程是非常困难的。 刚遇到这种语法时也许会让你止步不前。但你会发现，使用恰当的类型定义之后，复杂的语法是可以简化的。本文引导你了解成员函数指针的声明，赋值和调用回叫函数。
2013-08-13 10:15:48
680
转载 程序员技术练级攻略
月光博客6月12日发表了《写给新手程序员的一封信》，翻译自《An open letter to those who want to start programming》，我的朋友（他在本站的id是Mailper）告诉我，他希望在酷壳上看到一篇更具操作性的文章。因为他也是喜欢编程和技术的家伙，于是，我让他把他的一些学习Python和Web编程的一些点滴总结一下。于是他给我发来了一些他的心得和经历，我
2013-05-15 18:24:25
812
转载 如何学好C++语言
昨天写了一篇如何学好C语言，就有人回复问我如何学好C++，所以，我把我个人的一些学习经验写在这里，希望对大家有用。首先，因为如何学好C语言中谈到了算法和系统，所以这里就只谈C++语言。C++是最难的语言。这个世界上最难的编程语言可能非C++莫属了。你千万不要以为几天就可以学好C++，C++的学习曲线是相当BT的，你可以看看这篇文章。C++是一门很自由的语言，自由到了有点BT和恐怖的地步。我
2013-05-15 17:58:28
748
转载 UML类图几种关系的总结
在UML类图中，常见的有以下几种关系: 泛化（Generalization）, 实现（Realization），关联（Association)，聚合（Aggregation），组合(Composition)，依赖(Dependency) 1. 泛化（Generalization） 【泛化关系】：是一种继承关系，表示一般与特殊的关系，它指定了子类如何特化父类的
2013-05-15 10:20:06
841
1
转载 利用MVC模式开发Java应用程序(转自网络，作者龚赤兵)
Java是一种面向对象的语言，是实现面向对象编程的强大工具。我们在实际编程中，应该运用并发挥其最大效能。但是，要利用面向对象编程思想，自己独立开发出好的Java应用程序，特别是大、中型程序，并不是一件简单的事情。正是基于面向对象编程思想，人们将实际中的各种应用程序，进行了大量的分析、总结，从而归纳出许多标准的设计模式。将这些设计模式合理地运用到自己的实际项目中，可以最大限度地减少开发过程中出现的设
2013-05-15 09:37:00
1069
转载 程序员跳槽之各行业目前现状对比
前几天公司一个实习程序员小兄弟拿着一家国内中型互联网企业offer时候问我意见，我没给任何意见，怕影响他的选择，只是谈谈我对目前国内IT行业的理解，与各位朋友分享。我在四家公司工作过，分别是非IT公司，民企IT公司（做企业软件，erp和周边系统），国内通讯行业，外企通讯行业。再加上从同学和朋友了解的其他行业的信息，给所有打算跳槽的朋友一些参考。1.非IT公司 非IT公司的IT部门绝
2013-05-13 20:06:45
1364
原创 static
以为自己完全弄懂了static，今天在使用的时候还是出现了问题。static有两种用法：面向过程程序设计中的static和面向对象程序设计中的static。在面向对象设计中，静态成员变量在类中声明，在类外还要进行初始化，这点要注意。具体的解释见下面的文章：摘自：http://baike.baidu.com/view/536145.htmC++中简介C#与C++的st
2013-05-10 22:29:58
798
转载 sizeof 和 strlen及字节对齐的问题
简介Pascal的一种内存容量度量函数：C语言中判断数据类型或者表达式长度符；不是一个函数，字节数的计算在程序编译时进行，而不是在程序执行的过程中才计算出来。 编辑本段用法Vara : array[1..10000] of longint;BeginWriteln(SizeOf(a));End.输出：40000如果定义Integer，则输出:40000
2013-05-10 21:34:12
1259
转载 C++使用static的错误：无法解析的外部符号、“static”不应在文件范围内定义的成员函数上使用 .
C++类静态成员与类静态成员函数 当将类的某个数据成员声明为static时，该静态数据成员只能被定义一次，而且要被同类的所有对象共享。各个对象都拥有类中每一个普通数据成员的副本，但静态数据成员只有一个实例存在，与定义了多少类对象无关。静态方法就是与该类相关的，是类的一种行为，而不是与该类的实例对象相关。 静态数据成员的用途之一是统计有多少个对象实际存在。
2013-05-10 20:00:49
11420
转载 变量声明和定义的区别
变量声明和定义的区别我们在程序设计中，时时刻刻都用到变量的定义和变量的声明，可有些时候我们对这个概念不是很清楚，知道它是怎么用，但却不知是怎么一会事，下面我就简单的把他们的区别介绍如下：(望我的指点对你受益)变量的声明有两种情况：1、一种是需要建立存储空间的。例如：int a 在声明的时候就已经建立了存储空间。2、另一种是不需要建立存储空间的。 例如：extern in
2013-05-10 19:55:53
712
转载 用静态成员函数调用非静态成员变量
C++会区分两种类型的成员函数：静态成员函数和非静态成员函数。这两者之间的一个重大区别是，静态成员函数不接受隐含的this自变量。所以，它就无法访问自己类的非静态成员。在某些条件下，比如说在使用诸如pthread（它不支持类）此类的多线程库时，就必须使用静态的成员函数，因为其地址同C语言函数的地址兼容。这种铜限制就迫使程序员要利用各种解决办法才能够从静态成员函数访问到非静态数据成员。第一个
2013-05-09 11:52:15
845
转载 程序员技术练级攻略
月光博客6月12日发表了《写给新手程序员的一封信》，翻译自《An open letter to those who want to start programming》，我的朋友（他在本站的id是Mailper）告诉我，他希望在酷壳上看到一篇更具操作性的文章。因为他也是喜欢编程和技术的家伙，于是，我让他把他的一些学习Python和Web编程的一些点滴总结一下。于是他给我发来了一些他的心得和经历，我
2013-05-08 11:51:02
814
转载 如何学习c语言
有人在酷壳的留言版上询问下面的问题keep_walker :今天晚上我看到这篇文章。http://programmers.stackexchange.com/questions/62502/small-c-projects我也遇到了和提问的老外一样的问题。。能给像遇到这样烦恼的程序员一点建议嘛？谢谢！我相信，这可能是很多朋友的问题，我以前也有这样的感觉，编程编到一定
2013-05-08 11:45:34
953
原创 编程与写作
大多数人都听过这样一个说法，就是算法是编程的灵魂。很早就听说了这样一个说法，我也对这个说法是深信不疑。可惜的是一直没能真正当成指导自己学习的准则。 上次面试腾讯，面试官也提到无论是什么应用，说到底还是算法。因为跟我心底的想法是一致的，所以我没有产生任何疑问。 回来后，我就一直在思考，为什么说算法是灵魂是核心？还有，即使我不熟悉那些数据结构啊，算法啊，但那些经典的东西网上一般都会有现成的
2013-05-06 13:49:55
1015
转载 8数码问题解决方案
8数码问题问题简介：所谓八数码问题是指这样一种游戏：将分别标有数字1，2，3，…，8的八块正方形数码牌任意地放在一块3×3的数码盘上。放牌时要求不能重叠。于是，在 3×3的数码盘上出现了一个空格。现在要求按照每次只能将与空格相邻的数码牌与空格交换的原则，将任意摆放的数码盘逐步摆成某种特殊的排列。如下图表示了 一个具体的八数码问题求解。问题分析：首先，八数码问题包括一个初始状
2013-04-27 20:23:30
2184
原创 C语言中Scanf和Printf
在初学C语言的时候总是忘记Scanf第二个参数是地址列表，应该加上取地址符，但是为什么是这样呢？一直不是很明白。最近重新看C语言相关的书，了解到Scanf和Printf并不是C语言本身有的东西，它只是标准库的一个函数，说直白点就是，这两个函数也是别人写出来的。这样一来，好像就容易理解了为什么Scanf是传址了——因为需要改变变量的值。但是又有了一个问题——我写过的函数参数数目都是有限的
2013-04-26 23:17:33
995
原创 VC中获取编辑框的值并转换为整型
纠结了好久，不知道如何从编辑框中获取数字，终于找到了一个简单的方法，示例如下： CString strText(_T("")); GetDlgItemText(IDC_EDIT4, strText); double val1 = _tcstod(strText, NULL); // 浮点数用这个 short val2 = _ttoi(strText);
2013-04-26 20:47:20
2600
原创 开始写博客
其实蛮喜欢写东西的，以前也一直想写写博客，但是又觉得浪费时间，然后就不了了之了。 决定了，从今天开始尝试写写博客，简单的记录一些自己在学习生活中的体会。 就说这么多了，just do it。
2013-04-24 16:58:47
752
自己动手写网络爬虫
2014-03-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人