xiaohang20103的专栏

Apache Spark源码走读之2 -- Job的提交与运行欢迎转载，转载请注明出处，徽沪一郎。概要本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。下载spark binary 0.9.1安装scala安装sbt安装java启动spark-she

Apache Spark源码走读之1 -- Spark论文阅读笔记欢迎转载，转载请注明出处，徽沪一郎。楔子源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。在对Spark的源码进行具体的走读之前，如果想要快速对Spark的有一个整体性的认识，阅读Mat

Hive是為簡化編寫MapReduce程序而生的，使用MapReduce做過數據分析的人都知道，很多分析程序除業務邏輯不同外，程序流程基本一樣。在這種情況下，就需要Hive這樣的用戶編程接口。Hive本身不存儲和計算數據，它完全依賴於HDFS和MapReduce，Hive中的表純邏輯表，就是些表的定義等，也就是表的元數據。使用SQL實現Hive是因為SQL大家都熟悉，轉換成本低，類似作用的Pig就

Hadoop.MapReduce作业任务当我们只用几行代码就可以运行一个MapReduce作业时,我们是否知道其实里面隐藏着大量的执行细节.本文就是来揭示一个Hadoop运行作业的执行细节.运行MapReduce作业的过程将包含以下四个实体1. 客户端.提交hadoop作业2. 分布式文件系统(一般为HDFS),3. JobTracker.协调作业的运行4. Tas

一，什么的是apt-get高级包装工具（英语：Advanced Packaging Tools,简称：APT）是Debian及其衍生发行版（如：ubuntu）的软件包管理器。APT可以自动下载，配置，安装二进制或者源代码格式的软件包，因此简化了 Unix系统上管理软件的过程,apt-get命令一般需要root权限执行，所以一般跟着sudo命令。它根yum ,pacman,installpkg等

grep 命令grep （globalsearch regular expression(RE) and print out theline,全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具grep的工作方式是这样的，它在一个或多个文件中搜索字符串模板。如果模板包括空格，则必须被引用，模板后的所有字符串被看作文件名。搜索的结果被送到屏幕，不影响原文件内容。

横向扩展　　前面介绍了MapReduce针对少量输入数据是如何工作的，现在我们开始鸟瞰整个系统以及有大量输入数据时数据是如何处理的。为了简单起见，到目前为止，我们的例子都只是用了本地文件系统中的文件。然而，为了实现横向扩展(scaling out)，我们需要把数据存储在分布式文件系统中，一般为HDFS (详见第3章)，由此允许Hadoop将MapReduce 计算移到存储有部分数据的各台机

java中substring的用法str＝str.substring(int beginIndex);截取掉str从首字母起长度为beginIndex的字符串，将剩余字符串赋值给str；str＝str.substring(int beginIndex，int endIndex);截取str中从beginIndex开始至endIndex结束时的字符串，并将其赋值给str;以下

vi编辑器是所有Unix及Linux系统下标准的编辑器，它的强大不逊色于任何最新的文本编辑器，这里只是简单地介绍一下它的用法和一小部分指令。由于对Unix及Linux系统的任何版本，vi编辑器是完全相同的，因此您可以在其他任何介绍vi的地方进一步了解它。Vi也是Linux中最基本的文本编辑器，学会它后，您将在Linux的世界里畅行无阻。1、vi的基本概念　　基本上vi可以分为三种状态，

1.  Oracle是大型数据库而Mysql是中小型数据库，Oracle市场占有率达40%，Mysql只有20%左右，同时Mysql是开源的而Oracle价格非常高。2. Oracle支持大并发，大访问量，是OLTP最好的工具。 3. 安装所用的空间差别也是很大的，Mysql安装完后才152M而Oracle有3G左右，且使用的时候Oracle占用特别大的内存空间和其他机器性能。 4

Core-site.xml配置http://hi.baidu.com/bjwyl66/item/83c5acf58d44fa25743c4c89http://www.juziku.com/sunlightcs/wiki/5989.htm配置hadoopHadoop的配置文件在早期版本中都放在同一个文件里hadoop-site.xml,在新版本中hadoop把配置文件做了区分

Hadoop操作HDFS命令如下所示：hadoop fs查看Hadoop HDFS支持的所有命令hadoop fs –ls列出目录及文件信息hadoop fs –lsr循环列出目录、子目录及文件信息hadoop fs –put test.txt /user/sunlightcs将本地文件系统的test.txt复制到HDFS文件系统的/user/sun

http://www.w3school.com.cn/xml/xml_dtd.asp拥有正确语法的 XML 被称为“形式良好”的 XML。通过 DTD 验证的 XML 是“合法”的 XML。-------------------------------------------------------------------------------形式良好

http://www.w3school.com.cn/xml/xml_elements.asp---------------------------------------------------------------------------------------------------------XML 文档包含 XML 元素。------------------------

------------------------------------------------------------------------------------------------------------------XML 的语法规则很简单，且很有逻辑。这些规则很容易学习，也很容易使用。--------------------------------------------

------------------------------------------------------------------------------------------------------------------------------------------------XML 文档形成了一种树结构，它从“根部”开始，然后扩展到“枝叶”。----------------

-------------------------------------------------------------------------------------------------------------------------------------------------XML 应用于 web 开发的许多方面，常用于简化数据的存储和共享。---------------

http://www.w3school.com.cn/xml/xml_intro.aspXML 被设计用来传输和存储数据。HTML 被设计用来显示数据。--------------------------------------------------------------------------------------------------------------

本文介绍了数据库设计方面的20个最佳实践：　　1、使用明确、统一的标明和列名，例如 School, SchoolCourse, CourceID。　　2、数据表名使用单数而不是复数，例如 StudentCourse，而不是StudentCourses。　　3、数据表名不要使用空格。　　4、数据表名不要使用不必要的前缀或者后缀，例如使用School，而不是TblSch