常用参数格式：tee只输出到标准输出，因为没有指定文件。 格式：tee file输出到标准输出的同时，保存到文件file中。如果文件不存在，则创建；如果已经存在，则覆盖之。格式：tee -a file输出到标准输出的同时，追加到文件file中。如果文件不存在，则创建；如果已经存在，就在末尾追加内容，而不是覆盖。 格式：tee -输出到标准输出两次

declare命令是bash的一个内建命令，它可以用来声明shell变量，设置变量的属性（Declare variables and/or give them attributes）。该命令也可以写作typeset。格式：declare -p格式：typeset -p显示所有变量的值。 格式：declare -p var格式：typeset -p var显示指定变量

shell的默认赋值是字符串赋值为了达到我们想要的效果有以下几种表达方式：   #注意加号两边的空格，否则还是按照字符串的方式赋值。注意：前两种方式在bash下有效，在sh下会出错。let表示数学运算，expr用于整数值运算，每一项用空格隔开，$[]将中括号内的表达式作为数学运算先计算结果再输出。

MR job failed with below error:java.lang.RuntimeException: Error caching map.xml: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /tmp/hive/root/c6d2b6f4-3b63-43c6-b9a5-522c3421b5

远程登录该自动登录的过程是通过shell里面expect实现的，类似相当于开了一个类似于cmd的命令段输出IP和密码。注意该脚本能够执行的前提是安装了expectyum install -y expect 直接上脚本：#!/usr/bin/expect                                   expect命令路径  whereis

diff是Unix系统的一个很重要的工具程序。它用来比较两个文本文件的差异，是代码版本管理的基石之一。你在命令行下，输入：　　$ diff diff就会告诉你，这两个文件有何差异。它的显示结果不太好懂，下面我就来说明，如何读懂diff。一、diff的三种格式由于历史原因，diff有三种格式：　　* 正常格式（normal dif

sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。选项与参数：-n

真实场景是在执行pssh的时候，在远端服务器执行sudo命令，有如下报错：$ pssh -h testlist.txt -l fisher "sudo uptime" [1] 12:33:14 [FAILURE] 10.20.30.40 Exited with error code 1网上搜了一下，解决办法是编辑 /etc/sudoers 文件，将Default r

java.io.IOException: Connection reset by peer        at sun.nio.ch.FileDispatcherImpl.read0(Native Method)        at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39)        at sun.nio.

Endnote的安装：点击打开链接插入参考文献编号并编制索引：点击打开链接一段文字如何引用多个连续文献：点击打开链接endnote 参考文献字体设置：点击打开链接

在word中新建了几个样式，设置了几个标题的编号形式，比如（1）等，保存文档时一切正常。同时提示是否保存Normal.dotm，我点击了“是”。再次打开这个文档后，发现之前设置的编号形式全部显示成黑块了，在样式里面修改也无效！解决方法可以这样：1、将光标定位到黑块最末处2、按一下左方向键『←』，此时黑块会显示灰色3、按组合键『Ctrl +

SQL标准定义了4类隔离级别，包括了一些具体规则，用来限定事务内外的哪些改变是可见的，哪些是不可见的。低级别的隔离级一般支持更高的并发处理，并拥有更低的系统开销。Read Uncommitted（读取未提交内容）       在该隔离级别，所有事务都可以看到其他未提交事务的执行结果。本隔离级别很少用于实际应用，因为它的性能也不比其他级别好多少。读取未提交的数据，也被称之为脏读（Dirt

1、一致性hash介绍一致性哈希算法是分布式系统中常用的算法。比如，一个分布式的存储系统，要将数据存储到具体的节点上，如果采用普通的hash方法，将数据映射到具体的节点上，如key%N，key是数据的key，N是机器节点数，如果有一个机器加入或退出这个集群，则所有的数据映射都无效了，如果是持久化存储则要做数据迁移，如果是分布式缓存，则其他缓存就失效了。    因此，引入了一致性哈希算法

看如下程序代码段：public class Test1 { public static void main(String[] args) { A b = new B(); b.print(); }}class A { public A(){ print(); } public void print()

原文发表于：http://nerd-is.in/2013-09/scala-learning-higher-order-functions/在函数式编程语言中，函数是“头等公民”，可以像任何其他数据类型一样被传递和操作。因为Scala混合了面向对象和函数式的特性，所以对Scala来说，函数是“头等公民”。作为值的函数

//基于partition函数的快速排序int partition(int *data, int start, int end){ if(data == NULL || start > end){ return -1; } int index = data[start]; int i = start,j = end; while(i < j){ while(i= index)

归并排序（Merge）是将两个（或两个以上）有序表合并成一个新的有序表，即把待排序序列分为若干个子序列，每个子序列是有序的。然后再把有序子序列合并为整体有序序列。归并排序是建立在归并操作上的一种有效的排序算法。该算法是采用分治法（Divide and Conquer）的一个非常典型的应用。 将已有序的子序列合并，得到完全有序的序列；即先使每个子序列有序，再使子序列段间有序。若将两个有序表合

1、算法概念。快速排序（Quicksort）是对冒泡排序的一种改进。由C. A. R. Hoare在1962年提出。2、算法思想。通过一趟排序将要排序的数据分割成独立的两部分，其中一部分的所有数据都比另外一部分的所有数据都要小，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。3、实现思路。①以第一个关键字 K

Java版C++版

关于Hashcode的作用 　　总的来说，Java中的集合（Collection）有两类，一类是List，再有一类是Set。前者集合内的元素是有序的，元素可以重复；后者元素无序，但元素不可重复。        要想保证元素不重复，可两个元素是否重复应该依据什么来判断呢？这就是Object.equals方法了。但是，如果每增加一个元素就检查一 次，那么当元素很多时，后添加到集合中的元素比较的

本篇文章列举了4种最受欢迎的java复制文件的方式，复制文件是一个重要的操作,需要的朋友可以参考下尽管Java提供了一个可以处理文件的IO操作类，但是没有一个复制文件的方法。复制文件是一个重要的操作，当你的程序必须处理很多文件相关的时候。然而有几种方法可以进行Java文件复制操作,下面列举出4中最受欢迎的方式。1. 使用FileStreams复制这是最经典的方式将一个文件的内容复制

关概念：    线程池可以看做容纳线程的容器；    一个应用程序最多只能有一个线程池；    ThreadPool静态类通过QueueUserWorkItem()方法将工作函数排入线程池；    每排入一个工作函数，就相当于请求创建一个线程； 线程池的作用：线程池是为突然大量爆发的线程设计的，通过有限的几个固定线程为大量的操作服务，减少了创

一.回答：什么时候? 能说明minor gc/full gc的触发条件、OOM的触发条件，降低GC的调优的策略。    分析：列举一些我期望的回答：eden满了minor gc，升到老年代的对象大于老年代剩余空间full gc，或者小于时被HandlePromotionFailure参数强制full gc；gc与非gc时间耗时超过了GCTimeRatio的限制引发OOM，调优诸如通

树是一种比较重要的数据结构，尤其是二叉树。二叉树是一种特殊的树，在二叉树中每个节点最多有两个子节点，一般称为左子节点和右子节点（或左孩子和右孩子），并且二叉树的子树有左右之分，其次序不能任意颠倒。二叉树是递归定义的，因此，与二叉树有关的题目基本都可以用递归思想解决，当然有些题目非递归解法也应该掌握，如非递归遍历节点等等。本文努力对二叉树相关题目做一个较全的整理总结，希望对找工作的同学有所帮助。

MySQL提供标准的SQL模式匹配，以及一种基于象Unix实用程序如vi、grep和sed的扩展正则表达式模式匹配的格式。一、SQL模式SQL的模式匹配允许你使用“_”匹配任何单个字符，而“%”匹配任意数目字符（包括零个字符）。在 MySQL中，SQL的模式缺省是忽略大小写的。下面显示一些例子。注意在你使用SQL模式时，你不能使用=或！=；而使用LIKE或NOT LIKE比较操作符

写一函数判断某个整数是否为回文数，如12321为回文数。将整数逆序后形成另一整数，判断两个整数是否相等来实现的。int IsEchoNum(int num) { int tmp = 0; for(int n = num; n; n/=10)  tmp = tmp *10 + n%10; return tmp==num;}int main(int argc, char

1.缓存的优点　　1） 缓存减少了冗余的数据传输，节省了网络费用。　　2） 缓存缓解了网络瓶颈的问题，不需要更多的网络带宽就能更快的加载页面。　　3） 缓存降低了对原始服务器的要求，服务器可以更快的响应。　　2.缓存分类　　1）私有缓存　　常见就是我们的浏览器里内置的缓存。　　2）公有缓存　　常见的就是代理缓存，不多介绍。　　

1、内存泄漏简介及后果wikipedia中这样定义内存泄漏：在计算机科学中，内存泄漏指由于疏忽或错误造成程序未能释放已经不再使用的内存的情况。内存泄漏并非指内存在物理上的消失，而是应用程序分配某段内存后，由于设计错误，导致在释放该段内存之前就失去了对该段内存的控制，从而造成了内存的浪费。最难捉摸也最难检测到的错误之一是内存泄漏，即未能正确释放以前分配的内存的 bug。 只发生一次的

阮一峰blog:http://www.ruanyifeng.com/blog/2013/05/Knuth%E2%80%93Morris%E2%80%93Pratt_algorithm.html

有一个单链表，其中可能有一个环，也就是某个节点的next指向的是链表中在它之前的节点，这样在链表的尾部形成一环。问题：1、如何判断一个链表是不是这类链表？2、如果链表为存在环，如何找到环的入口点？解答：一、判断链表是否存在环，办法为：设置两个指针(fast, slow)，初始值都指向头，slow每次前进一步，fast每次前进二步，如果链表存在环，则fas

TCP的拥塞控制1.  拥塞：即对资源的需求超过了可用的资源。若网络中许多资源同时供应不足，网络的性能就要明显变坏，整个网络的吞吐量随之负荷的增大而下降。    拥塞控制：防止过多的数据注入到网络中，这样可以使网络中的路由器或链路不致过载。拥塞控制所要做的都有一个前提：网络能够承受现有的网络负荷。拥塞控制是一个全局性的过程，涉及到所有的主机、路由器，以及与降低网络传输性能有关的所有

有两种方式：   1. command & ： 后台运行，你关掉终端会停止运行   2. nohup command & ： 后台运行，你关掉终端也会继续运行   一、 简介     Linux/Unix 区别于微软平台最大的优点就是真正的多用户，多任务。因此在任务管理上也有别具特色的管理思想。我们知道，在 Windows 上面，我们要么让一个程序作为服务在

先上例子：下面的代码输出什么？ Integer a = 1; Integer b = 1; Integer c = 2; Integer d = 3; Integer e = new Integer(3); Integer e1 = new Integer(3);

final的作用随着所修饰的类型而不同       1、final修饰类中的属性或者变量              无论属性是基本类型还是引用类型，final所起的作用都是变量里面存放的“值”不能变。              这个值，对于基本类型来说，变量里面放的就是实实在在的值，如1，“abc”等。              而引用类型变量里面放的是个地址，所以用final修饰

给定一个 query 和一个 text,均由小写字母组成。要求在 text 中找出以同样的顺序连 续出现在 query 中的最长连续字母序列的长度。例如, query 为“acbac”,text 为 “acaccbabb”,那么 text 中的“cba”为最长的连续出现在 query 中的字母序列,因此, 返回结果应该为其长度 3。请注意程序效率。思路：用一个矩阵来记录两个字符串中

在一个二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。    例如下面的二维数组就是每行、每列都递增排序。如果在这个数组中查找数字6，则返回true；如果查找数字5，由于数组不含有该数字，则返回false。1 2 8 92 3 9 124 7 10 13

一、fork入门知识     一个进程，包括代码、数据和分配给进程的资源。fork（）函数通过系统调用创建一个与原来进程几乎完全相同的进程，也就是两个进程可以做完全相同的事，但如果初始参数或者传入的变量不同，两个进程也可以做不同的事。    一个进程调用fork（）函数后，系统先给新的进程分配资源，例如存储数据和代码的空间。然后把原来的进程的所有值都复制到新的新进程中，只有少数值与原来

设计两个线程类，一个线程类负责打印100以内所有的偶数，另一个线程打印100以内所有的奇数。要求偶数线程每打印10个偶数以后，就让奇数线程打印10个奇数，如此交替进行。public class TwoThreadPrint { public static void main(String[] args) { PrintBean bean = new PrintB

去除重复字符并排序：输入：              字符串输出：              去除重复字符并排序的字符串样例输入：       aabcdefff样例输出：       abcdef统计出现的过的字符串，并将相应的数组位置为1，然后遍历数组，为1的将对应的字符输出。package com.huawei;import java.util

题目：两个非常大的数字相乘（相加，相减）       该题目在java中可以使用BigInteger类中的方法来实现。否则的话可以使用如下方式来实现。       大数相乘：假设有A和B两个大数，位数分别为a和b。根据我们平常手动计算乘法的方式可以看出，最终的结果的位数c一定小于等于a+b，我们可以举一个简单的例子来说明，99*999=98901，最终结果是五位（a+b）。下面我们

输入一段字符串，字符串中只包含大小写字母。要求完成函数删除给定字符串中出现次数最少的字符。 输出删除完的字符串。如果有多个出现次数一样的字符，都为最少时，一并删除。例如：输入:abbccd，输出为bbcc。分析：删除出现次数最少的也就是保留出现最多的，但是可能有多个出现最多的，如上面的例子，就要考虑记录出现最多的字符以及出现的次数。public class MaxCharacter

什么是逃逸分析(Escape Analysis)?在编程语言的编译优化原理中，分析指针动态范围的方法称之为逃逸分析。它跟静态代码分析技术中的指针分析和外形分析类似。通俗一点讲，当一个对象的指针被多个方法或线程引用时，我们称这个指针发生了逃逸。而用来分析这种逃逸现象的方法，就称之为逃逸分析。举个例子： Java代码   class 

两个软硬程度一样但未知的鸡蛋，它们有可能都在一楼就摔碎，也可能从一百层楼摔下来没事。有座100层的建筑，要你用这两个鸡蛋确定哪一层是鸡蛋可以安全落下的最高位置。可以摔碎两个鸡蛋。 最少需要几次测试，才能得到摔碎鸡蛋的楼层？方案如何？================================================= 对于这个问题，如果从编程角度而言，最

测试脚本test.sh：i=1while :do echo $i    sleep 1    ((i++))done一、当在前台运行某个作业时，终端会被该作业占据，从而需要再开一个终端来进行其他的操作，为了避免这种不方便我们可以将作业放到后台执行，主要有两种方式1、&命令 sh test.sh & 该命令将脚本放到后台执行，但是标准输出还是会显示

标准库（被包含于中）提供两个帮助生成伪随机数的函数： 函数一：int rand(void)；从srand (seed)中指定的seed开始，返回一个[seed, RAND_MAX（0x7fff）)间的随机整数。函数二：void srand(unsigned seed)；参数seed是rand()的种子，用来初始化rand()的起始值。可以认为rand()在每次被调用的时候，它会

题目：我们把只包含因子2、3和5的数称作丑数（Ugly Number）。例如6、8都是丑数，但14不是，因为它包含因子7。习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第1500个丑数。　　分析：寻找一个数是不是满足某种数（质数，水仙数）等，最简单的方法就是遍历，对于任意一个丑数必定可以写成2^m*3^n*5^p，因而对于一个丑数，只含有2，3，5因子，也就意味着该数number

HashMap的工作原理是近年来常见的Java面试题。几乎每个Java程序员都知道HashMap，都知道哪里要用HashMap，知道Hashtable和HashMap之间的区别，那么为何这道面试题如此特殊呢？是因为这道题考察的深度很深。这题经常出现在高级或中高级面试中。投资银行更喜欢问这个问题，甚至会要求你实现HashMap来考察你的编程能力。ConcurrentHashMap和其它同步集合的引入

一、垃圾回收机制的意义Java语言中一个显著的特点就是引入了垃圾回收机制，使c++程序员最头疼的内存管理的问题迎刃而解，它使得Java程序员在编写程序的时候不再需要考虑内存管理。由于有个垃圾回收机制，Java中的对象不再有“作用域”的概念，只有对象的引用才有“作用域”。垃圾回收可以有效的防止内存泄露，有效的使用空闲的内存。ps:内存泄露是指该内存空间使用完毕之后未回收，在不涉及复杂

面试的时候经常会遇见诸如：“java中的HashMap是怎么工作的”，“HashMap的get和put内部的工作原理”这样的问题。本文将用一个简单的例子来解释下HashMap内部的工作原理。首先我们从一个例子开始，而不仅仅是从理论上，这样，有助于更好地理解，然后，我们来看下get和put到底是怎样工作的。我们来看个非常简单的例子。有一个”国家”(Country)类，我们将要用Country

默认值初始化：1.  首先明确 StringBuffer类与 StringBuilder类均继承了抽象类 AbstractStringBuilder类无参构造方法2. 源码中StringBuffer类和StringBuilder类初始化均调用父类的构造方法： 父类初始化： 子类默认传入值16 给父类初始

我们如果要保存一组对象，用我们之前学过的知识，会使用对象数组，但鉴于数组的局限性，数组长度一经定义就不能改变，所以我们使用链表、队列等数据结构操作，但是很麻烦。类集框架就是一个动态的数组，但不受数组长度的限制。 HashMap允许key值为空，（在方法containsValue(Object value)：如果指定值key==null，并且在键值对中有value为null时，也

字节流与和字符流的使用非常相似，两者除了操作代码上的不同之外，是否还有其他的不同呢？ 实际上字节流在操作时本身不会用到缓冲区（内存），是文件本身直接操作的，而字符流在操作时使用了缓冲区，通过缓冲区再操作文件，如图12-6所示。  下面以两个写文件的操作为主进行比较，但是在操作时字节流和字符流的操作完成之后都不关闭输出流。 范例：使用字节流不关闭执行 Java代码

1 读取文件2 从网页获取3 写入文件将从网页上获取的内容写入到本地文件：写入的结果如下：4 控制台输入在控制台输入：hello world，则打印出 hello world

1 语句的执行顺序try{ } 中有个return 语句，那么紧跟在try后面的finally{ } 中的代码是否被执行？如果执行，什么时候被执行？是在return前还是return后？例如这个函数：public static int testFinally1(){int res = 1;try {res = 2;return res;}catch (Excepti

IntelliJ Idea 常用快捷键列表 Alt+回车 导入包,自动修正Ctrl+N   查找类Ctrl+Shift+N 查找文件Ctrl+Alt+L  格式化代码Ctrl+Alt+O 优化导入的类和包Alt+Insert 生成代码(如get,set方法,构造函数等)Ctrl+E或者Alt+Shift+C  最近更改的代码Ctrl+R 替换文本

1 Java值传递Java原始数据类型在传递时以值传递，而包装类和其他的类在传递时是按引用传递的。s1按照引用传递，n按照值传递，所以passParam(s1, n) 函数会修改s1的内容，而n的值不变。将n的类型改为int的包装类Integer：可以看到，打印的结果不变，这是为什么呢？n还是按照引用传递的，只是由于Integer是不可变类，没有

1 who查看有谁在线2 file test.txt查看test.txt的基本数据类型3 whereis [-bmsu] 文件或目录名寻找特定文件4 locate [-ir] keyword查找系统中包含keyword关键字的文件-i 忽略大小写-r 后接正则表达式5 find 文件查找-name  filename 查找文件名为filename的文

1 for循环2 匿名函数3 递归函数4 多参数函数

1 fail-fast简介fail-fast 机制是java集合(Collection)中的一种错误机制。当多个线程对同一个集合的内容进行操作时，就可能会产生fail-fast事件。例如：当某一个线程A通过iterator去遍历某集合的过程中，若该集合的内容被其他线程所改变了；那么线程A访问集合时，就会抛出ConcurrentModificationException异常，产生fail

第1部分 Iterator和Enumeration区别在Java集合中，我们通常都通过 “Iterator(迭代器)” 或 “Enumeration(枚举类)” 去遍历集合。今天，我们就一起学习一下它们之间到底有什么区别。我们先看看 Enumeration.java 和 Iterator.java的源码，再说它们的区别。Enumeration是一个接口，它的源码如下：

1 Tuple2 Array3 Map4 文件操作E盘下的文件内容为：获取网页内容：

1 Scala函数2 for循环3 do-while在控制台输入：I love spark！4 调用java的类列出当前目录所有的文件夹和文件

Linux，最早由Linus Benedict Torvalds在1991年开始编写。在这之前，Richard Stallman创建了Free Software Foundation（FSF）组织以及GNU项目，并不断的编写创建GNU程序（此类程序的许可方式均为GPL: General Public License）。在不断的有杰出的程序员和开发者加入到GNU组织中后，便造就了今天我们所看

1 Scala动手实战入门Scala是一门将面向对象和函数式编程相结合的语言。Scala中的所有类型都是静态类型，它集成了java大量的API框架，直接将Scala源文件编译成java字节码，并将这些字节码运行在Scala解释器上，而且java和scala能够互相调用操作。1.1 安装Scala开发环境scala的编译命令scalac会将scala的源文件编译成java的class文件

1 IDEA 打包示例代码参考AMPCamp2015之SparkSQL，开发环境使用idea。首先需要将程序打包成jar选择project structure --》artifacts ，由于集群已经有了运行依赖的jar包，打包时可以将这些jar包排除出去，以减小打包后的jar包的大小。点击ok，然后选择build --》build artifacts，

在idea中编译时发生如下的错误Information:Using javac 1.7.0_75 to compile java sourcesInformation:java: javacTask: 源发行版 1.6 需要目标发行版 1.6Information:java: Errors occurred while compiling module 'kulong'Informati

1 移动光标h或向左箭头键  光标向左移动一个字符l或向右箭头键   光标向右移动一个字符j或向下箭头键   光标向下移动一个字符k或向上箭头键  光标向上移动一个字符10j，光标向下移动10行ctrl +f ：屏幕向下移动一页，相当于pageDown按键ctrl +b ：屏幕向上移动一页，相当于pageUp按键ctrl + d ：屏幕向下移

1 数据准备1.1 实验数据基于AMPCamp2015的exercise，原始数据在U盘的/data目录中，首先将数据上传到hdfs2 开始实验2.1 启动spark-shell监控界面如下：2.2 代码2.2.1 创建SQLContextval sqlContext = new org.apache.spark.sql.

编写的javaSWing程序打包成可运行的jar后通过命令行java -jar  xx.jar运行没有问题（在IDE中运行也没有问题），但是直接双击运行在进行其中的一步操作（图像校正）的时候没有任何反应，由于是直接双击的xx.jar运行的，也就无法看到程序是否抛出了异常（通过命令行运行如果有异常可以看到，但是通过命令行运行的时候没有问题）。在网上也搜了不少，有人遇到过同样的问题，但是没有人给出

1 之前已经搭建好hadoop和spark集群2 练习使用sparkStreaming对文本单词计数2.1 首先启动集群这是hadoop集群监控页面：这是spark监控页面：2.2 在hdfs上创建文件夹/test/tmp，用于存放待计数的文件创建后的hdfs系统如下：2.3 在客户端/app/hadoop/下有一个待计数

基于文件系统的 HAspark.deploy.recoveryMode设成 FILESYSTEMspark.deploy.recoveryDirectory  Spark保存恢复状态的目录Spark-env.sh 里对 SPARK_DAEMON_JAVA_OPTS 设置export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.rec

1 java安装2 ssh无密码登陆3 spark安装包解压4 spark配置文件配置文件 conf/slaves：增加3个节点文件 conf/spark-env.sh：拷贝安装目录到hadoop2，hadoop3：启动集群：浏览器访问：5 客户端安装

1 将hadoop1上安装的hadoop260目录拷贝到客户端/app/hadoop/目录下：2 修改相关配置文件配置文件在目录：hadoop260/etc/hadoop修改此目录下hadoop-env.sh,指定本机的java安装目录，本客户端与集群上hadoop1的java安装目录相同，所以不用修改。修改/etc/profile文件：

查看日志发现：查看文件权限：于是修改权限为hadoop：再次查看，问题解决：文件权限很关键啊！！

安装完hadoop2.6.0的集群后，格式化namenode的时候出现异常：发现是hadoop数据存储目录权限的问题：可以看到mydata目录的所有者是root，修改其所有者为hadoop：然后再格式化：没有问题了。

1 下载hadoop2.6.0版本，解压到目录/app/hadoop，重命名文件夹名为hadoop2602 文件配置修改环境变量：修改hadoop变量的值：修改slaves文件root@kaiseu-ubuntu:/app/hadoop/hadoop260/etc/hadoop# vi slaves

1.上传文件切换到hadoop 安装目录，启动hadoop，然后输入命令：bin/hdfs dfs -mkdir /alidata，在hdfs上创建alidata文件夹浏览器查看hdfs：上传文件到alidata文件夹：命令：bin/hdfs dfs -put /home/kaiseu/TianChi /alidata/查看结果：

1、pscp 简要描述：PSCP (PuTTY Secure Copy client)是PuTTY 提供的文件传输工具 ，通过 SSH 连接，在两台机器之间安全的传输文件，可以用于任何 SSH（包括 SSH v1、SSH v2） 服务器。2、下载：可以从http://www.chiark.greenend.org.uk/~sgtatham/putty/downloa

1.贴上源码def main(args: Array[String]) {val conf = new SparkConf().setAppName("Spark Pi").setMaster("spark://hadoop1:7077").setJars(List("/home/kaiseu/MyProject/IdeaProjects/week2/out/artifacts/week2

2：销售数据//qryTheDate.txt文件定义了日期的分类，将每天分别赋予所属的月份、星期、季度等属性//日期，年月，年，月，日，周几，第几周，季度，旬、半月数据文件所在目录：数据格式：//qrytblStock.txt文件定义了订单表头//订单号，交易位置，交易日期/qryStockDetail.txt文件定义了订单明细//订

1：日志处理演示数据来源：http://download.labs.sogou.com/dl/q.html 完整版(2GB)：gz格式//SogouQ1.txt、SogouQ2.txt、SogouQ3.txt分别是用head -n 或者tail -n 从SogouQ数据日志文件中截取查看日志文件格式：[hadoop@hadoop2 hadoop220]$ bin/hdfs df

1：安装计划hadoop1：  121.248.50.155 (hadoop2.2.0 namenode)hadoop2： 121.248.48.101 (hive0.11.0 client)hadoop3:     121.248.52.30 (MySQL server + hive metastore service)hadoop2.2.0的安装目录/app/hadoop/