- 博客(8)
- 收藏
- 关注
RSS订阅
原创 hadoop2.6.0 完全分布式安装教程
最近用最新的hadoop2.6.0 版本搭了一个环境步骤如下：首先介绍一下软硬件：台式机win8.1，用VMware11.1建了三个Linux centos 6.5 64位的虚拟机。三个虚拟机的用户名和主机名 用户名 主机名 ckj1 hadoop-master ckj2，ckj1 hadoop-slav
2015-03-26 18:39:21
970
原创 Spark1.4.1阅读官方文档系列——job schedule
一、综述Job Schedule（简称JS）用来对不同的并行应用进行资源调度工作。二、应用间的调度当多个用户需要用到你的集群时，根据cluster manager会有不同的分配策略。最简单的方法，同时也是各种cluster manager通用的策略，就是静态分配资源。也就是说，每个应用会被分配它能用到的最大量的资源，并且保持到这个应用的整个生命周期。》standalone mo
2015-09-21 10:49:26
660
转载 eclipse常用快捷键总结大全
Eclipse中10个最有用的快捷键组合 一个Eclipse骨灰级开发者总结了他认为最有用但又不太为人所知的快捷键组合。通过这些组合可以更加容易的浏览源代码，使得整体的开发效率和质量得到提升。 1. ctrl+shift+r：打开资源 这可能是所有快捷键组合中最省时间的了。这组快捷键可以让你打开你的工作区中任何一个文件，而你只需要按下文件名或mask名中的前几个
2015-05-12 14:46:40
624
转载 C++的new用法
一、运算符new用于内存分配的最基本形式：指针变量名=new 类型；如： int *p; p=new int ;运算符delete释放new分配的存储空间：delete 指针变量名;如delete p；二、运算符new为数组分配内存空间：指针变量名=new 类型名[下标表达式]；例如： *p=new int[10];
2015-05-06 13:58:05
542
原创 hadoop2.6.0的编译小结
网上针对hadoop2.x的编译教程很多：这里给几个链接http://www.centoscn.com/image-text/install/2014/0401/2685.htmlhttp://www.iyunv.com/thread-38384-1-1.html这里摘抄一些：编译hadoop2.6.0源码1、准备工作1.1、安装jdk、gcc、gc
2015-03-24 22:10:38
951
原创 搭建Hadoop伪分布式环境，及运行wordcount程序总结
今天终于运行成功了wordcount测试，这两天配置一直遇到了很多问题，在此罗列一下：1、首先是不能用用户启动Hadoop原因是用户没有Hadoop安装目录的权限（permission denyed）。所以我把Hadoop的tmp（放在/opt/data/tmp）目录权限设置成普通用户，把Hadoop的安装目录（/opt/modules/hadoop-1.2.1/)权限设置成普通用户。
2015-03-20 11:17:00
917
原创 搭建Hadoop第一天
一、在Linux系统上安装Java jdk通过filezilla软件将压缩包传到Linux里。这里要注意两点：用filezilla传输文件只能传到所连接的用户上，其他用户（比如root）则没有办法传；后缀为.tar.gz的安装包，直接解压缩（tar -zxv -f filename -C 目录）就算安装完了；另外还需要在/etc/profile 里加上JAVA_HOME和PATH；二、
2015-03-17 22:35:39
372
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人