- 博客(4)
- 收藏
- 关注
RSS订阅原创 蜗龙徒行-Spark学习笔记【一】初识Spark形成、演进、发展
【一】Hadoop版本演进过程 由于Hadoop1.X 以前版本在 MapReduce 基本构架的设计上存在作业主控节点(JobTracker)单点瓶颈、作业执行延迟过长、编程框架不灵活等较多的缺陷和不足,2011 年 10 月,Hadoop 推出了基于新一代构架的 Hadoop0.23.0 测试版,该版本系列最终演化 为Hadoop2.0 版 本, 即 新 一 代 的 H
2014-12-15 20:58:14
826
转载 Hadoop小兵笔记【一】Hadoop安装过程中core-site.xml,hdfs-site.xml,mapred-site.xml配置文件详解
在搭建hadoop开发环境的时候，需要对hadoop进行配置，其中Hadoop1.x的配置文件放在{hadoop_home}/conf目录下，Hadoop2.x的配置文件放在{hadoop_home}/etc目录下，主要有core-site.xml,hdfs-site.xml,mapred-site.xml这几个文件。 但是后来想到一个问题，hadoop的配置信息只有这么一点点吗？
2014-12-09 20:43:43
9869
原创 Linux操作系统下常用命令集锦【一】查询进程对应信息Lsof命令详解
问题引出：配置单机版的hadoop2.6.0后使用jps没有jobtracker和tasktracker ？解决方法：配完后使用jps查看，发现总是有一些没有启动，非常郁闷，在多番研究后发现有两个原因：一个是在/tmp目录下有以前使用2.02版本留下的文件没有删除，删除/tmp下所有文件即可；二个是因为端口被占用了，先用lsof查找对应端口是否被占用，若被占用可以用kill命令杀死该进
2014-12-09 10:49:50
584
转载 hadoop2.2完全分布式最新高可靠安装文档
hadoop2.2完全分布式最新高可靠安装文档 问题导读：1.如何配置各个节点之间无密码互通？2.启动hadoop，看不到进程的原因是什么？3.配置hadoop的步骤是什么？4.有哪些配置文件需要修改？5.如果没有配置文件，该如何找到该配置文件？6.环境变
2014-12-04 18:32:55
588
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人