![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
大米饭精灵
无敌的我。。咳咳
展开
-
Hadoop常用指令
进入hadoop bin目录 ./hadoop ./hadoop fshadoop常用命令实例1、查看指定目录下内容:hadoop fs –ls [文件目录][root@cdh01 tmp]# hadoop fs -ls -h /tmpFound 2 itemsdrwxrwxrwx - hdfs supergroup ...转载 2018-04-23 16:09:59 · 534 阅读 · 0 评论 -
Hadoop1.x与Hadoop2.x
hadoop1.x最大的缺点,JobTracker只有一个,会发生单点故障,如果JobTracker的机器挂了,是不允许的,另外JobTracker需要承受非常多的TaskTracker的压力,风险非常大,JobTracker成为瓶颈,而且他不能跑Spark应用程序,仅支持MR程序,另一方面资源利用率不是很好,可能有的节点繁忙有的空闲。 单点故障 JobTracker瓶...原创 2018-04-24 13:42:08 · 107 阅读 · 0 评论 -
Cloudera的CDH和Apache的Hadoop的区别
目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH)、Hortonworks版本(Hortonworks Data Platform,简称“HDP”),对于国内而言,绝大多数选择CDH版本...转载 2018-04-21 12:34:26 · 197 阅读 · 0 评论 -
Hadoop 参数
前言:Hadoop三个参数文件,我不是很理解,我网上找了一篇学习下 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效。浏览更多的配置,有两个方法:1.选择相应版本的hadoop...转载 2018-05-18 11:54:47 · 323 阅读 · 0 评论