Hadoop
damipingzi
这个作者很懒,什么都没留下…
展开
-
CDH官网禁止下载后的应对策略
有几年没更新了,稍微写点证明自己还活着。 由于众所周知的原因,Cloudera在今年2月份关闭了CDH(以及HDP)的所有免费下载渠道,对于想装hadoop玩一玩的初学者、已有“白嫖”集群的升级都会受到影响。这里提示几种应对策略,排名分先后: 一、在Cloudera官网填表后,获得一组账号密码,然后将username:password@拼在下载地址前即可访问,这种方式可以下到60天的试用版。60天到期后,CM不可进入,但集群正常运行,考虑到运维的方便性,不进CM几乎是不可能支持商...原创 2021-05-12 14:57:00 · 3063 阅读 · 1 评论 -
Hadoop集群安装、扩容等操作
0 Hadoop集群机器配置 公司正式集群机子:内存32G存储24T,另有1块1T的本地盘 namenode和secondery namenode配Xeon E5-2640,24线程 其余节点配Xeon E5-2609,8线程 安装cdh 5u3 1 Hadoop集群安装 1.1 Hadoop环境配置 1.JDK安装配置 1)关闭防火墙:chkconfig iptabl原创 2016-03-21 09:59:42 · 6226 阅读 · 0 评论 -
Impala安装手册
鄙人最近准备离职,所以把之前工作中积累的一些东西整理下发上来,其中一部分发在公司内刊上,一部分是组内交流文档,标“原创”的都是本人原创,转载请注明谢谢! Impala这个东西在我们实践应用中还是不错的,查询速度可以,就是稳定性一般,做好监控的话没有问题。我们装的是配套CDH5u3的2.1版本,装其他版本不是不可以,只不过cloudera不保证一定可用,需要自己解决一些坑,如果有明原创 2016-03-22 09:56:18 · 8582 阅读 · 1 评论 -
集群资源共享的三种方式
最近被问到分布式系统的共享方式,结合之前学过的黄铠老师的书稍微说几句。 各种分布式系统,不管是Hadoop,SMP,MPP还是其他巴拉巴拉的东西,共享资源的方式不外乎以下三种,见下图。该图最早来自黄铠老师的论文(K.Hwang,Z.Xu, Support of clustering and availability),我重新画了下,各部分含义如下:P/C处理器和缓存,M内存,D磁盘,N原创 2016-04-24 15:16:20 · 11692 阅读 · 0 评论 -
Hadoop2.8.0新特性
Hadoop2.8.0将会是3.0版本前最后一个重要版本(2.9基本只会搞一些小修补了),即将发布,这个版本虽然没什么革命性的新功能,但是努力提升维护、调试等工作的效率,值得关注。 Common HADOOP-10971 Add -C flag to make `hadoop fs-ls` print filenames only 在hadoop fs -ls 命令中增加-C标志,原创 2016-06-05 09:42:48 · 6933 阅读 · 0 评论