怎么也不会想到,自己入职后会立刻接触到大数据相关的东西。
来到组内的第一个任务,便是和另一个一起入职的小伙伴搭一个集群。
不过还好,leader给的时间还挺充足,3天时间搭一个3个结点的小集群,让我们拿来练习,同时还要熟悉集群的相关概念。
啰嗦了这么多,最后还是和小伙伴把集群搭起来了,具体过程就是:
该踩的坑一个都没落下!!!!!!!(主要体现在Ambari的安装上,具体不再描述......)
这个过程虽然很痛苦,但在很大程度上弥补了自己薄弱的的Linux基本操作,并接触了除 ls、ll、cd以外的一些常用命令。
随着自己动手一步步把集群搭起来,也算是与大数据有了一次“亲密的接触”。
这个过程中,了解了NameNode与DataNode的关系、数据在HDFS中的存储策略等,以及最重要的出现报错时去相应组件的目录下,查看日志并定位问题。
啰嗦了半天发现其实也没写几个字,后面会详细总结自己在工作中接触的第一个项目(目前已线上运行)。