大数据实时处理学期总结

学期总结

时光荏苒，光阴似箭。转眼间一学期就过去了，一学期下来通过华老师的传授学到了很多，也感悟了很多。在这一学期的学习与操作中，有成功的喜悦，也有失败的辛酸。

在进行Hadoop的实践学习巩固中我发现nameNode在Hadoop中非常重要。他是Hadoop的大脑，主要负责管理系统上的分配块，还为客户提出请求时的数据提供特定地址下面我简述一下如何安装配置Apache的一个开源Hadoop

1.使用root账户登陆

2.修改IP

3.修改host主机名 4.配置ssh免密码登陆 5.安装防火墙 6.安装JDK

7.解压Hadoop安装包

8.配置Hadoop的核心文件hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml

9.配置hadoop环境变量

10.格式化Hadoop namenode-format

11.启动节点: start-all.sh

10.列出hadoop集群中Hadoop都需要分别启动哪些进程

通过这些进程便知道自己有哪些地方没有搞好，特别是在进行haoop的环境搭建中经常容易出错导致最后失败，只能重新搭建，所以仔细检查很重要，还有易错点就是当时在进行ssh免密的时候，经常会导致只有主机可以免密而其余节点不行，或者ssh搭建好了但是启动不了，没有jps进程，让人非常无奈，但是又没有办法，只能仔仔细细认认真真的检查错误点，让自己记住那个错误，不再重新犯错。

当然第一次进行配置的时候配置的时间还是比较长，但是后面多进行的几次配置后，熟能生巧发现其实也没有自己想象的那么困难。用华老师的话来讲，就是这个只是最基础最简单的东西。

后来开始进行Scala的安装教学的时候，老师给我们的介绍是Scala 是完全兼容Java的，其实Scala就是在Java语言的基础上增加了一层编码的 “壳”，让程序人员可以通过函数式编程的方式来开发程序。由于Scala最终被编译为.class，所以其实本质上还是Java，所以在Scala中可以任意的调用Java的API。好处显而易见：让Jva程序员可以更无障碍的转到Scala；让原先Java的API仍然可以在Scala中使用；公司中的Java平台不用替换也可以使用Scala。所以Scala是很大众的一种静态类型的语言，Scala的特性可以用三句话解释那就是一切都是对象、一切都是函数、一切都是表达式。

说实话当时在接触Scala的时候还是感觉比较方便的就是安装配置的时候很烦，而且稍微有些不注意没有配置好就发现有些功能不能够正常使用，没有办法只能进行再一次的重装，而且有时候可能装的版本不一致从而导致使用功能进行异常报错。Scala有两种模式一种叫做交互模式，一种叫做编译模式，一般情况下我们都使用的是交互模式，因为我觉得相较于编译模式交互模式的使用方式更加的简介，因为交互模式可以直接在Scala>提示符后面直接敲代码执行，然后和Java一样执行Scala sum.scala这种类型就可以执行命名

而编译模式将代码写在.scala文件中，通过编译命令将.scala编译为.class，然后去解释执行。在.scala文件中编写好代码，创建对象，包含入口函数。通过scalac 或 fsc 命令进行编译，产生对应的.class文件。再通过scala命令来解释执行对象。

  这些虽然其实难度并不是太大但是需要下功夫将这些步骤记住记好，不说记住，至少记住用途。我发现我对与Scala的运用还是很不熟练，还需要多看一些Spark的基础学习笔记才能更好的进行基础运用