大数据实时处理--半期总结

这学期开设的课叫大数据实时处理，还是用的虚拟机和idea，是上学期配置的，只是运用了scala语言，还有spark框架。

spark 是一个分布式的计算框架，是我目前认为最火的计算框架。

如今大数据技术已经遍布生产的各个角落，其中又主要分为离线处理和实时流处理。本实战项目则是使用了实时流处理，而大数据的实时流式处理的特点：
1.数据会不断的产生，且数量巨大。
2.需要对产生额数据实时进行处理。
3.处理完的结果需要实时读写进数据库或用作其他分析。
针对以上的特点，传统的数据处理结构已经无力胜任，因而产生的大数据实时流处理的架构思想

spark，是一种"one stack to rulethem all"的大数据计算框架,期望使用一个技术栈就完美地解决大数据领域的各种计算任务。apache 官方,对 spark 的定义是:通用的大数据快速处理引擎（一“栈”式）。

Spark就是使用Scala编写的。因此为了学好spark这个框架，需要掌握scala语言。

Scala 是 Scalable Language 的简写，是一门多范式(范式/编程方式[面向对象/函数式编程])的编程语言。

说是半学期其实已经要四个月了，对于这四个月的学习，我有以下几点感受：

1.早八不容易进入状态，老是忘记连接好三个虚拟机，开启端口。

2.基础薄弱，跟上节奏需要更多的精力

3.下课基本都没放松，不是在解决问题的路上就是在创造问题的路上

4.写的博客没跟上节奏，落下了太多

5.不能说掌握了scala语言，只能说基础会了，不是每句都要问

6.永远期待新的一天

7.之前一直不太明白Hadoop和JAVA的交集在哪里，通过这次的学习知道了Hadoop是通过调用JAVA的API对数据进行相应的操作，也就是说在Hadoop的学习中对JAVA水平的要求也是比较高的。现在JAVA的水平还是比较低，所以今后也要抓紧对JAVA的学习，提高编程水平。

除了上面这些感受，还得多亏老师的讲稿是对我们开放的，可以随时查看，讲稿很长，是因为每一步都很详细，有扩展的知识，老师也会顺带提一下。可能会遇到的问题老师也会在讲稿中贴出，不是每个人问题都一样，我们会在课上找老师解决，方便我们下一节课能正常进行。专业课中最喜欢的就是这门课的老师，上课说话幽默风趣，穿插英语，还会不自觉的撒娇，简直了。（还得是内容好懂，耐心->教我们这些小笨蛋也能教好，爱了爱了）

大二下学期倒数两个月，就要开启我的大三生活，面临找工作，社会人际，感觉前路是一片迷雾，想的是现掌握的知识够不够我找到对口的工作，对口的工作需要什么样的人才，敲门砖有什么......