大数据到底该怎么学习?

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_43615134/article/details/83785124

大数据到底怎么学习呢?

首先我们要学习Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。

Java:大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struts、Spring、Hibernate,Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多,只需要了解就可以了,当然Java怎么连接数据库还是要知道的,像JDBC一定要掌握一下,有同学说Hibernate或Mybites也能连接数据库啊,为什么不学习一下,我这里不是说学这些不好,而是说学这些可能会用你很多时间,到最后工作中也不常用,我还没看到谁做大数据处理用到这两个东西的,当然你的精力很充足的话,可以学学Hibernate或Mybites的原理,不要只学API,这样可以增加你对Java操作数据库的理解,因为这两个技术的核心就是Java的反射加上JDBC的各种使用。

Linux:因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置,能少踩很多坑,学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

 

然后再讲讲学习方法,推荐一个大数据学习群 142973723每天晚上20:10都有一节【免费的】大数据直播课程,专注大数据分析方法,大数据编程,大数据仓库,大数据案例,人工智能,数据挖掘都是纯干货分享,

在实践中学习

学习神经网络、图像识别和其他尖端技术是很重要的,但大多数数据科学工作不涉及这些:

90%的工作将是数据清理。

精通几个算法比知道一点许多算法要好。

如果你知道线性回归、k - means聚类和逻辑回归,可以解释和诠释他们的研究结果,并可以用这些完成一个项目,你将比如果你知道每一个演算法,但不使用它们更优秀。

大多数时候,当你使用一种算法,它将是库中的一个版本(你很少会自己编码支持向量机实现——这需要太长时间)。

所有这些意味着最好的学习方法是在项目工作中学习,通过项目,你可以获得有用的技能。

一种方法是在一个项目中先找到一个你喜欢的数据集,回答一个有趣的问题。

另一种方法是找到一个深层次的问题,例如预测股票市场,然后分解成小步骤。 我第一次连接到雅虎财经的API,并爬下每日价格数据。然后我创建了一些指标,比如在过去的几天里的平均价格,并用它们来预测未来(这里没有真正的算法,只是技术分析)。这个效果不太好,所以我学会了一些统计知识,然后用线性回归。 然后连接到另一个API,清理每一分钟的数据,并存储在一个SQL数据库。 等等,直到算法效果很好。

这样做的好处是我在一个学习环境中学习。我不仅仅学习了SQL语法,用它来储存价格数据,还比仅仅学习语法多学习了十倍的东西。学习而不应用的知识很难被保留,当你做实际的工作的时候也不会准备好。

 

 

向同行学习

你根本想不到你会从同行身上学到多少东西,在数据工作中,团队合作非常重要。

在聚会中找一些同伴。

开源软件包。

给哪些写有趣的数据分析博客发消息看有没有合作的可能。

尝试参加Kaggle 比赛看看可不可以找到队友。

不断增加学习的难度

你完全熟悉这个项目的工作了? 你最后一次使用一个新概念是在一周前? 那么是时候做些更加困难的挑战了。如果你停止攀登,那么不进则退。

如果你发现自己太舒适,这里有一些建议:

处理更大的数据集。 学习使用spark。

看看你能不能让你的算法更快。

你将如何将算法扩展到多个处理器? 你能做到吗?

理解更多的理论算法并使用。这会改变你的假设吗?

试图教一个新手去做你现在正在做同样的事情。

上面这些这至少是一个思路告诉你在开始学习数据科学的时候到底要做什么。如果你完成了这些,你将发现你的能力自然而然就提升了。

 

展开阅读全文

没有更多推荐了,返回首页