小白大数据学习路线

学习大数据首先了解大数据技术得板块划分:

数据计算(离线计算):Hadoop、spark

数据计算(实时计算):storm、spartstreaming、flink

其他框架:zookeeper

数据采集:flume、Kafka 

数据存储:hbase、hdfs、redis、mysql

数据查询:kylim、hive

大数据学习路线

 

别的不多说,首先学习大数据需要的基本功,以及步骤。

1、Linux基础,最起码你要知道Linux的基本命令行。

2、Java基础(注意:JavaEE是Javaweb的另一块了,学习大数据对javaee没有要求,当然你之前懂得那就更好了,小白主要把Javase基本就可以了)。

3、MySQL,虽然不属于大数据里面得,但是学好MySQL对你后期学hive有很大的帮助,而且MySQL在实际工作中也是非常重要,建议学一些。前期要求会增删改即可,后面好好研究。

4、Hadoop目前企业用得是Hadoop2.x版本

前期:hdfs主要学习hdfs的一些命令就差不多了,上传、下载、删除、移动、查看等等常常用的命令即可。mapReduce建议重点学一下,前期主要是理解的原理和代码的实现即可。yarn前期了解即可了,要yarn是干嘛的。

5、hive

hive是一个数据仓库,所以的数据都是存储到hdfs上,基本操作和MySQL差不多,为什么前面让你们学点MySQL的原因。前期学习hive主要是会学hql语句用即可,后期慢慢研究。

6,zookeepr

zookeeper是很多大数据框架的基础,用来管理很多的大数据框架,针对这个框架,你需要知道如何在zkcli客户端下对zookeeper的节点进行增删改查操作即可。

7、HBase

是一个nosql的数据库,是一个和key-value类型的数据库,底层的数据存储在hdfs上,在学习时前期主要row-key的设计,以及列族的设计即可。

8、redis

redis也是一个nosql的数据库和key-value型的数据库。

9、flume

是个日志采集工具,也是一个比较常用的,应用的生产的日志,主要学会看官网。

10、Kafka

是一个消息队列,在工作中常用于实时处理的场景,作为一个中间缓冲层,主要弄懂topic、partition等概念和原理即可。

11、storm

是一个实时计算框架,和Hadoop区别,Hadoop是对离线海量数据进行处理的,而storm是对实时新增的每一条数据进行处理。学习storm主要编写topology,storm并行调整。

12、你学完这些了,就应该网上找点项目来练练手了,前面的学习主要在于后面的做项目,现在互联时代,你别说你找不到项目,谷歌、GitHub等等你懂的。最后既然你选择了,就要坚持,相信自己。

如果你想更好的发展自己就学一下Scala、spark为自己找工作更加有优势。如果想从事大数据方面的,欢迎关注我,后期会分享一些整套大数据课程给大家,希望大家学习进步!

  • 1
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值