scala自学之路-00-给自己定的大数据学习路线

因为目前公司里面需要对已经接入大数据湖中的数据做处理,就需要学习spark,而spark又是scala编写的,为了进一步理解spark api需要先学习scala。所以为自己制定以下的学习路线:

  1. 学习scala基础
  2. 学习spark基础+api
  3. 梳理业务流程,形成流程图,梳理出哪块需要spark sql实现,哪块需要进一步编写自定义api实现
  4. 编写业务代码,测试并上线
作为一名大数据开发工程师,需要掌握以下技能: 1. 数据库知识:需要熟练掌握SQL语言,以及常用的关系型数据库(如MySQL、Oracle、SQL Server)和非关系型数据库(如HBase、MongoDB、Cassandra)的使用。 2. 大数据技术:需要了解Hadoop生态圈中的各种技术,如HDFS、MapReduce、Hive、Pig、HBase、Spark等,以及它们的使用场景和优缺点。 3. 数据仓库:需要了解数据仓库的基本概念和架构,以及常用的数据仓库工具和ETL工具,如Informatica、DataStage、Talend等。 4. 编程语言:需要掌握至少一门编程语言,如Java、Python、Scala等,并且要能够熟练地使用它们来开发大数据应用程序。 5. Linux操作系统:需要熟练掌握Linux操作系统的基本命令和操作,以及能够熟练地使用Linux服务器搭建大数据应用环境。 6. 数据可视化:需要了解常用的数据可视化工具和技术,如Tableau、QlikView、Power BI等,以及能够使用它们来制作可视化报表。 学习路线: 1. 先学习数据库知识,掌握SQL语言和关系型数据库的使用。 2. 接着学习大数据技术,了解Hadoop生态圈中各种技术的使用和优缺点。 3. 学习数据仓库和ETL工具,了解数据仓库的基本概念和架构,并能够使用ETL工具进行数据抽取、转换和加载。 4. 学习一门编程语言,如Java或Python,并能够熟练地使用它们来开发大数据应用程序。 5. 学习Linux操作系统,掌握基本的Linux命令和操作,以及能够使用Linux服务器搭建大数据应用环境。 6. 最后学习数据可视化工具和技术,了解常用的数据可视化工具和技术,并能够使用它们来制作可视化报表。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值