做了几年JAVA了,前端后端都做过些项目,最近公司准备上马一个大数据项目,让我来负责,一方面因为我对大数据正好有兴趣,一直找不到机会学习(没有动力啊~),这次机会算是撞上了。
但另一方面,其实我的大数据经验只是在虚拟机/aws和openstack上搭建word count的水平上,基本算是0基础起步。虽然我自信JAVA基础还行,但在自学大数据途中我发现,大数据实在太庞大了,各个组件够你吃一壶了:hadoop、spark、Kafka、storm、flume、flink等,而且网上的素材往往呈碎片化,偏向理论,没有太多实操空间,走了很多弯路。
不过在这次学习过程中,我也有些感想,想分享给大家。
首先,怎么判断一个技术是不是值得学:
以往我在学习一种新技术的时候,往往会先花5分钟去了解这个技术是大致干什么的,然后花30分钟去读下文档了解下应用场景,最后花2个小时做个demo,这就足够了。
如果这个技术后期在工作中用到,那么再捡起来不难,如果技术被革新了那之前花费的沉没成本也不高。从市场环境看,大数据明显属于前者,大数据和人工智能都是最近比较火的职业,岗位工资溢价也比较多,****薪酬在40万~60万元之间。
![37e46df8b96f2dfdf56389831d38a347.png](https://img-blog.csdnimg.cn/img_convert/37e46df8b96f2dfdf56389831d38a347.png)
image
30岁是一个十分繁忙的年龄,特别是在职期间给自己充电。但根据我的经验,由java语言转向大数据比想象中要简单,目前流行的大数据Hadoop框架,很多部分都是用开源的Java语言编写,一般掌握了Javase就可以比较容易入门大数据。
确定好后目标,下面是怎么开始学?
对于JAVA开发来说,跨行学习大数据,是由纯技术到数据科学领域的跨界,需要从思维层次彻底转变,这方面真正的大师太少了。
在我的经历中,我最崇拜的只有这一位——他做了6年JAVA后台开发,期间通过岗位的便利开始接触大数据,第7年跳槽进了阿里大数据岗位,并在2年内迅速成长为大数据专家,后来陆续在乐视/IDC等互联网企业工作,在技术上甩了同龄人一条街。如今他在一家AI企业担任CTO职位,年薪百万级别。
在2018年的时候开始做一系列大数据的分享,也带过了不少大数据新人。我有幸也听过几次分享,受到很多启发。有人奇怪这种大佬为啥要讲课?用Tant的话说:做分享的过程是一个教学相长的过程,他想在往上探一探,大数据的天花板有多高。
我今天要和大家推荐的就是Tant举办的这个12天的大数据特训营,也是Tant首次公开出的,本来1299元,我和Tant商量了一下,给团长的粉丝争取了100份免费名额。抢位置的可以先下手了,直接和Tant老师的助教(wei:BT474849)领取
这个特训营除了Tant之外,还有三位前辈花费了整整30天的时间一同参与授课。包括:芒果TV的数据仓库架构师Dico(领导核心团队),12年的大数据老手Brave(华为认证的大数据专家),阿里的算法大牛Chris老师(某上市游戏算法团队一把手被挖到阿里),平均资历超过10年,都是在智能数据领域核心岗位的大牛。
![f65bc7613be86e0af919fa414325b6e0.png](https://img-blog.csdnimg.cn/img_convert/f65bc7613be86e0af919fa414325b6e0.png)
这四位老师他们本身处在一线大厂,本身也是负责人员聘用和管理的,无论对大数据的技术与市场人才需求都十分了解。平时难以见到的大佬,这次在本次训练营都会亲自指导与(代码)示范,他们的一次分享,胜过你盲目自学10天。
你能学到什么?
很多学员手里其实握着几百G 的资料却无从下手,特别是初学者,本身环境搭建都不会,很多教程上来就是一套代码实操,缺少在基础层面与框架上的认识。甚至本身出这些课件的人自己都没有大型项目的实战经验,采用的技术老旧,难以对接企业环境,其实是误人子弟的。
Tant老师的《12天零基础大数据特训营》,综合了市场上最新的技术,去粗取精,只教干货,以录播与直播结合的形式,让广大在职学习者能合理安排时间,最大限度地去主动汲取知识。
我们能够为你解决的问题:
知识不系统 ➜ 完整的从入门到实战
时间忙跟不上➜ 录播直播结合,自由安排
学习难度大 ➜ 导师1V1解答,由浅入深
容易半途而废➜ 助教跟班,保证学习进度
学习没有规划➜ 打卡学习,完成任务
为了让基础差的同学能快速搭建集群环境,资料中准备了详细的集群搭建教程、需要的安装包和镜像文件的下载地址,初学者由浅入深学习起来毫无压力。
这个课程以Linux安装与语法的开始,然后由Hadoop入门,再到Spark/Spark ML,以及时下最热的Flink,最后是电商大数据推荐系统,整个课程由基础到实战,基本囊括了大数据开发工程师工作与面试需要的技能模块。下面给大家看看流程。
12天****零基础****大数据特训营
课程目录
第一章 Linux 7月27日
知识点:Linux简介 Linux安装 Linux常见命令 Linux用户账号管理 Linux常见操作 Linux操作快捷键(彩蛋)【录播】
第二章 Hadoop生态系统 7月28日
知识点:Hadoop简介 Hadoop生态系统 Hadoop主要模块 Hadoop环境搭建 core-site.xml核心配置 hdfs mapred yarn 【录播】
☞直播课: 《大数据Hadoop进阶与实战》 7月31日 20:30**
精讲内容:Hadoop MapReduce HDFS Yarn
第三章 Spark入门到实战 8月1日
掌握知识点****:Spark框架 基本模块 Scala spark集群规划、操作 Spark RDD编程入门【录播】
☞直播课 :《11年架构师:****Spark入门修炼之术》 8月3日 20:30
精讲内容:大数据学习路线 SparkRDD实战 SparkSQL实战 Spark Streaming实战 10亿交通大数据项目演示
**第四章 Flink **8月4日****
知识点:Flink 简介 基本概念 应用场景 Flink架构、API 编程模型 Flink的优点和缺点 FlinkVS Storm VS Spark Streaming Storm到Flink的迁移经验总结【录播】
第五章 Spark机器学习算法 8月4日
知识点:Spark mllib简介、应用定位、模块功能、算法类型 Spark mllib常见数据处理方法 Spark mllib 操作流模块【录播】
☞直播课:****《阿里算法:大数据推荐系统构建方法解析》8月7日 20:30
精讲内容:推荐系统概述 推荐系统与算法 推荐系统数据架构及技术选型 推荐系统常见问题。
▼完整大纲,请下滑浏览
《12天零基础大数据特训营》
一、linux
- Linux来源与发展状况
- 国内主要Linux发行版
- Linux基础操作命令
- Linux用户账号管理
- Linux用户组管理
- Linux sudo权限概要
- Linux常用文件命令
- Linux常用目录命令
- Linux文本文件操作
- Linux文本文件操作
- Linux远程操作(SSH,SCP)
12. 彩蛋:便捷快速的Linux操作快捷键
二、Hadoop初识
- Hadoop简介
- Hadoop生态系统
- Hadoop主要模块
- Hadoop环境搭建
- core-site.xml核心配置
- hdfs-site.xml核心配置
- mapred-site.xml核心配置
- yarn-site.xml核心配置
三、Hadoop实战与进阶
- Hadoop开发环境搭建
22. HelloWord:Words Count APP 实战
23. Hadoop之美(一):MapReduce的分而治之策略
24. Hadoop之美(二):HDFS的多副本与高可用
25. Hadoop之美(三):Yarn的调度之美
四、spark初识
- Spark简介
- Spark框架、基本模块,各个模块之间的关系
- Scala之于Spark
- Spark VSHadoop
- Spark 集群规划 、安装、启动
- 从Spark—shell 学习Spark学习Spark
- Spark RDD简介
- Spark RDD编程入门
五、Spark实战
- 再论学习大数据的方方面面
- SparkRDD实战
- SparkSQL实战
- Spark Streaming实战
- 交通大数据项目演示
六、Flink
- Flink 简介、基本概念、应用场景
- Flink架构、API、编程模型
- Flink的优点和缺点
- Flink VS Storm VS Spark Streaming
- Storm到Flink的迁移经验总结
七、spark机器学习算法
- Spark mllib简介
- Spark mllib 应用定位
- Spark mllib 模块功能
- Spark mllib 算法类型
- Spark mllib 的数据处理
- Spark mllib 操作流模块
八、综合项目实战—大数据推荐系统构建方法浅析
- 推荐系统概述
- 推荐系统与算法
- 推荐系统数据架构及技术选型
- 推荐系统常见问题
(错过直播课的童鞋可以找助教领取录播回放)
添加助教(weix:BT474849)回复“12天大数据”无套路领取资格