下面一步步带大家来探索大数据学习:用什么语言?学什么内容?技术栈有哪些?最后还送大家完整和的大数据项目学习笔记。
一、大数据开发用什么语言?
Python已经在数据世界中非常流行。它有大量可供开发人员使用的库和框架。
许多Python库对于数据分析和机器学习特别有用。这些库为处理大数据提供了无数的支持,使Python成为大数据最受欢迎的语言。
而且Python对比其他语言来说,简单易学、语法简洁,可以让更多人专注于大数据学习。
二、大数据学什么?
简洁版学习路线:
- 开发入门:MySQL数据库
- 核心基础: Hadoop
- 数仓技术: Hive数仓项目
- PB内存计算: Python入门 → Python进阶→ pyspark框架 → Hive+Spark项目
每阶段学习计划参考:
三、大数据技术栈
附:官方文档学习
- MySQL:MySQL 5.7 Reference Manual
- Hadoop:Hadoop Cluster Setup
- Spark:RDD Programming Guide
- Hive:LanguageManual - Apache Hive - Apache Software Foundation
- Flink:Stateful Computations over Data Streams
- Hbase:https://hbase.apache.org/book.html#_preface
- Sqoop:https://sqoop.apache.org/docs/1.99.7/user/CommandLineClient.html
- Flume:Flume 1.9用户手册中文版
- Kafka:https://kafka.apachecn.org/
- Oozie:https://oozie.apache.org/docs/4.0.0/DG_QuickStart.html
- ZooKeeper:ZooKeeper: Because Coordinating Distributed Systems is a Zoo
四、项目实战
Hive数仓项目笔记(已完结):
- 黑马大数据项目之Hive数仓项目 01
- 黑马大数据项目之Hive数仓项目 02
- 黑马大数据项目之Hive数仓项目 03
- 黑马大数据项目之Hive数仓项目 04
- 黑马大数据项目之Hive数仓项目 05(上)
- 黑马大数据项目之Hive数仓项目 05(下)
- 黑马大数据项目之Hive数仓项目 06(上)
- 黑马大数据项目之Hive数仓项目 06(下)
- 黑马大数据项目之Hive数仓项目 07
- 黑马大数据项目-补充Git部分 08
架构说明:
本项目从需求调研、设计、研发再到测试上线,涵盖了项目的完整工序,挖掘分析了海量用户的数据行为,形成数据集市,可供各个场景使用。
大数据项目在线体验 ↓↓↓
- 黑马头条-对标今日头条, 强化Python资讯技术开发能力
- 天天生鲜-典型生鲜商品线上交易模式,业内超前电商课程
- 美多商城-对标主流电商平台,Python技术与业务功能结合
- 新经资讯-强化Python资讯技术开发能力,培养快速搭建平台的能力
- 自动化运维中台-对标大中型企业运维开发工程师,完整的自动化平台的开发能力
- 黑马监控与链路追踪-无监控不测试(性能)无监控不迭代(架构)工程师必备技能
如果你觉得上面内容对你有帮助,欢迎关注 上方专栏带你学Python+大数据 !