大数据开发学习路线:大数据开发需要掌握哪些技术

大数据开发学习路线:大数据开发需要掌握哪些技术

当前大数据技术目前正处在落地应用的初期,未来大数据的发展空间还是比较大的,所以学习大数据相关技术是个不错的选择。大数据开发学习路线是怎样的?学习大数据开发需要掌握哪些技术呢?

 

大数据开发学习路线

第一阶段:Hadoop生态架构技术

1、语言基础

Java:多理解和实践在Java虚拟机的内存管理、以及多线程、线程池、设计模式、并行化就可以,不需要深入掌握。

Linux:系统安装、基本命令、网络配置、Vim编辑器、进程管理、Shell脚本、虚拟机的菜单熟悉等等。

Python:基础语法,数据结构,函数,条件判断,循环等基础知识。

2、环境准备

这里介绍在windows电脑搭建完全分布式,1主2从。

VMware虚拟机、Linux系统(Centos6.5)、Hadoop安装包,这里准备好Hadoop完全分布式集群环境。

3、MapReduce

MapReduce分布式离线计算框架,是Hadoop核心编程模型。

4、HDFS1.0/2.0

HDFS能提供高吞吐量的数据访问,适合大规模数据集上的应用。

5、Yarn(Hadoop2.0)

Yarn是一个资源调度平台,主要负责给任务分配资源。

6、Hive

Hive是一个数据仓库,所有的数据都是存储在HDFS上的。使用Hive主要是写Hql。

7、Spark

Spark 是专为大规模数据处理而设计的快速通用的计算引擎。

8、Spark Streaming

Spark Streaming是实时处理框架,数据是一批一批的处理。

9、Spark Hive

Spark作为Hive的计算引擎,将Hive的查询作为Spark的任务提交到Spark集群上进行计算,可以提高Hive查询的性能。

10、Storm

Storm是一个实时计算框架, Storm是对实时新增的每一条数据进行处理,是一条一条的处理,可以保证数据处理的时效性。

11、Zookeeper

Zookeeper是很多大数据框架的基础,是集群的管理者。

12、Hbase

Hbase是一个Nosql 数据库,是高可靠、面向列的、可伸缩的、分布式的数据库。

13、Kafka

kafka是一个消息中间件,作为一个中间缓冲层。

14、Flume

Flume常见的就是采集应用产生的日志文件中的数据,一般有两个流程。

一个是Flume采集数据存储到Kafka中,方便Storm或者SparkStreaming进行实时处理。

另一个流程是Flume采集的数据存储到HDFS上,为了后期使用hadoop或者spark进行离线处理。

第二阶段:数据挖掘算法

1、中文分词

开源分词库的离线和在线应用

2、自然语言处理

文本相关性算法

3、推荐算法

基于CB、CF,归一法,Mahout应用。

4、分类算法

NB、SVM

5、回归算法

LR、Decision Tree

6、聚类算法

层次聚类、Kmeans

7、神经网络与深度学习

NN、Tensorflow

以上就是学习Hadoop开发的一个详细路线

 

想要在大数据这个领域汲取养分,让自己壮大成长。分享方向,行动以前先分享下一个大数据交流分享资源群870097548,欢迎想学习,想转行的,进阶中你加入学习。
 

学习大数据开发需要掌握哪些技术呢?

(1)Java语言基础

Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swing程序与集合类

(2)HTML、CSS与Java

PC端网站布局、HTML5+CSS3基础、WebApp页面布局、原生Java交互功能开发、Ajax异步交互、jQuery应用

(3)JavaWeb和数据库

数据库、JavaWeb开发核心、JavaWeb开发内幕

Linux&Hadoop生态体系

Linux体系、Hadoop离线计算大纲、分布式数据库Hbase、数据仓库Hive、数据迁移工具Sqoop、Flume分布式日志框架

分布式计算框架和Spark&Strom生态体系

(1)分布式计算框架

Python编程语言、Scala编程语言、Spark大数据处理、Spark—Streaming大数据处理、Spark—Mlib机器学习、Spark—GraphX 图计算、实战一:基于Spark的推荐系统(某一线公司真实项目)、实战二:新浪网(www.sina.com.cn)

(2)storm技术架构体系

Storm原理与基础、消息队列kafka、Redis工具、zookeeper详解、大数据项目实战数据获取、数据处理、数据分析、数据展现、数据应用

大数据分析—AI(人工智能)Data Analyze工作环境准备&数据分析基础、数据可视化、Python机器学习

Python机器学习2、图像识别&神经网络、自然语言处理&社交网络处理、实战项目:户外设备识别分析

发布了48 篇原创文章 · 获赞 2 · 访问量 1432
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览