大数据学习路径

大数据学习路径

 

 

 

 

在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：716加上【五8一】最后014，即可免费领取一整套系统的大数据学习教程

第一阶段linux+搜索+hadoop体系

Linux基础→shell编程→高并发架构→lucene,solr搜索→hadoop体系→HDFS→mapreduce→hbase→zookeeper→hive→flume→sqoop→项目实战一

第二阶段机器学习

R语言→mahout→项目实战二

第三阶段storm流式计算

kafka→storm→redis→项目实战三

第四阶段spark内存计算

scala编程→spark core→spark sql→spark streaming→spark mllib→spark graphx→项目实战四→python机器学习→spark python编程→项目实战五→项目实战六

第五阶段云计算平台

docker→kvm→openstack云计算→就业指导

第一阶段：linux+搜索+hadoop体系Linux大纲这章是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,kvm,openstack等众多课程。因为企业中无一例外的是使用Linux来搭建或部署项目。1) Linux的介绍，Linux的安装：VMware Workstation虚拟软件安装过程、CentOS虚拟机安装过程

2) 了解机架服务器，采用真实机架服务器部署linux

3) Linux的常用命令：常用命令的介绍、常用命令的使用和练习

4) Linux系统进程管理基本原理及相关管理工具如ps、pkill、top、htop等的使用；

5) Linux启动流程，运行级别详解，chkconfig详解

6) VI、VIM编辑器：VI、VIM编辑器的介绍、VI、VIM扥使用和常用快捷键

7) Linux用户和组账户管理：用户的管理、组管理

8) Linux磁盘管理，lvm逻辑卷，nfs详解

9) Linux系统文件权限管理：文件权限介绍、文件权限的操作

10) Linux的RPM软件包管理：RPM包的介绍、RPM安装、卸载等操作

11) yum命令，yum源搭建

12) Linux网络：Linux网络的介绍、Linux网络的配置和维护

13) Shell编程：Shell的介绍、Shell脚本的编写

14) Linux上常见软件的安装：安装JDK、安装Tomcat、安装mysql,web项目部署大型网站

高并发处理通过本章的学习大家将会了解大数据的源头，数据从何而来，继而更好的了解大数据。并且通过学习何果处理大型网站高并发问题反向更深入的学习了Linux，同时站在了更高的角度去触探了架构。1) 第四层负载均衡

a) Lvs负载均衡

i. 负载算法，NAT模式，直接路由模式（DR），隧道模式（TUN）

b) F5负载均衡器介绍

2) 第七层负载均衡

a) Nginx b) Apache

3) Tomcat、jvm优化提高并发量

4) 缓存优化

a) Java缓存框架

i. Oscache，ehcache

b) 缓存数据库

i. Redis，Memcached

5) Lvs+nginx+tomcat+redis|memcache构建二层负载均衡千万并发处理

6) Haproxy

7) Fastdfs小文件独立存储管理

8) Redis缓存系统

a) Redis基本使用 b) Redis sentinel高可用 c) Redis好友推荐算法Lucene课程在大数据里面文本数据的搜索是很重要的一块，特别是里面的分词技术，是后面机器学习里面文