视频教程-大数据Spark实战视频教程-Spark

大数据Spark实战视频教程

张长志技术全才、擅长领域：区块链、大数据、Java等。10余年软件研发及企业培训经验，曾为多家大型企业提供企业内训如中石化，中国联通，中国移动等知名企业。拥有丰富的企业应用软件开发经验、深厚的软件架构设计理论基础及实践能力。项目开发历程：基于大数据技术推荐系统 ，医疗保险大数据分析与统计推断，H5跨平台APP，携程酒店APP，Go语言实现Storm和ZK类似框架。

张长志

¥208.00

立即订阅

扫码下载「CSDN程序员学院APP」，1000+技术好课免费看

APP订阅课程，领取优惠，最少立减5元 ↓↓↓

订阅后：请点击此处观看视频课程

 

视频教程-大数据Spark实战视频教程-Spark

学习有效期：永久观看

学习时长：2477分钟

学习计划：42天

难度：中

 

「口碑讲师带队学习，让你的问题不过夜」

讲师姓名：张长志

CTO/CIO/技术副总裁/总工程师

讲师介绍：张长志技术全才、擅长领域：区块链、大数据、Java等。10余年软件研发及企业培训经验，曾为多家大型企业提供企业内训如中石化，中国联通，中国移动等知名企业。拥有丰富的企业应用软件开发经验、深厚的软件架构设计理论基础及实践能力。项目开发历程：基于大数据技术推荐系统 ，医疗保险大数据分析与统计推断，H5跨平台APP，携程酒店APP，Go语言实现Storm和ZK类似框架。

☛点击立即跟老师学习☚

 

「你将学到什么？」

大数据Spark实战视频培训教程：本课程内容涉及，Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

 

「课程学习目录」

第1章：Spark实战part1

1.1.spark介绍_整体架构_源码下载

2.2.spark虚拟机安装_centos安装

3.3.网络配置与关闭防火墙

4.4.操作远程工具的使用（winscp_CRT）

5.5.yum配置

6.6.jdk安装

7.7.配置集群ssh免密码登录

8.8.hadoop安装

9.9.hive与mysql安装与链接

10.10.zookeeper安装

11.11.scala安装

12.12.kafka安装

13.13.spark安装

14.14wordcount小程序

第2章：Spark实战part2

1.1.架构图

2.2.案例讲解

3.3.通过scala计算wordcount

4.4.scala在window上面安装与path配置

5.5.scala简单语法的介绍

6.6.scala类的编写和演示

7.8.IDAE的安装与配置

8.9函数与方法的转换

9.10添加数组与遍历数组

10.11元组集合操作

11.12可变类型map set

12.13 scala常用的函数通过小案例讲解

13.14scala单词统计案例讲解

第3章：Spark实战part3

1.1回顾昨天语法

2.2类与伴随对象的权限讲解

3.3构造方法讲解

4.4.辅助构造器

5.5.单利对象与伴生对象

6.6短信案例分享

7.7apply方法

8.8scala继承与实现

9.9匹配字符串_类型_数组_元组

10.10可选函数_偏函数

11.11scala基础语法回顾

12.12actor多线程案例讲解

第4章：Spark实战part4

1.1回顾类对象_Actor

2.2单机版本的wordcount

3.3.架构

4.4分享

5.5回顾ActorWorCount

6.6spark一个简单的运算过程

7.7柯里化

8.8在IDEA里面搭建maven工程

9.9代码实现spark集群Master与worker通信

10.10在IDEA里面通过maven打jar

第5章：Spark实战part5

1.1.wordcount原理回顾

2.2.隐士转换

3.3隐式转换2

4.4并行化操作

5.5transformation与action总体介绍

6.6统计每行出现的次数

7.7将集合中每个元素乘以2

8.8过滤出集合中的偶数

9.9flatMap案例_将文本行拆分为多个单词

10.10通过groupbyKey进行分组

11.11reduceByKey统计每个班级的总分

12.12sortbyKey学生分数进行排序

13.13join案例班级合并

14.14常用的action操作

15.15saveAsTextFile保存到hdfs

第6章：Spark实战part6

1.1.任务调度器

2.2.任务调度器一个补充

3.3spark工作原理与RDD介绍

4.4maven安装

5.5sparkjava版本wordcount本地执行

6.6一些spark专业名词

7.7人人车爬虫分享

8.8项目分享

9.9spark_java版本的集群模式

10.10spark集群上面参数一些介绍

11.11spark_scala_单机版本

12.12spark_scala集群演示

13.12回顾spark架构

14.13服务器时间校准

15.14wordcount原理分析

16.15spark架构原理

第7章：Spark实战part7

1.1.持久化操作

2.2持久化一个补充

3.3accumulator与共享变量

4.4统计单词降序排列

5.5二次排序

6.6取出前三个排名最高的数据

7.7取出每个班级里面最高分数的三个学生

8.8sparlsql发展史

9.9sparksql_scala版本jar包替换

10.10spark中RDD与DateFrame互相转换

11.11通过反射讲RDD转换为DataFrame_java版本

12.12通过反射讲RDD转换为DataFrame_scala版本

第8章：Spark实战part8

1.1.回顾_动态将RDD转换成DF

2.2.动态将RDD转换成DF_scala版本

3.3.通用的load和save操作

4.4手动指定数据源类型

5.5数据源Parquet之使用编程方式加载数据

6.6.编译新的hive源码

7.7.学生分享

8.8自动分区推断

9.9.合并元数据

10.10总结sparksql的作用

11.11JSON综合性复杂案例查询80分以上学生信息

12.12JSON综合性复杂案例查询80分以上学生信息_scala

13.13hive数据源实战java版本

14.13hive数据源实战scala版本

第9章：Spark实战part9

1.1jdbc简介与创建数据库和表

2.2.spark_sql_java版本_jdbc

3.3.mysql权限设置

4.4学生分享

5.6公司移动实战代码实战5根据移动公司数据统计家庭和工作地址业务介绍

6.6公司移动实战代码实战

7.7公司移动实战代码实战_第二种方法处理

8.8复习spark原理

9.9.公司移动实战读取文件夹

第10章：Spark实战part10

1.1.简单的回顾

2.2.sparkstream的介绍

3.3Spark Streaming基本工作原理

4.4.spark_streaming单词统计

5.5输入DStream之基础数据源

6.6sparkstream读取HDFS中的数据

7.7sparkstream读取kafka数据

8.8sparkstream读取kafka数据_direct方式

9.9updateStateByKey统计所以单词

第11章：Spark实战part11

1.1.sparkstreaming滑动窗口讲解

2.2.滑块统计最高搜索单词

3.3.公司业务流程介绍

4.4.手机项目流程

5.5.html简单介绍

6.6.简单介绍一下跨平台开发

7.7php和手机业务的介绍

8.8生成数据方式

9.9.简单分析一下业务流程

10.1

11.1

 

「7项超值权益，保障学习质量」

• 大咖讲解

技术专家系统讲解传授编程思路与实战。

• 答疑服务

专属社群随时沟通与讲师答疑，扫清学习障碍，自学编程不再难。

• 课程资料+课件

超实用资料，覆盖核心知识，关键编程技能，方便练习巩固。（部分讲师考虑到版权问题，暂未上传附件，敬请谅解）

• 常用开发实战

企业常见开发实战案例，带你掌握Python在工作中的不同运用场景。

• 大牛技术大会视频

2019Python开发者大会视频免费观看，送你一个近距离感受互联网大佬的机会。

• APP+PC随时随地学习

满足不同场景，开发编程语言系统学习需求，不受空间、地域限制。

 

「什么样的技术人适合学习？」

• 想进入互联网技术行业，但是面对多门编程语言不知如何选择，0基础的你
• 掌握开发、编程技术单一、冷门，迫切希望能够转型的你
• 想进入大厂，但是编程经验不够丰富，没有竞争力，程序员找工作难。

 

「悉心打造精品好课，42天学到大牛3年项目经验」

【完善的技术体系】

技术成长循序渐进，帮助用户轻松掌握

掌握Spark知识，扎实编码能力

【清晰的课程脉络】

浓缩大牛多年经验，全方位构建出系统化的技术知识脉络，同时注重实战操作。

【仿佛在大厂实习般的课程设计】

课程内容全面提升技术能力，系统学习大厂技术方法论，可复用在日后工作中。

 

「你可以收获什么？」

入门大数据，快速进入大数据spark领域

掌握Spark的多种部署模式、分布 式程序的开发

处理企业开发90%的内容，胜任企业80%的Spark应用开发

 

订阅课程 开始学习