howard2005
国家三级笔译。一手代码一手诗,酸甜苦辣寸心知。杏坛泊梦千秋事,万古云山日迟迟。讲授高等数学、Java高级程序设计、动态网站设计与开发(JSP、Servlet)、企业信息系统设计与开发(Spring Boot)、智能移动终端应用开发(Android)、Python Web开发(Django)、大数据离线分析(Hadoop、Hive、Spark)、计算机专业英语等课程,教学深入浅出,语言生动、经验丰富,深受学生好评。指导学生参加移动应用开发省赛和国赛,多次获奖,被授予优秀指导教师称号。热爱翻译,曾翻译西奥尼·帕帕斯数学科普读物《天天数学》与两千余首诗词,已形成独特的译诗风格。
展开
-
Spark实战:Spark读取Excel文件
在Spark集群环境中,实战操作涵盖了Excel转CSV及Spark读取两种格式文件。首先通过WPS将Excel数据另存为CSV,并远程传输至主节点`bigdata1`。在spark-shell中,利用DataFrame API加载CSV并展示内容。为处理Excel,添加了`spark-excel`库到环境,重启shell后成功读取并显示Excel数据。此外,还演示了如何在Scala Spark程序中导入该库以实现对Excel文件的读取和展现,展示了在生产环境中高效集成多种数据源的能力。原创 2023-11-14 18:01:03 · 1636 阅读 · 3 评论 -
Spark大数据处理讲课笔记4.8 Spark SQL典型案例
1. 使用Spark SQL实现词频统计;2. 使用Spark SQL计算总分与平均分;3. 使用Spark SQL实现分组排行榜;4. 使用Spark SQL统计每日新增用户原创 2023-05-15 11:12:29 · 924 阅读 · 0 评论 -
Spark大数据处理讲课笔记4.7 Spark SQL内置函数
1. 了解Spark SQL内置函数;2. 学会使用自定义函数;3. 学会自定义聚合函数;4. 学会使用开窗函数原创 2023-05-15 11:07:30 · 544 阅读 · 0 评论 -
Spark大数据处理讲课笔记4.6 Spark SQL数据源 - JDBC
1. 了解Spark SQL JDBC连接属性;2. 掌握利用Spark SQL读取关系数据库原创 2023-05-15 11:06:19 · 643 阅读 · 0 评论 -
Spark大数据处理讲课笔记4.5 Spark SQL数据源 - Hive表
1. 掌握如何读取Hive表中的数据;2. 掌握如何将数据写入到Hive表原创 2023-05-15 11:04:49 · 722 阅读 · 0 评论 -
Spark大数据处理讲课笔记4.4 Spark SQL数据源 - JSON数据集
1. 掌握如何读取JSON文件;2. 掌握如何进行关联查询原创 2023-05-15 11:02:19 · 571 阅读 · 0 评论 -
Spark大数据处理讲课笔记4.3 Spark SQL数据源 - Parquet文件
1. 掌握Parquet文件的读取与写入;2. 掌握如何进行耗时的Schema合并原创 2023-05-15 11:01:32 · 704 阅读 · 0 评论 -
Spark大数据处理讲课笔记4.2 Spark SQL数据源 - 基本操作
1. 学会使用默认数据源;2. 学会手动指定数据源;3. 理解数据写入模式;4. 掌握分区自动推断原创 2023-05-15 11:00:08 · 1082 阅读 · 0 评论 -
Spark大数据处理讲课笔记4.1 Spark SQL概述、数据帧与数据集
1. 了解Spark SQL的基本概念;2. 掌握DataFrame的基本概念;3. 掌握Dataset的基本概念;4. 会基于DataFrame执行SQL查询原创 2023-05-11 16:31:43 · 1095 阅读 · 0 评论 -
Spark大数据处理讲课笔记3.8 Spark RDD典型案例
1. 利用RDD计算总分与平均分;2. 利用RDD统计每日新增用户;3. 利用RDD实现分组排行榜原创 2023-05-10 11:53:42 · 1258 阅读 · 0 评论 -
Spark大数据处理讲课笔记3.7 Spark任务调度
本节核心介绍Spark计算模型中的DAG概念及其在任务调度中的应用。通过理解有向无环图结构,读者能掌握RDD转换如何形成DAG,并依据宽依赖(shuffle操作)划分Stage以实现高效的任务并行与资源调度。实例分析了不同场景下Stage的划分依据与过程,以及RDD在整个Spark运行流程中的关键作用。原创 2023-05-04 18:25:48 · 785 阅读 · 0 评论 -
Spark大数据处理讲课笔记3.6 RDD容错机制
1. 了解RDD容错机制;2. 理解RDD检查点机制的特点与用处;3. 理解共享变量的类别、特点与使用原创 2023-05-04 18:14:38 · 1033 阅读 · 0 评论 -
Spark基础学习笔记21:RDD检查点与共享变量
1. 了解RDD容错机制;2. 理解RDD检查点机制的特点与用处;3. 理解共享变量的类别、特点与使用原创 2022-04-16 18:07:37 · 872 阅读 · 0 评论 -
Spark大数据处理讲课笔记3.5 RDD持久化机制
1. 理解RDD持久化的必要性;2. 了解RDD的存储级别;3. 学会如何查看RDD缓存原创 2023-05-04 17:53:23 · 1691 阅读 · 0 评论 -
Spark大数据处理讲课笔记3.4 理解RDD依赖
1. 理解RDD的窄依赖;2. 理解RDD的宽依赖;3. 了解两种依赖的区别原创 2023-05-04 17:49:46 · 665 阅读 · 0 评论 -
Spark大数据处理讲课笔记3.3 掌握RDD分区
1. 学会如何指定分区数量;2. 会定义与使用自定义分区器原创 2023-05-04 09:06:11 · 1072 阅读 · 0 评论 -
2023年Spark大数据处理讲课笔记
scala、spark、spark rdd、spark sql、spark streaming原创 2023-04-16 07:55:55 · 1219 阅读 · 0 评论 -
Spark大数据处理讲课笔记3.2 掌握RDD算子
1. 了解RDD的处理过程;2. 掌握转换算子的使用;3. 掌握行动算子的使用原创 2023-04-10 20:35:22 · 1116 阅读 · 0 评论 -
Spark大数据处理讲课笔记3.1 掌握RDD的创建
1. 了解RDD的主要特征;2. 掌握RDD的创建方式原创 2023-04-10 20:00:21 · 668 阅读 · 0 评论 -
Spark-Shell使用Scala的版本
Spark-Shell使用Scala的版本原创 2023-04-09 21:35:22 · 375 阅读 · 0 评论 -
在UbuntuDesktop22.04上安装Chrome浏览器
在Ubuntu上下载、安装和启动Chrome浏览器原创 2023-04-06 11:46:13 · 3591 阅读 · 0 评论 -
Spark大数据处理讲课笔记2.4 IDEA开发词频统计项目
1. 掌握本地模式执行Spark程序;2. 掌握集群模式执行Spark程序原创 2023-03-29 13:46:40 · 790 阅读 · 0 评论 -
Spark大数据处理讲课笔记2.3 Spark运行架构与原理
1. 了解Spark集群运行架构;2. 了解Spark运行基本流程原创 2023-03-29 13:17:04 · 634 阅读 · 0 评论 -
Spark大数据处理讲课笔记2.2 搭建Spark开发环境
1. Spark开发环境准备工作;2. 了解Spark的三种部署方式;3. 搭建Spark单机版环境;4. 搭建Spark Standalone集群;5. 体验第一个Spark程序;6. 在Spark Shell里基本操作;7. 初识弹性分布式数据集RDD原创 2023-03-20 17:39:17 · 1187 阅读 · 0 评论 -
Spark大数据处理讲课笔记2.1 初识Spark
1. 了解什么是Spark计算框架;2. 了解Spark计算框架的特点;3. 了解Spark计算框架的应用场景;4. 理解Spark框架与Hadoop框架的对比原创 2023-03-20 11:33:17 · 1782 阅读 · 1 评论 -
Spark大数据处理讲课笔记1.7 掌握Scala函数
1. 掌握如何声明函数;2. 了解各种类型的函数;3. 掌握占位符的使用;4. 理解闭包的现象;5. 掌握可变参数;6. 理解尾递归原创 2023-03-17 17:07:36 · 597 阅读 · 0 评论 -
Spark大数据处理讲课笔记1.8 掌握Scala类、对象、抽象类与特质
1. 掌握类的定义与实例化;2. 理解单例对象和伴生对象;3. 掌握构造器和辅助构造器;4. 掌握抽象类和特质原创 2023-03-02 19:02:16 · 863 阅读 · 0 评论 -
Spark大数据处理讲课笔记1.6 掌握Scala数据结构
1. 掌握数组的使用;2. 掌握列表的使用;3. 掌握映射的使用;4. 掌握集合的使用;5. 掌握元组的使用原创 2023-03-01 11:22:08 · 1430 阅读 · 0 评论 -
Spark大数据处理讲课笔记1.5 掌握Scala内建控制结构
1. 掌握条件表达式;2. 掌握各种循环;4. 理解流间变量绑定;5. 掌握yield语句的使用;6. 掌握异常处理语句;7. 了解match语句的使用;8. 理解变量作用域原创 2023-02-20 11:38:35 · 805 阅读 · 0 评论 -
Spark大数据处理讲课笔记1.4 掌握Scala运算符
1. 理解Scala运算符与方法的等价性;2. 掌握Scala常用运算符;3. 理解Scala运算符种类原创 2023-02-20 11:14:05 · 713 阅读 · 0 评论 -
Spark大数据处理讲课笔记1.3 使用Scala集成开发环境
1. 会搭建Scala的IntelliJ IDEA开发环境;2. 会在集成开发环境里创建Scala项目原创 2023-02-20 09:26:39 · 667 阅读 · 0 评论 -
Spark大数据处理讲课笔记1.2 Scala变量与数据类型
1. 学会变量声明;2. 掌握数据类型原创 2023-02-15 17:45:08 · 893 阅读 · 2 评论 -
Spark大数据处理讲课笔记1.1 搭建Scala开发环境
1. 了解Scala语言的特点;2. 学会搭建Scala开发环境;3. 了解命令行模式与编译模式原创 2023-02-13 08:52:05 · 1047 阅读 · 0 评论