howard2005
国家三级笔译。一手代码一手诗,酸甜苦辣寸心知。杏坛泊梦千秋事,万古云山日迟迟。讲授高等数学、Java高级程序设计、动态网站设计与开发(JSP、Servlet)、企业信息系统设计与开发(Spring Boot)、智能移动终端应用开发(Android)、Python Web开发(Django)、大数据离线分析(Hadoop、Hive、Spark)、计算机专业英语等课程,教学深入浅出,语言生动、经验丰富,深受学生好评。指导学生参加移动应用开发省赛和国赛,多次获奖,被授予优秀指导教师称号。热爱翻译,曾翻译西奥尼·帕帕斯数学科普读物《天天数学》与两千余首诗词,已形成独特的译诗风格。
展开
-
大数据学习笔记:SparkSQL入门
学会使用Spark SQL原创 2021-12-10 22:09:16 · 1459 阅读 · 0 评论 -
Spark学习笔记:使用RDD
如何使用RDD原创 2020-12-28 10:33:00 · 699 阅读 · 0 评论 -
Spark案例:Java版统计单词个数
Spark案例:Java版统计单词个数原创 2020-12-14 22:31:35 · 2408 阅读 · 0 评论 -
Spark学习笔记:索引分区映射
索引分区映射案例原创 2022-03-28 10:54:38 · 1075 阅读 · 0 评论 -
Spark RDD案例:计算总成绩
读取HDFS上成绩文件,利用RDD统计总成绩,结果写入HDFS文件原创 2022-05-24 17:55:02 · 741 阅读 · 0 评论 -
Spark案例:Python版统计单词个数
利用Python版Spark统计单词个数原创 2020-12-14 22:30:47 · 4468 阅读 · 0 评论 -
在VMware上搭建Spark集群
搭建Spark Standalone集群;搭建Spark on YARN集群;搭建Spark HA集群原创 2022-04-27 12:44:52 · 1817 阅读 · 0 评论 -
Spark MLlib学习笔记:构建一个机器学习工作流
利用工作流,得到模型,进行预测原创 2022-05-02 23:40:22 · 1937 阅读 · 0 评论 -
IDEA本地运行Spark项目[演示自定义分区器]并查看HDFS结果文件
本地运行调试Spark项目 - 演示自定义分区器原创 2022-04-01 07:24:32 · 1892 阅读 · 0 评论 -
利用Spark ML计算皮尔逊相关系数矩阵
利用Spark ML计算两个向量的皮尔逊相关系数矩阵原创 2022-05-24 20:41:19 · 823 阅读 · 0 评论 -
Spark RDD算子案例:两种方式计算学生总分
利用spark shell计算学生总分、编写Scala程序生成jar包提交到Spark服务运行原创 2022-03-13 10:51:22 · 3256 阅读 · 1 评论 -
Spark MLlib案例:采用线性回归模型预测房价
基于Spark RDD采用线性回归模型预测房价原创 2022-06-18 16:49:58 · 1282 阅读 · 0 评论 -
2020数据1班《大数据实时处理》学生学期总结
本学期,大数据1班的同学们在学习《大数据实时处理》课程过程中收获颇丰。华老师以风趣幽默的教学方式吸引了学生们的注意力,并通过Scala基础、Spark集群搭建、RDD和SQL等教学内容,培养了学生们实际操作和解决问题的能力。同学们在学期总结中分享了自己的学习心得与成长经历,从初次接触Spark时的困惑,到逐步克服环境配置、集群搭建等难题,再到对Scala编程语言产生兴趣。原创 2022-06-21 13:45:00 · 1050 阅读 · 0 评论 -
项目四:利用Spark RDD统计每日新增用户
根据历史数据统计每日新增用户数量原创 2022-06-17 11:22:45 · 603 阅读 · 0 评论 -
项目二:利用Spark SQL计算平均分
利用Spark SQL基于多个成绩文件计算平均分原创 2022-06-16 20:27:42 · 1012 阅读 · 0 评论 -
项目三:利用Spark SQL实现分组排行榜
利用Spark SQL实现分组TopN原创 2022-06-15 21:19:52 · 791 阅读 · 0 评论 -
项目三:利用Spark RDD实现分组排行榜
利用Spark RDD实现分组排行榜原创 2022-06-15 08:59:41 · 646 阅读 · 0 评论 -
项目一:利用Spark RDD实现词频统计
经典案例 - 词频统计(本地运行,打包上传到集群上运行)原创 2022-06-14 09:51:25 · 1820 阅读 · 0 评论 -
Spark基础学习笔记33:Spark Streaming数据源
基本数据源、高级数据源原创 2022-05-18 15:24:46 · 832 阅读 · 0 评论 -
Spark基础学习笔记07:搭建Spark HA集群
1. 了解Spark HA集群工作原理2. 掌握搭建Spark HA集群基本步骤3. 能够测试Spark HA集群的高可用性原创 2022-03-01 22:10:10 · 1588 阅读 · 0 评论 -
Spark基础学习笔记06:搭建Spark On YARN集群
1. 学会搭建Spark On YARN模式的集群2. 能够将Spark应用程序提交到集群运行原创 2022-03-01 22:03:16 · 1573 阅读 · 0 评论 -
Spark基础学习笔记28:Spark SQL数据源 - JDBC
Spark SQL读取和写入MySQL数据库表原创 2022-05-13 00:58:19 · 837 阅读 · 0 评论 -
Spark基础学习笔记15:Scala类和对象
1. 掌握类的定义2. 理解单例对象和伴生对象3. 掌握构造器和辅助构造器4. 掌握抽象类和特质原创 2022-03-07 22:40:32 · 1718 阅读 · 0 评论 -
Spark基础学习笔记27:Spark SQL数据源 - Hive表
利用Spark SQL读取和写入Hive表原创 2022-05-12 18:11:26 · 1026 阅读 · 0 评论 -
Spark基础学习笔记03:搭建Spark单机版环境
1. 学会搭建Spark单机版环境2. 学会Spark应用程序的运行3. 学会启动Spark Shell4. 初步了解RDD原创 2022-02-27 19:52:00 · 1507 阅读 · 1 评论 -
Spark基础学习笔记19:RDD的依赖与Stage划分
宽依赖和窄依赖、Stage划分原创 2022-04-02 18:15:43 · 2601 阅读 · 0 评论 -
Spark基础学习笔记11:Scala运算符
1. 理解Scala运算符与方法的等价性2. 掌握Scala常用运算符3. 理解Scala运算符种类原创 2022-03-06 08:52:23 · 1199 阅读 · 0 评论 -
Spark基础学习笔记30:Spark SQL案例分析
使用Spark SQL实现词频统计;掌握Spark SQL与Hive整合;掌握Spark SQL读写MySQL完成Spark热点搜索词统计;Spark SQL智慧交通数据分析原创 2022-05-15 14:03:48 · 1161 阅读 · 0 评论 -
集群搭建预备操作:在私有云上创建与配置虚拟机
一、登录私有云二、创建项目、组与用户三、创建实例四、查看实例五、查看网络原创 2022-02-18 17:11:49 · 1722 阅读 · 0 评论 -
Spark基础学习笔记26:Spark SQL数据源 - JSON数据集
读取JSON文件,进行关联查询,利用json()方法将数据集转成数据帧原创 2022-05-11 21:08:10 · 793 阅读 · 0 评论 -
Spark基础学习笔记29:Spark SQL内置函数
Spark SQL内置函数、自定义函数、自定义聚合函数、开窗函数原创 2022-05-13 22:15:58 · 1115 阅读 · 0 评论 -
Spark基础学习笔记24:Spark SQL数据源 - 基本操作
使用各种数据源:parquet, json, hive表, jdbc原创 2022-05-01 16:26:27 · 1617 阅读 · 0 评论 -
Spark基础学习笔记05:搭建Spark Standalone集群
1. 搭建Spark Standalone模式的集群2. 能够启动Spark Standalone模式的集群3. 学会Spark应用程序的提交原创 2022-03-01 21:56:04 · 2255 阅读 · 0 评论 -
Spark基础学习笔记01:初步了解Spark
一、大数据开发总体架构二、Spark概述三、Spark发展史四、Spark特点五、Spark主要组件六、Spark应用场景原创 2022-02-19 16:10:05 · 1499 阅读 · 0 评论 -
在OpenStack私有云上创建与配置虚拟机
在私有云上创建与配置虚拟机、win7访问三个centos节点、ubuntu访问三个centos节点原创 2022-05-04 13:20:28 · 2040 阅读 · 0 评论 -
2022年Spark基础学习笔记
Scala、Spark集群、RDD、Spark SQL、Spark Streaming原创 2022-02-25 21:08:05 · 3025 阅读 · 0 评论 -
Spark基础学习笔记10:Scala集成开发环境
1. 会搭建Scala的Eclipse开发环境2. 会搭建Scala的IntelliJ IDEA开发环境3. 会在两种集成开发环境里创建Scala项目原创 2022-03-05 07:33:47 · 1122 阅读 · 0 评论 -
Spark基础学习笔记18:掌握RDD分区
如何指定分区数量; 定义与使用自定义分区器原创 2022-03-30 18:36:52 · 1791 阅读 · 0 评论 -
Spark基础学习笔记23:DataFrame与Dataset
Spark SQL、DataFrame、Dataset原创 2022-04-22 14:35:04 · 2081 阅读 · 0 评论 -
Spark基础学习笔记25:Spark SQL数据源 - Parquet文件
掌握Parquet文件的读取与写入、如何进行耗时的Schema合并原创 2022-05-11 18:11:52 · 1335 阅读 · 0 评论