- 博客(12)
- 收藏
- 关注
原创 Spark源码——RDD中join操作的宽窄依赖探究
import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object JoinDemo { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName(this.getClass.getCanonicalName.init).setMaster("local[*]") val sc =
2021-06-16 15:39:02
345
原创 数仓项目——在线教育平台离线数据仓库效果展示
背景:基于阿里云的3台ECS云服务器搭建了在线教育平台的离线数据仓库,本文仅用于记录最终的效果,从0到1的实现过程后续进行补充,由于抢占式实例的云服务器按量进行每小时计费,为了避免持续的收费,所以我急于展示结果,也就有了此文(数仓已经搭建完成,我自然可以停止它)。1 阿里云服务器的启动进入控制台后,选择「启动」待启动的三台云服务器,启动时私有IP地址不会发生变化,而公有IP地址会发生变化,此外,我选用的服务器配置是3台2核8G、硬盘大小为40GB的服务器,如下(当然IP地址遮住了哈):随后,需要在终
2021-06-07 19:20:43
1839
6
原创 本地读取HDFS上文件报错:BlockReaderFactory: I/O error constructing remote block reader.
背景:利用IntelliJ IDEA开发在线教育离线数据仓库时,需要将HDFS上的*.log数据进行ETL后加载到dwd层的数据表中,即ods=>dwd,这里面如果使用本地模式运行(local[*])的会涉及到“本地测试环境(外网)访问云服务器HDFS文件系统间的通信”问题,通俗理解,本地环境读取云服务器上的数据。报错点:21/06/03 13:41:28 INFO HadoopRDD: Input split: hdfs://mycluster/warehouse/online_educati
2021-06-03 14:04:43
5295
原创 Kafka生产者发消息报错:Connection to node -1 could not be established. Broker may not be available.
Kafka上手时,为了测试简单的「生产者-消费者」,于是利用Kafka中的kafka-topics.sh创建了一个topic:topic_1后进行测试。测试语句如下:生产者:kafka-console-producer.sh --broker-list localhost:9092 --topic topic_1消费者:kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1原本以为会如期出现生产者发送
2021-04-17 17:25:32
1931
原创 Web系列——Vue
写在前面: 查阅「Vue官方网站」(Vue)是学习这个渐进式框架的推荐途径,很多想要搜寻的答案能在里面找到。本文记录Vue中的常用指令以及一个Vue简单案例的实现。1. Vue的简介Vue是一套用于构建用户界面的渐进式框架,尤雨溪是Vue.js框架的作者。学习Vue需要了解关于 HTML、CSS 和 JavaScript 的相关知识,只有当基础打牢后,Vue才能助力前端开发更上一层楼。Vue具有如下特点:JavaScript框架:可以独立完成前后端分离式Web项目的渐进式JavaScript框架
2020-12-29 20:34:34
535
1
原创 imblearn库中ADASYN()使用报错:No samples will be generated with the provided ratio settings.
报错点:No samples will be generated with the provided ratio settings.问题源:采用重采样方法ADASYN解决类别不平衡样本问题时,遇到了“提供的比率设置无法生成任何样本”的错误。代码如下:from imblearn.over_sampling import ADASYNX = data.drop('label', axis=1)Y = data['label']X_resample, Y_resample = ADASYN().fi
2020-12-17 20:19:44
2632
3
原创 MySQL语法格式——DDL
这是为了记录MySQL语法格式所创建的「系列文」,只有简单的实践,没有解读。DDL的英文全称是Data Definition Language,即数据定义语言,它是用于定义数据库对象的操作语句,比如数据库、表、列等。在记录数据库和数据表的相关操作前,先介绍MySQL数据类型和Java数据类型的关系,加粗的是常见的字段类型:(1) 字符串数据类型MySQL字段类型说明字符数Java数据类型char(n)固定长度最多255java.lang.Stringvarchar
2020-12-03 21:59:34
554
原创 MySQL语法格式——DML
这是为了记录MySQL语法格式所创建的「系列文」,只有简单的实践,没有解读。DML的英文全称是Data Manipulation Language,即数据操作语言,它是用于对数据库中表的记录进行更新的操作语句。以三国人物信息表(People)来演示对表中数据的「增、改、删」操作,People表结构如下:中文描述字段名数据类型人物IDidint姓名namevarchar(20)性别sexchar(1)国家countrychar(1)1. 添加
2020-12-03 20:34:40
312
原创 Java知识点——异常机制
写在前面: 查阅「Java官方手册」(Java 11 官方API)和学习「Java源码」是学习这门语言的必经之路。1 异常的基本概念Java中的「异常」指程序执行中发生的不正常情况,常见的异常如下图所示:以上的异常类都存在于java.lang包中,以上类的具体含义如下:Throwable类:Java中Error和Exception的超类Error类:描述Java虚拟机无法解决的严重错误,如,JVM挂掉的情况Exception类:描述因编程错误或其他因素导致的轻微错误,可通过修改程序
2020-11-12 20:06:22
108
原创 Java系列——斗地主部分功能
Java之核心类库“斗地主部分功能”和“学生信息管理系统”都是「Java核心类库」中经典的小项目,等后续加入SQL数据库时再进行“学生信息管理系统”的完整实现,对于“斗地主部分功能”的实现,我将提供一种解决视角,仅供参考。题目描述:使用集合实现斗地主游戏的部分功能,要求如下:(1)首先准备 54 张扑克牌并打乱顺序。(2)由三个玩家交替摸牌,每人 17 张扑克牌,最后三张留作底牌。(3)查看三个玩家手中的扑克牌和底牌。(4)其中玩家手中的扑克牌需要按照大小顺序打印,规则如下:注意:手中扑克牌
2020-11-04 11:59:03
283
原创 Java系列——五子棋的实现
Java之面向对象编程五子棋(控制台版)是「面向对象编程」中经典的小项目,下面我将提供一种解决视角,仅供参考。题目描述:编程实现控制台版并支持两人对战的五子棋游戏。(1)绘制棋盘 - 写一个成员方法实现(2)提示黑方和白方分别下棋并重新绘制棋盘 - 写一个成员方法实现。(3)每当一方下棋后判断是否获胜 - 写一个成员方法实现。(4)提示: 采用二维数组来模拟并描述棋盘,棋盘如下:注意点:五子棋棋盘有且只有一张:单例模式实现绘制棋盘函数:按行打印二维数组,双层for循环实现判断落子是
2020-10-09 09:09:54
4972
7
原创 Java系列——基础编程题
题目描述:编程题提示用户输入年月日信息,判断这一天是这一年中的第几天并打印注意点:用户输入的年月日是否为异常值?如月份和日有无越界需要判断当年是否为闰年,闰年需修改2月的实际天数代码如下:import java.util.Scanner;public class homework1 { public static void main(String[] args) { //对用户输入的年月日是否是为异常值进行判定 for(;;) {...
2020-09-15 11:13:41
1584
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人