一叶知秋

scala

spark手记

hive初始化，启动

Spark on Yarn in single node

WSL on Windows Server

Ankur Dave, Spark committer at UCB AMPLabAnswered Nov 26, 2013When Scala constructs a closure, it determines which outer variables the closure will use and stores references to them in the closure object. This allows the closure to work properly even whe

Kafka学习笔记参加拉勾教育大数据训练营课程笔记1. 介绍2. 架构3. 核心概念心跳4. 环境搭建参考集群安装文档。4. 生产与消费5. 集成Kafka到SpringBoot6. 生产者 - 数据生产流程6.1 生产者原理6.2 生产者参数6.3 序列化和反序列化6.4 分区器6.5 拦截器 （producer intercepter, consumer intercepter)7. 消费者7.1 消费组7.2 消费者参数7.3 订阅7.4 位移提交_con

Impala参加拉勾教育大数据训练营课程笔记Impala是一个分布式，大规模并行处理（MPP）数据引擎，它包括多个进程，Impala与Hive类似，不是数据库，而是数据查询工具。查看Impala进程：ps -ef | grep implalaimplalad，与statetore通信Query PlannerQuery CoordinatorQuery Executorstatestore - 监控集群健康状况，使impalad知道哪些节点是可以正常工作的catalog某个im

Hive学习笔记参加拉勾教育大数据训练营课程笔记概述Hive由Facebook开源，最初用于解决海量结构化日志数据的统计。基于MapReduce的数据仓库工具已有的Hadoop平台：HDFS - 海量数据存储MapReduce - 海量数据处理、分析Yarn - 集群资源管理和作业调度Hive产生的原因，解决Hadoop平台痛点：MapReduce学习成本高，开发难度大 →\to→ 提供SQL查询接口，背后将SQL查询转换为MapReduce任务HDFS没有字段，数据类型，没有表

Hadoop Core - HDFS, MapReduce, YARN参加拉勾教育大数据训练营课程笔记引用：《Hadoop - The Definitive Guide, 4th Edition》,《拉勾导师笔记》简介大数据特性(5V)引用自IBM’s Watson Health: The 5 V’s of big data - Watson Health Perspectives (ibm.com)Volume - 量大采集、存储和计算的数据量都非常大1GB = 1024 MB1

Java集合泛型编程通常情况下集合中可以存放不同类型的对象，是因为将所有对象都看做Object类型放入的，因此从集合中取出元素时也是Object类型，为了表达该元素真实的数据类型，则需要强制类型转换，而强制类型转换可能会引发类型转换异常。为了避免上述错误的发生，从Java5开始增加泛型机制，也就是在集合名称的右侧使用<数据类型>的方式来明确要求该集合中可以存放的元素类型，若放入其它类型的元素则编译报错。泛型只在编译时期有效，在运行时期不区分是什么类型。原理泛型的本质就是类型参

MySQL学习笔记参加拉勾教育大数据训练营课程笔记1. 安装启动与配置1.1 安装与启动Win10下直接运行安装程序，按照提示安装即可。安装完成后可以运行MySQL 5.7 Command Line Client测试是否安装成功[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5tQDd2a7-1624890267447)(image-20210601213459702.png)]输入密码，登录成功：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直

Java核心类库（下）参加拉勾教育大数据训练营课程笔记Java异常机制Throwable类java.lang.Objectjava.lang.ThrowableAll Implemented Interfaces:SerializableDirect Known Subclasses:Error, Exception是所有Error，Exception的父类（超类）。Error是JVM遇到的无法解决的严重错误Exception是程序错误，或者偶然外在因素导致的错误，

Java核心类库（上）参加拉勾教育大数据训练营课程笔记学会查阅API文档，根据包索引，搜索等。常用类java.lang - 唯一一个Java虚拟机自动访问，所以System等不需要import就可以使用，例如：System, String等。java.util - 提供大量工具类和集合类等，例如：Scanner , List, Random等。java.io - 输入输出包，提供了文件读写，流读写等，例如：FileInputStream, FileOutputStream等。java.n

参加拉勾教育大数据训练营课程笔记Java面向对象编程类和对象对象 - 现实生活中的具体的客观实体，Java语言中体现为内存中的一块区域类 - 抽象出具有相同特征和行为的多个对象的抽象描述。是蓝图，设计图类定义类的声明类名遵循Pascal命名 - 所有单词首字母大写，比如BigData，代码文件名与类名相同，比如BigData.javapublic class ClassName { }构造方法初始化类的成员变量（特征变量）与类名相同，无返回类型可以重载提供.

参加拉勾教育大数据训练营课程笔记