5akura's Blog

文章目录Scala简介快速入门之HelloWorldIDEA开发Scala工程创建Scala开发规范Scala基础语言学习Chap01.内容输出与文档查看Chap02.变量2.1 声明/定义2.2 val与var2.3 数据类型2.3.1Char类型使用注意2.3.2、Unit、Null和Nothing2.3.3、类型转换Chap03.运算符Chap04.流程控制Scala函数式编程学习Chap05.函数编程入门5.1、函数function 和 方法method5.2、函数的定义5.3、函数的使用注意5.4

文章目录Spark学习笔记第一章、基本认识与快速上手1.1、认识Spark1.2、对比Hadoop1.3、Spark组成基本介绍1.4、快速上手之WorldCount实现1.4.1、方式一（Scala类似集合操作实现）1.4.2、方式二(MR思维实现)1.4.3、方式三(Spark实现)第二章、环境搭建2.1、Local模式2.1.1、SparkShell命令行执行2.1.2、spark-sublime提交任务2.1.3、提交任务的参数说明2.2、Standalone模式2.2.1、配置改动与启动2.2.2

文章目录Scala简介快速入门之HelloWorldIDEA开发Scala工程创建Scala开发规范Scala基础语言学习Chap01.内容输出与文档查看Chap02.变量2.1 声明/定义2.2 val与var2.3 数据类型2.3.1Char类型使用注意2.3.2、Unit、Null和Nothing2.3.3、类型转换Chap03.运算符Chap04.流程控制Scala函数式编程学习Chap05.函数编程入门5.1、函数function 和 方法method5.2、函数的定义5.3、函数的使用注意5.4

文章目录一、HBase简介1.1、HBase定义1.2、HBase数据模型1.2.1、HBase逻辑结构1.2.2、物理存储结构1.2.3、数据模型1.3、HBase基础架构（入门版）二、快速入门2.1、HBase安装部署2.2、命令行操作 DDL2.2.1、基本操作2.2.2、表操作2.2.3、NameSpace操作2.3、命令行操作 DML2.3.1、数据增&查2.3.2、数据改&删2.3.3、数据多版本（VERSIONS）三、HBase进阶3.1、架构原理（进阶版）3.2、写流程3.3

文章目录一、Kafka概述1.1、定义1.2、消息队列（MQ）1.2.1、传统应用场景——异步处理1.2.2、使用消息队列的优点1.2.3、消息队列的两种模式1.3、Kafka架构二、快速入门2.1、安装配置与部署2.2、Kafka命令行操作三、Kafka高级—架构深入3.1、Kafka运作流程及消息文件存储3.2、生产者3.2.1、数据分区存放策略3.2.2、数据可靠性保证3.2.3、ACK应答机制3.2.4、面向消费者保持消息一致3.2.5、消息交付语义以及幂等性3.3、消费者3.3.1、两种消费方式3

文章目录一、Flume概述1.1、Flume定义1.2、Flume基础架构二、Flume快速入门2.1、安装Flume部署2.2、入门案例2.2.1、监控端口数据（官方案例）Describe the sinkUse a channel which buffers events in memoryBind the source and sink to the channel2.2.2、实时监控单个追加文件2.2.3、监控文件 升级版2.2.4、监控文件夹变化2.2.5、断点续传——实时监控目录文件追加修改三、

文章目录一、Hive基本概念1.1、什么是Hive1.2、Hive的优缺点1.3、Hive架构原理1.4、Hive对比数据库二、Hive安装2.1、安装包准备2.2、相关配置和启动2.3、本地文件导入Hive2.3.1、Linux本地文件导入2.3.2、HDFS文件导入2.4、安装MySQL2.5、Hive的JDBC访问（了解）2.6、Hive常用交互命令2.7、Hive常见属性配置2.7.1、常用配置参数2.7.2、修改配置的方式三、Hive数据类型3.1、基本数据类型3.2、集合数据类型3.3、数据类型

文章目录第二部分、MySQL高级13、Linux安装MySQL14、配置文件15、MySQL Server分层16、MySQL引擎MyISAM和InnoDB对比Alibaba使用的MySQL17、索引优化分析索引选择性能分析性能分析表字段解析18、索引性能测试索引正确使用(最左前缀原则)场景一：全列匹配场景二、最左前缀匹配场景三、查询条件使用了索引的最左前缀的部分字段（中间条件缺失）场景四、查询条件没有使用索引字段的最左列(第一列)场景五、匹配某列的字符串前缀场景六、使用范围查询场景七、查询条件中含有表达式

这里有完整的文件哦！https://github.com/5aKura0817/GitLearn/tree/master/MarkDown/Hadoop学习文件欢迎大家一起讨论学习，一起进步！！！

文章目录MapReduce（计算）MapReduce概述MapReduce定义MapReduce的优缺点核心思想MapReduce计算程序运行时的相关进程官方WordCount源码MapReduce编程规范手动实现WordCountWindows上Java程序实现集群上运行序列化序列化概述自定义bean对象实现序列化接口实操实现MapReduce框架原理数据切片和MapTask并行度决定机制Job提交源码过程分析Job切片源码CombineTextInputFormat切片机制实操测试FileInputFo

文章目录HDFS（存储）概述HDFS的Shell操作常用命令实操HDFS客户端操作环境准备HDFS的API操作HDFS的I/O流操作HDFS数据流写数据的过程网络拓扑——节点距离计算机架感知读数据的过程NN和2NN工作机制Edits和FSimageCheckPoint触发条件设置设置NN故障处理集群安全模式安全模式相关常用命令NameNode多目录配置DataNodeDataNode工作机制数据的完整性DataNode掉线时限参数配置服役新数据节点退役旧数据节点添加白名单黑名单退役DataNode多目录配置

文章目录Hadoop基础篇大数据概论Hadoop入门Hadoop的组成HDFS架构概述Yarn架构MapReduce架构大数据的技术生态体系开发环境搭建安装jdk安装Hadoop本地模式伪分布式模式启动HDFS并运行MapReduce程序配置集群启动集群启动YARN并运行MapReduce程序配置集群启动集群配置历史服务器日志的聚集配置完全分布式模式（重点！！）准备工作编写集群分发脚本xsync集群配置集群单点启动SSH免密登录免密登录的原理群起集群crond系统定时任务集群时间同步使用chrony搭建nt

文章目录学习笔记仅为个人学习记录，如有错误望各位大佬不吝赐教！学习视频资源：[遇见狂神说](https://space.bilibili.com/95256449?from=search&seid=5212369959759283056)Spring5一、了解历史1.1发展1.2What is Spring?1.3什么是最少侵入？侵入式：非侵入式非侵入式的技术体现如何实现非侵入式1.4、SSH和SSM1.5、Spring的优点1.6、Spring的组成和扩展二、IOC理论三、HelloSpring四

本笔记学习资源：狂神说Java文章目录MyBatisPlus了解特性为什么学习MyBatisPlus快速开始INSERT雪花算法（知识补充）UPDATE字段自动填充乐观锁SELECT分页查询DELETE逻辑删除性能分析插件条件构造器Wrapper(重点！)allEqeq/negt/ge/lt/ltbetween/notBetweenlike/notLike/likeLeft/likeRightisNull/isNotNullin/notIninSql/notInSqlgroupByHavingorderB

文章目录Redis一、Nosql为什么使用Nosql什么是NosqlNosql特点NoSQL的四大分类KV键值对文档型数据库（bson格式）列存储数据库图关系数据库二、Redis入门Redis是什么？Redis能干什么？环境搭建window搭建Linux搭建性能测试工具—redis-benchmark基础知识三、五大数据类型Redis-keyString(字符串)List(列表)Set(集合)HashZset(有序集合)四、三种特殊数据类型Geospatial(地理位置)Hyperloglog(基数统计)B

文章目录文章学习视频资源 来源于B站：[狂神说Java](https://space.bilibili.com/95256449?from=search&seid=664827229694710743), 是欢迎大家关注老师呀！一起学习！MyBatis一、简介1、什么是MyBatis2、获取MyBatis3、持久层4、为什么使用MyBatis二、第一个MyBatis1、环境搭建2、创建一个...

MyBatis一、简介1、什么是MyBatis一款优秀的持久层框架支持定制化SQL、存储过程以及高级映射MyBatis 免除了几乎所有的 JDBC 代码以及设置参数和获取结果集的工作。MyBatis 可以通过简单的 XML 或注解来配置和映射原始类型、接口和 Java POJO（Plain Old Java Objects，普通老式 Java 对象）为数据库中的记录。原身是Apa...

文章目录壹、初步了解贰、快速入门2.1、JavaScript引用2.2、语法入门1、变量定义2、数据类型3、严格检查模式2.3、数据类型1、字符串2、数组3、对象4、流程控制5、Map、Set叁、函数与面向对象3.1、函数定义及变量作用域3.1.1、函数定义3.1.2、函数调用3.1.3、变量作用域3.2、方法肆、常用对象4.1、Date4.2、JSON4.3、Ajax伍、面向对象编程5.1、定义...

业务级别的MySQL学习与使用1、数据库分类1. 关系型数据库（SQL）MySQL，Oracle，SQL Server，DB2，SQLlite通过表和表之间的，行与列之间的关系进行数据的存储。（例如：学生信息表）2. 非关系型数据库（NoSQL）Not Only SQLRedis，MongDB对象存储，通过对象的自身的属性来决定2、MySQL安装与配置下载压缩文件...