自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

新新许愿树

一个今天胜过两个明天

  • 博客(13)
  • 资源 (14)
  • 收藏
  • 关注

原创 Hive学习(一)大数据基础知识介绍

目录HadoopHDFS(Hadoop Distribute File System)MapReduceYarnSpark该系列文档是由学习 尚硅谷大数据课程之Hive 整理而来。若有不足之处,烦请批评指正!HadoopApache基金会所开发的分布式系统基础框架用于解决 海量数据的存储和分析 问题Hadoop生态圈:Hive、HBase、HDFS、Zook...

2019-12-21 17:41:09 309

原创 Hive学习(三)安装配置

目录安装部署Hive基本操作将本地文件导入hive查看在hive中输入的所有历史命令Hive常见属性配置数据仓库位置配置查询后信息显示配置运行日志信息配置配置参数方式官网地址:https://hive.apache.org/下载地址:https://www-eu.apache.org/dist/hive/官方wiki文档:https://cwiki....

2019-12-22 16:09:19 726

原创 Hive学习(二)入门

目录Hive是什么Hive的优缺点优点缺点Hive架构原理用户接口:Client元数据:MetastoreHadoop驱动器:DriverHive和数据库比较查询语言数据存储位置数据更新索引执行执行延迟可扩展性数据规模Hive是什么Hive是由 Facebook 开源用于解决海量结构化日志统计的数据仓库工具,可以将数据...

2019-12-21 17:34:35 179

原创 Hive学习(六)DML数据操作

目录数据导入装载数据(Load)通过查询语句向表中插入数据(Insert)查询语句中创建表并加载数据(As Select)数据导出清除表中数据数据导入装载数据(Load)语法:load data [local] inpath 'file_path' [overwrite] into table tb_name [partition(partcol1=val...

2019-12-20 17:39:27 298

原创 Hive学习(四)数据类型

目录基本数据类型集合数据类型类型转换基本数据类型Hive数据类型 Java数据类型 长度 例子 TINYINT byte 1byte 有符号整数 20 SMALINT short 2byte 有符号整数 20 INT int 4byte 有符号整数 20 BIGINT long ...

2019-12-20 16:50:31 105

原创 Hive学习(五)DDL数据定义

目录数据库相关创建数据库查询数据库切换数据库修改数据库删除数据库表相关创建表管理表外部表管理表和外部表的相互转换分区表修改表删除表数据库相关创建数据库数据库在HDFS上的默认存储路径为:/user/hive/warehouse/*.dbcreate database if not exists icydate;也可以在创...

2019-12-20 15:14:09 528

原创 MySQL编程 优化篇(七) 优化MySQL Server

目录MySQL体系结构概览内存管理及优化优化原则InnoDB优化策略调整参数来优化InnoDB的性能InnoDB doublewriteInnoDB log机制及优化InnoDB重做日志innodb_flush_log_at_trx_commitMySQL体系结构概览MySQL实例由一组后台线程、一些内存块和若干服务线程组成。在默认情况下,MySQL...

2019-12-18 17:28:11 1225

原创 MySQL编程 优化篇(六) 锁问题

目录MyISQM表锁InnoDB锁问题事务隔离级别InnoDB的行锁模式InnoDB行锁实现方式Next-Key锁恢复和复制的需要,对InnoDB锁机制的影响什么时候使用表锁关于死锁具体的可以查看我的另外一篇博客,下面只摘取部分介绍!表级锁:开销小,加锁快;不会出现死锁;锁定粒度大,发生锁冲突的概率最高,并发度最低。行级锁:开销大,加锁慢;会出现死锁...

2019-12-18 17:21:55 233

原创 MySQL编程 优化篇(五) 优化数据库对象

优化表的数据类型在MySQL中,可以使用函数PROCEDURE ANALYSE()对当前应用的表进行分析,该函数可以对数据表中列的数据类型提出优化建议,用户可以根据应用的实际情况酌情考虑是否实施优化。使用方法:mysql> mysql> select * from t PROCEDURE ANALYSE();+-------------+-----------+----...

2019-12-18 17:04:19 160

原创 MySQL编程 优化篇(四) SQL优化(ⅳ)常用SQL优化

目录大批量插入数据优化order by语句MySQL中有两种排序方式Filesort的优化优化group by语句优化嵌套查询优化分页查询巧用 Rand() 提取随机行数据库名、表名大小写问题大批量插入数据 因为InnoDB类型的表是按照主键的顺序保存的,所以将导入的数据按照主键的顺序排列,可以有效地提高导入数据的效率。 在导入前关闭唯...

2019-12-18 16:50:20 161

原创 MySQL编程 优化篇(三) SQL优化(ⅲ)两个常用的优化技巧

定期分析和检查表分析表的语法如下:ANALYZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] . .分析的结果将可以使得系统得到准确的统计信息,使得SQL能够生成正确的执行计划。在分析期间,会使用一个读取锁定对表进行锁定。案例:检查表的语法如下:CHECK TABLE tbl_name [, tbl_name...

2019-12-18 16:47:25 148

原创 MySQL编程 优化篇(二) SQL优化(ⅱ)索引问题

目录索引的分类能够使用索引的典型场景存在索引但不能使用索引的典型场景索引的分类 B-Tree索引:最常见的索引类型,大部分引擎都支持B树索引 HASH索引:只有Memory引擎支持,使用场景简单 R-Tree索引(空间索引):空间索引是MyISAM的一个特殊索引类型,主要用于地理空间数据类型,通常使用较少,不做特别介绍 Full-text(...

2019-12-18 16:45:07 115

原创 MySQL编程 优化篇(一) SQL优化(ⅰ)优化SQL的一般步骤

目录优化SQL的一般步骤通过show status命令了解各种SQL的执行频率定位执行效率较低的SQL语句show profile的使用优化SQL的一般步骤通过show status命令了解各种SQL的执行频率mysql> show status like 'Com_%';通常比较关心以下几个统计参数:参数 说明 Com_ select...

2019-12-18 16:42:39 136

软件设计师笔记.pdf

备考软件设计师时梳理的笔记,目前已上岸,希望对大家也有帮助 一、计算机系统基础知识 二、程序语言基础知识 三、操作系统知识 四、系统开发和运行知识 五、网络基础知识 六、多媒体基础知识 七、数据库技术基础 八、数据结构 九、算法设计与分析 十、面向对象技术 十一、标准化和软件知识产权基础 十二、编译过程 选择题 应用题 数据流 解题技巧 解答题 数据库 UML图 算法题 代码补全

2021-12-29

系统架构师备考知识点梳理

备战软考时梳理的一些错题和常考题 案例题: 一、软件结构设计 (一)软件质量属性 (二)风险,敏感点,权衡点 二、结构化软件系统建模 (一)流程图和数据流图 (二)实体和类的区别 (三)Essential Use Cases和Real Use Cases (四)状态图和活动图 (五)用例建模 三、软件系统架构选择 (一)能写的架构风格-论文 (二)什么是软件架构风格,面向对象和控制环路两种架构各自风格的特点 (三)主程序-子程序 和 管道-过滤器 这两种架构风格的特点 (四)面向对象和基于规则 四、信息系统安全性 (一)信息系统面临的安全威胁 (三)授权侵犯 五、软件设计模式 (一)MVC (三)什么是面向服务架构(SOA)以及ESB(企业服务总线)在SOA中的作用与特点 (四)系统安全保证措施 ...... 选择题: 严格定义方法:适用需求非常明确的场景 JTAG接口:用于CPU调试的常用接口 RUP(统一软件开发过程),用例驱动 初始:建立业务模型,确定项目边界 细化:建立完善架构 构建:开发构建,集成产品,详细测试 交付:确保可用 ...... 论文题: 项目涉及到的技术 论软件设计方法及其应用【2019】 论基于DSSA的软件架构设计与应用 论基于REST服务的Web应用系统设计 论软件可靠性设计与应用 论大规模分布式缓存设计策略 论企业集成平台的架构设计

2021-11-03

MySQL技术内幕 SQL编程及优化.pdf

1.基础篇 1.1 explain执行计划 1.2 sq|编程 1.3数据类型 1.4查询处理 1.5子查询 1.6联接与集合操作 1.7聚合和旋转操作 2. SQL优化 2.1优化SQL的一般步骤 2.2 索引问题. 2.3两个常用的优化技巧 2.4常用SQL优化 2.5常用SQL技巧 3.优化数据库对象 3.1优化表的数据类型逆规范化 3.2提高查询速度 4.锁问题 4.1MyISQM表锁 4.2InnoDB锁问题 5.优化MySQL Server 5.1MySQL体系结构概览内存管理及优化 5.2InnoDB log机制及优化

2019-12-18

MySQL技术内幕 InnoDB存储引擎.pdf

最近在学习MySQL技术内幕  InnoDB存储引擎  第2版,整理了一些文档分享出来,同时也方便以后查看。若有不当之处,烦请批评指正。 1. MySQL体系结构和存储引擎 2. InnoDB存储引擎 2.1 InnoDB体系结构 2.2 Checkpoint技术 2.3 Master Thread工作方式 2.4 InnoDB关键特性 3. 文件 3.1 参数文件 3.2 日志文件 3.3 套接字文件 3.4 pid文件 3.5 表结构定义文件 3.6 InnoDB存储引擎文件 4. 表 4.1 索引组织表 4.2 InnoDB逻辑存储结构 4.3 行记录格式 4.4 InnoDB数据页结构 5. 索引与算法 5.1 概述 5.2 数据结构与算法 5.3 B+树索引 5.4 B+树索引的分裂 5.5 Cardinality值 5.6 全文索引 6. 锁 - 实现事务的隔离性 6.1 什么是锁 6.2 lock和latch 6.3 InnoDB存储引擎中的锁 6.4 锁的算法 6.5 锁问题 6.6 阻塞 6.7 死锁 6.8 锁升级 7. 事务 7.1 概述 7.2 事务的实现 7.3 事务控制语句 7.4 隐式提交的SQL语句 7.5 不好的事务习惯 8 备份与恢复 8.1 备份与恢复概述 8.2 冷备 8.3 逻辑备份 8.4 二进制日志备份与恢复 8.5 热备 8.6 快照备份 8.7 复制

2019-12-18

《Redis入门指南 (第2版)》整理出的Redis教程

Redis入门教程 1 1. 5大数据结构 3 1.1. String 字符串 3 1.2. Hash 散列 3 1.3. List 列表 3 1.4. Set 集合 4 1.5. Zset|sorted set 有序集合 4 1.6. 其他命令 5 2. 进阶 5 2.1. 事务 5 2.1.1. 错误处理 5 2.1.2. WATCH命令 6 2.2. 过期时间 6 2.3. SORT命令 7 2.3.1. BY参数 8 2.3.2. GET参数 8 2.3.3. STORE参数 8 2.3.4. 性能优化 9 2.4. 消息通知 9 2.5. 管道 9 2.6. 节省空间 9 3. 持久化 10 3.1. RDB方式 10 3.1.1. 进行快照的4种情况 10 3.1.2. 快照原理 11 3.2. AOF方式 11 3.2.1. 开启AOF(append only file) 11 3.2.2. AOF重写 12 3.2.3. 同步硬盘数据 13 4. 集群 14 4.1. 复制:主从复制,读写分离 14 4.1.1. 实现的三种方式 14 4.1.2. 原理 15 4.1.3. 图结构 16 4.1.4. 从数据库持久化 16 4.1.5. 无硬盘复制 16 4.1.6. 增量复制 17 4.2. 哨兵 18 4.2.1. 马上上手 18 4.2.2. 原理 19 4.3. 集群 20 4.3.1. 配置集群 20 4.3.2. 配置案例 20 4.3.3. 插槽 22 4.3.4. 故障恢复 22 5. 管理 23 5.1. 安全 23 5.1.1. 可信的环境 23 5.1.2. 数据库密码 23 5.1.3. 命令命名 23 5.2. 通信协议 23 5.2.1. 简单协议 23 5.2.2. 统一请求协议 24 5.3. 管理Redis时非常有用的几个命令 24 5.3.1. 耗时命令日志 24 5.3.2. 命令监控 25

2019-05-05

springboot知识点整理

学习尚硅谷视频整理的文档 Spring Boot 1 1 Spring Boot入门 4 1.1 简介 4 1.2 微服务(martin fowler发表了一篇文章) 5 1.3 环境约束 7 1.4 第一个Spring Boot项目(jar):HelloWorld 8 1.5 入门案例详解 11 1.5.1 POM文件 11 1.5.2 主程序类,主入口类 12 1.6 使用Spring Initializer向导快速创建Spring Boot 16 2 Spring Boot配置 18 2.1 配置文件 18 2.2 YML语法 19 2.3 YML配置文件值获取 21 2.4 properties配置文件乱码问题 24 2.5 @ConfigurationProperties与@Value的区别 25 2.6 配置@PropertySource、@ImportResource、@Bean 27 2.7 配置文件占位符 30 2.8 Profile多环境支持 31 2.9 配置文件的加载位置 33 2.10 外部配置加载顺序 36 2.11 自动配置原理 37 2.12 @Conditional派生注解 41 3 Spring Boot与日志 42 3.1 日志框架分类和选择 42 3.2 SLF4j使用 43 3.3 其他日志框架统一转换成slf4j+logback 44 3.4 Spring Boot日志使用 45 3.5 Spring Boot默认配置 47 3.6 指定日志文件和日志Profile功能 52 3.7 切换日志框架(不使用SLF4j+LogBack) 54 4 Spring Boot与Web开发 55 4.1 Web开发简介 55 4.2 静态资源映射规则 56 4.3 引入Thymeleaf 60 4.4 Thymeleaf语法 61 4.5 SpringMVC自动配置原理 67 4.6 SpringBoot扩展与全面接管 70 4.7 如何修改SpringBoot的默认配置 72 4.8 【实验】CRUD操作 73 4.8.1 默认访问首页 73 4.8.2 登录页面国际化 74 4.8.3 登录 80 4.8.4 拦截器进行登录检查 81 4.8.5 实验要求(没按要求做,不想改了!) 82 4.8.6 CRUD-员工列表 83 4.8.7 CRUD-员工修改 86 4.8.8 CRUD-员工添加 87 4.8.9 CRUD-员工删除 88 4.9 错误处理原理&错误页面定制 90 4.10 配置嵌入式Servlet容器(springboot 1.50版本) 97 4.10.1 如何定制和修改Servelt容器的相关配置 97 4.10.2 注册servlet三大组件【servlet,filter,listener】 98 4.10.3 替换为其他嵌入式容器 102 4.10.4 嵌入式servlet容器自动配置原理 103 4.10.5 嵌入式servlet容器启动原理 103 4.11 使用外置的Servlet容器 104 4.11.1 步骤 104 4.11.2 原理 107 5 Spring Boot与Docker(虚拟化容器技术) 110 5.1 简介 110 5.2 核心概念 111 5.3 安装Docker 112 5.4 Docker常用命令&操作 113 5.5 安装MySQL示例 114 6 Spring Boot与数据访问 115 6.1 JDBC 115 6.1.1 实现 115 6.1.2 自动配置原理 116 6.2 整合Durid数据源 117 6.3 整合Mybatis 122 6.3.1 注解版 123 6.3.2 配置文件版 124 6.4 整合SpringData JPA 125 6.4.1 SpringData简介 125 6.4.2 整合 126 7 Spring Boot启动配置原理 128 7.1 启动流程(Springboot 1.50版本) 128 7.1.1 创建SpringApplication对象 129 7.1.2 运行run方法 130 7.1.3 编写事件监听机制 132 8 Spring Boot自定义starters 136 8.1 概述 136 8.2 步骤 137 9 更多Springboot整合示例 144 10 Spring Boot与缓存 145 10.1 JSR107缓存规范 145 10.2 Spring的缓存抽象 146 10.2.1 基本概念 146 10.2.2 整合项目 146 10.2.3 CacheEnable注解 148 10.2.4 Cache注解 150 10.3 整合redis 154 10.3.1 在Docker上安装redis 154 10.3.2 Redis的Template 154 10.3.3 整合(百度) 155

2019-03-20

Java8 新特性之lamdba表达式和Optional

1 Lambda表达式 2 1.1 Lambda语法糖 2 1.1.1 语法 2 1.1.2 Lambda表达式可使用的变量 3 1.1.3 lambda表达式中的this概念 3 1.2 函数式接口- Consumer/Predicate/Function/Supplier 4 1.1.4 什么是函数式接口 4 1.1.5 Consumer接口 5 1.1.6 Function接口 6 1.1.7 Supplier接口 8 1.1.8 Predicate接口 9 1.3 方法引用和构造器 12 1.2.1 方法引用 12 1.2.2 构造器 12 1.4 Stream语法 13 1.3.1 入门案例 13 1.3.2 怎么得到Stream 15 1.3.3 转换Stream 16 1.3.4 汇聚Stream 19 2 Optional类 20 2.1 创建Optional容器 21 2.2 容器简单方法 22 2.3 容器进阶方法 23 1.3.5 ifPresent方法 23 1.3.6 orElseGet和orElseThrow方法 23 1.3.7 filter方法 24 1.3.8 map方法 24 1.3.9 flatMap方法 25 2.4 总结 25

2019-03-19

Java 基础面试题

该文档主要整理了常见的Java基础面试题,包含以下内容: 1. 抽象类和接口的区别 2. 什么时候使用抽象类,什么时候使用接口 3. 八大基本数据类型,所占字节数 4. List、Set、Map的区别 5. 什么情况下使用List、Map、Set? 6. ArrayList和LinckedList 7. LinckedList底层 8. ArrayList底层 9. mybatis的SqlSession如何保证线程安全 10. Io有哪些流,字节流和字符流的区别 11. String常用api 12. 自动拆装箱发生 13. Collections提供的工具方法 14. String、StringBuffer和StringBuilder区别 15. Map的键和值可以为null吗,为什么 16. 集合排序,内排序,外排序 17. 动态代理和静态代理 18. 封装、继承、多态 19. static加载顺序 20. 代理和反射(3分钟),反射泛型还有用吗 21. final关键字 22. 线程wait和sleep相同点和不同点 23. 为什么start调用run方法,调用run不会调用start方法 24. 手写单例模式中的懒汉式和饿汉 25. transient 这个关键字是干啥的 26. 什么是一致性hash算法 27. 构造方法链 28. 谈谈你对线程调度的理解 29. JDK动态代理和CGLIB动态代理 30. 反射机制以及反射的方式 31. 类加载有几种方式 32. Class.forName()和ClassLoader.loadClass()的区别 34. 如何防止创建的类名不能java为已有类名,Java加载双亲委派机制 35. 堆和栈的区别

2018-10-04

Web 常见面试题

该文档整理了web常见面试题,包括一下内容: 1. 谈谈你对http协议的理解,http 常见的状态码有哪些 2. GET 和 POST 的区别(4个) 3. http 中重定向和请求转发的区别(8个) 4. Cookie 和 Session
区别 5. 什么是 jsp,什么是 Servlet?jsp 和 Servlet 有什么区别? 6. jsp 有哪些域对象和内置对象及他们的作用 7. 过滤器和监听器是什么,有什么用 8. 谈谈你对 ajax 的认识?

2018-10-04

SSM 梳理 面试题整理

该文档主要整理的是SSM的常见面试题,包括一下内容: 1. SpringMVC 的工作原理 (11步) 2. 谈谈你对SpringMVC的理解 3. SpringMVC 常用注解都有哪些? 4. Spring 的常用注解 5. 如何开启注解处理器和适配器? 6. 如何解决 get 和 post 乱码问题? 7. 谈谈你对 Spring 的理解 (8条) 8. Spring 中的设计模式(解释) 9. 简单介绍一下 Spring bean 的生命周期(11步) 10. Spring 能帮我们做什么 11. 描述一下 Spring 的事务 12. 什么是 Spring IOC 容器,IOC 的优点是什么? 13. 什么是 Spring 的依赖注入 ,注入方式有哪些? 14. Spring 支持的几种 bean 的作用域 15. 简单解释一下 spring 的 AOP 16. Mybatis 中#和$的区别? 17. Mybatis 的使用步骤是什么样的? 18. 使用 MyBatis 的 mapper 接口调用时有哪些要求 19. mybatis的缓存机制,一级,二级介绍一下。 20. 视图解析器本质是什么 21. 统一解决get乱码

2018-10-04

SSM集成应用

该讲义包括Spring入门、Spring整合、Spring MVC整合、SSM集成、Spring框架详解、IOC/DI详解、Bean的装配、AOP面向切面编程、Spring事务管理、SpringMVC配置详解、Spring MVC其他功能、Spring MVC原理等知识点。

2018-10-02

MyBatis深入

该讲义介绍了MyBatis从入门、核心配置文件详解、mapper映射文件详解、动态SQL、关系映射到懒加载等一系列知识点。

2018-10-02

mysql 的样例数据库 sakila

mysql 的样例数据库 sakila 可配合PD工具,进行数据库表分析入门

2018-10-02

样例数据库,oracle和mysql均适用

样例数据库,oracle和mysql均适用。 包括建表语句,sql复杂查询题以及参考答案。

2018-10-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除