- 博客(344)
- 资源 (1)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Hive 四种排序 (亲手实战 + 理解,烦请您过目)
文章目录:1、全局排序 (order by)① 使用order by排序的子句在select 结尾处。降序:desc升序:asc 不需要指定,默认是升序②案例实操:结果:2、区内排序 (sort by )分区字段 (distribute by)设置reduces 个数:set mapreduce.job.reduces = 3;distribute by 分区字段 store by 排序字段 联合使用②案例实操:不是全局排序,其在数据进入reducer前完成排序。因此,如果用sort by进行排序,并且
2020-05-26 18:39:43
8072
59
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Presto 概念 及 架构
文章目录:一、概念:1.1 Presto概念1.2 Presto应用场景1.3 Presto的架构组成部分:1.4 Presto 优点:Presto 缺点:二、Presto优化2.1数据存储2.2 查询SQL优化2.3 无缝替换Hive表2.4 建表格式的选择搭建部分不写了就。官网查看。 【转载注明出处,还望尊重原创 】 【作者水平有限,如有错误欢迎指正 .】一、概念:Presto 是一个开源的分布式SQL查询引擎,数据量支持GB到PB字节,主要用来处理秒级查询的场景。1.1 Presto概念P
2020-05-18 19:19:20
4492
66
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 数据库 面试题 实战解答
目录:1、触发器的作用?2、什么是存储过程?用什么来调用?3、 存储过程的优缺点4、索引的作用?和它的优点缺点是什么?5、什么是内存泄漏?6、维护数据库的完整性和一致性,你喜欢用触发器还是自写业务逻辑?为什么?7、什么是事务?什么是锁?8、什么叫视图?游标是什么?9、 where和Having区别:10、on和in的区别:11、union和union ALL 的区别:12、数据库的备份类型:13、...
2020-04-19 14:27:25
4407
49
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 面试常问:Hive分区与分桶的区别
分区表与分桶表的区别:创建表时可以同时为表创建一个或者多个分区,我们在加载数据时为期指定具体的 分区,查询数据时可以指定具体的分区从而提高效率。分区表是把分区当成目录的,分区实际上是将表文件分成多个有标记的小文件以方便查询。桶表:1.分区表是将大的表文件划分成多个小文件以利于查询,但是如果数据分布不均衡,也会影响查询效率。2.桶表可以对数据进行哈希取模,目的是让数据能够均匀的分布在...
2020-03-14 09:21:26
5276
37
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Cloudera Manager大数据平台
一、CDH概述前言:Cloudera 提供了 Hadoop 的商业发行版 CDH ,能够十分方便地对 Hadoop 集群进行安装、部署里面不仅包含了 loudera 的商业版 Hadoop ,同时 DH 中也包含了各类常用的开源数据处理与存储框架,如 Spark Hive HBas 等。CDH和Hadoop对比Hadoop 大致 分为 Apach Hadoop 和第三方发行版 Ha...
2020-03-10 19:03:43
816
17
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 MySQL 数据库索引 与 复制表结构方式
一、数据库索引作用:提高查询速度确保数据的唯一性可以加速表和表之间的连接,实现表与表之间的参照完整性使用分组和排序子句进行数据检索时,可以显著减少分组和排序的时间全文检索字段进行搜索优化二、索引分类主键索引(PRIMARY KEY)唯一索引(UNIQUE)常规索引(INDEX)全文索引(FULLTEXT)主键:某一个属性组能唯一标识一条记录如:学生表(学号,姓名,班级,...
2020-02-27 14:17:13
1091
19
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Oracle窗口函数和分析函数
一、分析函数带有一个开窗函数over(),包含三个分析子句:分组(partition by), 排序(order by), 窗口(rows) ,他们的使用形式如下:分析函数名(参数) over (partition by 子句 order by 子句 rows/range… 子句)(注:若窗口函数内和sql语句末尾共存在两个order bya) order by 字段两者一致:即sql语句中的...
2020-01-15 11:57:23
2519
39
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 SQL语言概述
SQL 全称是结构化查询语言,英文译作 Structured Query Language,它是一种在关系型数据库中定义和操纵数据的标准语言 一、SQL语言的特点: 集合性SQL 可以在高层的数据结构上进行工作,工作时不是单条地处理记录,而对数据进行成组的处理。所有 SQL 语句都接受集合作为输入,并且返回集合作为输出,SQL 的集合特性允许一条 SQL 语句的结果作为另一条 SQL...
2020-01-14 17:36:16
721
19
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Oracle 数据库的基本概念及搭建
概述:Oracle是著名的Oracle(甲骨文)公司的数据库产品。Oracle是世界上第一个商品化的关系型数据库管理系统。Oracle采用标准SQL(结构化查询语言),支持多种数据类型,提供面向对象的数据支持,具有第四代语言开发工具,支持UNIX、WINDOWS、OS/2等多种平台。Oracle公司的产品丰富,包括Oracle服务器、Oracle开发工具和Oracle应用软件。其中最著名的就是O...
2020-01-10 16:03:38
3228
20
原创 电脑上卸载流氓软件—UniAccessAgent
https://blog.csdn.net/xioayu96/article/details/108335469
2022-08-20 18:54:11
1945
原创 ES 面试题总结 ---->第六章节
系统中的数据,随着业务的发展,时间的推移,将会非常多,而业务中往往采用模糊查询进行数据的搜索,而模糊查询会导致查询引擎放弃索引,导致系统查询数据时都是全表扫描,在百万级别的数据库中,查询效率是非常低下的,而我们使用ES做一个全文索引,将经常查询的系统功能的某些字段,比如说电商系统的商品表中商品名,描述、价格还有id这些字段我们放入ES索引库里,可以提高查询速度。如果你要在更快的CPUs和更多的核心之间选择,选择更多的核心更好。master节点的职责主要包括集群、节点和索引的管理,不负责文档级别的管理;...
2022-07-15 22:20:54
511
原创 针对 JavaAPI ElasticSearch 操作 ---->第五章节
代码】针对JavaAPIElasticSearch操作---->第五章节。
2022-07-15 15:06:14
245
原创 ElasticSearch【乐观并发控制】---->第四章节
Elasticsearch乐观并发控制文章案例学习:http://t.zoukankan.com/huangying2124-p-11986897.html
2022-07-10 15:36:48
314
原创 ElasticSearch 【增删改查 之动态、静态映射】操作---> 第三章节
1.1、创建索引:格式: PUT /索引名称举例: PUT /db_index1.2、查询索引:格式: GET /索引名称举例: GET /db_index方式二:可以在浏览器进行查询方式三:也可以在APIPOst进行测试。1.3、删除索引:格式: Delete /索引名称举例: Delete /db_index1.4 添加文档:格式:PUT /索引名称/类型/id举例:遇到的问题:1.4.1 在执行下面的时候,报错类型不支持。解决办法:_doc 改为这个类型可以插入成功!要添
2022-07-09 23:05:32
267
原创 Linux 环境搭建 kibana ---->第二章节,踩坑集
1、细心点找上面的配置地方2、替换自己的。3、访问的时候没有后缀的,注意下。4、后台运行的方法:1)启动参考报错:https://blog.csdn.net/weixin_45495060/article/details/1251833412)授权思路:http://t.zoukankan.com/xiaomaomao-p-15573991.htmlhttps://blog.csdn.net/chenxb1986/article/details/84262331...
2022-07-09 18:15:59
149
原创 ElasticSearch Linux 环境搭建---->第二章节,踩坑集
http://t.zoukankan.com/it-deepinmind-p-14275872.html我这里安装的ES 是8.X版本的,JDK 替换成了17的。总结:之前7.X 版本需要改名,可能需要,但是我安装的是8.X版本 不需要改名了。因为安全问题,ES 不允许root 用户直接运行,所以要创建新用户,在root用户中创建新用户。esuser soft nofile 65536esuser hard nofile 65536/opt/software/es/elasticsearch-8.3.2
2022-07-09 15:16:10
303
原创 ElasticSearch 开篇---->第一章节
Elasticsearch是一个分布式、RESTful风格的搜索和数据分析引擎,能够解决不断涌现出的各种用例.作为Elastic Stack的核心,它集中存储您的数据,帮助您发现意料之中以及意料之外的情况。The Elastic Stack,包括 Elasticsearch、Kibana、Beats和 Logstash(也称为ELK Stack)。能够安全可靠地获取任何来源、任何格式的数据,然后实时地对数据进行搜索、分析和可视化。Elaticsearch,简称为ES,ES是一个开源的高扩展的分布式全文搜索
2022-07-08 14:38:21
166
转载 Yarn的基础介绍以及job的提交流程
YARN 是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。ResourceManager:ResoueceMananer是基于应用程序对集群资源的需求进行调度的yarn集群的主控制节点,负责协调和管理整个集群,相应用户提交的不同的类型的应用程序,解析、调度、监控等工作。ResourceManager会为每一个application启动一个MRappmaster,并且MRappmaster分散在各个n
2022-07-06 14:48:48
379
原创 事务注解学习: @Transactional(rollbackFor=Exception.class)
在项目中,@Transactional(rollbackFor=Exception.class),如果类加了这个注解,那么这个类里面的方法抛出异常,就会回滚,数据库里面的数据也会回滚。也就是带 SQL 事务代码得 时候才使用 。
2022-06-06 13:16:15
959
1
原创 SpringBoot内置工具类应有尽有,真香香香
文章目录:断言对象、数组、集合StringUtils :CollectionUtilsFileCopyUtils (文件、资源、IO 流)ResourceUtils (从资源路径获取文件) :StreamUtils:ReflectionUtils(反射、AOP):AopUtils:断言1.断言是一个逻辑判断,用于检查不应该发生的情况2. Assert 关键字在 JDK1.4 中引入,可通过 JVM 参数-enableassertions开启3. SpringBoot 中提供了 Assert 断言工
2022-05-18 11:22:08
187
原创 Redis 连接超时:io.netty.channel.ConnectTimeoutException: connection timed out:
这个大坑问题,找了一天一夜的问题,睡觉都在想,为啥会本地连接超时呢,首先我连接的时Redis 哨兵集群:关键信息:最后有篇文件说让关闭了6379 端口:因为我的是基于服务器,所以我就试着关闭了下,真的就可以连接上了。奇葩的问题1. 在yml 中配置如下:2. pom文件配置如下: <dependency> <groupId>org.springframework.boot</groupId> <artifactId
2022-05-04 15:39:22
4429
原创 Redis 主从搭建_____ (及遇到的坑____)
文章目录:前言:开始搭建Redis 主从集群:1.上传下载好的 linux 版本的Redis 的服务器:2.集群规划:3. 我们创建三个文件夹,名字分别叫7001、7002、7003:4.拷贝配置文件到每个实例目录5.修改每个实例的端口、工作目录6.修改每个实例的声明IP逐一执行7.启动8.启动完成之后报错信息:自言自语中:敲黑板:开始测试查看状态主从集群永久生效和临时生效两种:9.总结:前言:今天是 五一劳动节 的第二天,心血来潮,买来一台服务器,搭建redis集,解决下本地java 中的另外一个问题
2022-05-02 23:22:13
901
原创 fastJson序列化和反序化 (记录一下)
@Testvoid testuser(){ User user = new User(); user.setNickName("nick"); user.setPhone("13653602974"); user.setId(1L); String resultJson = JSON.toJSONString(user); // 转json stringRedisTemplate.opsForValue().set("Person:",resultJson); String person
2022-04-23 15:49:53
417
原创 关于MySQL自定义排序(Java & MySQL 版本)
前言:首先需要这个自定义排序的字段需求是,在本地项目的点赞功能 时 比如你有两个id ,需要对先点赞的用户id 这个字段先显示后面的,现在点赞的用户显示在前面时,用到。1、 数据库字段sql 实现当字段的值比较多时,首先想到的肯定时in 这个字段。然后查询:id 1 在前,5在后,我需要 5 在前1 在后这个样子才合了我的口味。2、Mybatis 中怎们实现这个自定义排序功能1、在Mapper 文件中我试了下暂时还没想出来,后面研究。2、根据老师的写法如下:重点:3、但是这样写是有问题:在
2022-04-17 17:19:50
1452
1
原创 Error getting generated key or setting result to parameter object. Cause: org.apache.ibatis.executor
报错信息:Error getting generated key or setting result to parameter object. Cause: org.apache.ibatis.executor.ExecutorException: Could not determine which parameter to assign generated keys to. Note that when there are multiple parameters, ‘keyProperty’ must
2022-04-15 16:25:50
6190
5
转载 IDEA 本地如何 一次性 启动多个服务项目
在IDEA中一个项目启动多次有两种方式,现在和大家分享一下。第一种、第一步、选择“Edit Configurations”第二步、勾选“Allow parallel run”以上操作完成后就OK啦。不过重复运行项目前,记得要先更改项目的端口号哈,不然端口号被占用启动不起来哦。第二种、使用“-Dserver.port=8080”使用 -Dserver.port设置要使用的端口号就可以了...
2022-04-09 00:08:57
4817
原创 Failed to deserialize java.time.LocalDateTime:
在本地post 请求数据时解析时间时报错:思路:1.后端属性是:private LocalDateTime date;2.前端提交的参数:不是json或者格式 2020-11-19解决:1.加上注解@JsonFormat(shape = JsonFormat.Shape.STRING, pattern=“yyyy-MM-dd HH:mm:ss”)private LocalDateTime date;2.提交的时间格式:yyyy-MM-dd HH:mm:ss /**
2022-04-07 17:57:08
7305
原创 使用 APIPost 本地测试报错401状态解决办法:org.springframework.http.converter.HttpMessageNotReadableException: JSON
前言: 实现需求就是先从redis 查询缓冲,缓存与数据库双写一致性需要,如果管理段更新了数据,那么数据库和redis 中的数据都是一致的才对。还原报错控制台异常日志:2022-04-04 22:38:36.214 ERROR 14084 — [nio-8081-exec-1] com.hmdp.config.WebExceptionAdvice : org.springframework.http.converter.HttpMessageNotReadableException: JSO
2022-04-05 14:57:54
3844
原创 Yarn 的基本思想
YARN的基本思想是将资源管理和调度及监控功能从MapReduce分离出来,用独立的后台进程实现。这个想法需要有一个全局的资源管理器(ResourceManager),每个 应用还要有一个应用主管(ApplicationMaster)。应用可以是一个单独MapReduce作业,或者是一个作业的有向无环图(DAG)。资源管理器和节点管理器(NodeManager)构成了分布式数据计算框架。资源管理器是系统中所有应用资源分配的最终仲裁者。节点管理器是框架中每个工作节点的代理,监控节点CPU、内存、磁盘、网.
2022-03-26 21:23:49
1877
原创 JavaSE 基础知识 面试题 大总结
文章目录:1.什么是B/S架构?什么是C/S架构2.你所知道网络协议有那些?3.Java都有那些开发平台?4.什么是JVM?java虚拟机包括什么?5.Java是否需要开发人员回收内存垃圾吗?6.什么是JDK?什么是JRE?7.什么是数据结构?8.Java的数据结构有那些?9.什么是OOP?10.什么是面向对象?11.类与对象的关系?12.Java中有几种数据类型13.什么是隐式转换,什么是显式转换14.Char类型能不能转成int类型?能不能转化成string类型,能不能转成double类型15.什么是拆
2022-03-22 21:38:54
164
原创 实站 ---- 《面试官远程发我的SQL面试题,今天正好做完,把它整理出来》
文章目录:不废话,直接进入主题:1、建表语句:2、实现:建表语句:实现:总表查实现: 下面题目是设计到行列转换的问题: 建表语句:实现:注意点:面试原题:输出结果: 总结:以上纯属个人学习与记录,欢迎学习与交流,本次记录结束。2022-03-21 星期一 不废话,直接进入主题:一、关于表内容如下:日期 结果2005-05-09 胜2005-05-09 胜2005-05-09 负2005-05-09 负2005-05-10 胜2005-05-10 负2005-05-10 负如
2022-03-21 21:58:56
2084
原创 MySQL 存储过程:UnKnown database ’test‘
前言:看到一篇公众号说:一千万数据,怎么快速查询?为了测试性能,在使用存储过程造数据的同时,出现了此错误!一、建表语句CREATE TABLE `user_operation_log` ( `id` int(11) NOT NULL AUTO_INCREMENT, `user_id` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL, `ip` varchar(20) CHARAC
2022-03-20 12:56:30
2985
原创 Zookeeper <---> 学习(全)
什么是 Zookeeper :ZooKeeper 是分布式应用程序的高性能协调服务。它在一个简单的界面中公开了常用服务,例如命名、配置管理、同步和组服务,因此您不必从头开始编写它们。您可以现成地使用它来实现共识、组管理、领导者选举和存在协议。您可以根据自己的特定需求在此基础上进行构建。Zookeeper 的选举机制:Zookeeper 如何解决数据一致性问题?什么是 ZAB 算法.Zab 借鉴了Paxos算法,是特别为 Zookeeper设计的支持崩溃恢复得原子广播协议。基于该协议,Zook
2022-03-17 14:55:17
2537
原创 java反射机制的优点和缺点
一、反射机制的优点首先,反射机制极大的提高了程序的灵活性和扩展性,降低模块的耦合性,提高自身的适应能力。其次,通过反射机制可以让程序创建和控制任何类的对象,无需提前硬编码目标类。再次,使用反射机制能够在运行时构造一个类的对象、判断一个类所具有的成员变量和方法、调用一个对象的方法。最后,反射机制是构建框架技术的基础所在,使用反射可以避免将代码写死在框架中。java的反射机制就是增加程序的灵活性,避免将程序写死到代码里。例如: 实例化一个 person()对象, 不使用反射, new person(
2022-03-15 21:29:05
2746
原创 突发奇想;HAVING 可以作为单读的条件进行查询嘛?好奇心
突发奇想;关于在Mysql中Having 可以单独组为条件使用吗?很好奇吧。其实我i也是!!!having是对分组结果的筛选开始实验:1、自己创建一张测试表,表的测试数据如下。。。2、单独使用Having 进行查询走起。结果是可以查询出来的。SELECT * FROM first_one HAVING id >23、具体是为啥可以这样,还需要去研究,先写到这里。...
2022-03-15 19:08:19
216
原创 Parquet 与 ORC 区别
两者主要共性都是apache顶级项目,都是高性能的列式存储格式Parquet和Orc都是以二进制方式存储的,所以不可以直接读取支持的编码格式(游程,字典,增量,bit),压缩格式(zlib,snappy,LZO等等)基本一致两者主要差异...
2022-03-14 22:34:42
640
原创 hive 数据倾斜
数据倾斜结合篇:https://www.cnblogs.com/qingyunzong/p/8847597.html数据倾斜:现象:当有多个reduce时,其中有大量的数据全部集中到某一个或者几个reduce中时本质原因: 1)、key分布不均匀 2)、业务数据本身的特性 3)、建表时考虑不周 4)、某些SQL语句本身就有数据倾斜表现:任务进度长时间维持在99%(或100%),查看任务监控页面,发现只有少量(1个或几个)reduce子任务未完成。因为其处理的数据量和其他reduce差异
2022-03-14 17:45:52
1580
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人