- 博客(257)
- 资源 (9)
- 收藏
- 关注
RSS订阅
原创 部门工资前三高的所有员工
Employee表包含所有员工信息，每个员工有其对应的工号Id，姓名Name，工资Salary和部门编号DepartmentId。Department表包含公司所有部门的信息。编写一个SQL 查询，找出每个部门获得前三高工资的所有员工。例如，根据上述给定的表，查询结果应返回：解释：IT 部门中，Max 获得了最高的工资，Randy 和 Joe 都拿到了第二高的工资，Will 的工资排第三。销售部门（Sales）只有两名员工，Henry 的工资最高，Sam 的工资...
2021-03-05 10:49:41
306
4
原创 SQL面试题：经典排名问题(相同分数是否要并列，排名是否有间隔)
【题目】下图是"班级"表中的内容，记录了每个学生所在班级，和对应的成绩。现在需要按成绩来排名，如果两个分数相同，那么排名要是并列的。正常排名是1，2，3，4，但是现在前3名是并列的名次，排名结果是：1，1，1，2。【解题思路】1.涉及到排名问题，可以使用窗口函数2.专用窗口函数rank, dense_rank, row_number有什么区别呢？它们的区别我举个例子，你们一下就能看懂：select *, rank() over (order by 成绩 desc)
2021-03-04 14:03:02
2218
4
原创 7年了，为什么智慧城市还不智慧？
2020年，智慧城市正在进行一轮“闯关”。早在2014年8月，国家发改委、工信部、住建部、交通运输部等八部委就提出了一个智慧城市的建设目标：到2020年，建成一批特色鲜明的智慧城市。按这一目标，今年正好是智慧城市亮成绩的时候。此前，这一领域早已成为兵家必争之地，竞争“刀刀见肉”：比如2017年，先有腾讯云以1分钱中标厦门政务云，随后在同年的云栖大会上阿里云宣布产品大降价，最高降幅达53%。此外，华为、百度、平安等巨头也纷纷下场竞争。截止至今年，中国共有约500座智慧城市正在建设中。202..
2020-12-17 13:17:19
8924
5
原创 大数据平台比较-CDH、HDP、CDP
说到大数据，不得不提一下Hadoop。先来谈一谈Apache Hadoop与CDH、HDP的比较一、Hadoop版本综述不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hortonworks版本(Hortonworks Data Platform，简称HDP），对于国内而言，绝大多数选择CD
2020-08-24 12:51:29
41407
17
原创 关于内存、外存、磁盘、硬盘、软盘、光盘的区别
计算机存储器分为两大类：内存存储器和外部存储器（简称内存或内存条和外存）。内存:是暂时存储进程以及数据的地方，又称主存，是CPU能直接寻址的存储空间，由半导体器件制成。特点是内存容量小，存取速度快，只能临时保存信息（经cup处理后的数据），断电后信息就会消失，这就需要另一种存储器——外存储器。外存储器:外存容量大，存取速度比内存慢，能永久保存信息，断电后信息不会消失。它好比是数据的外部仓库一样，相当于有了记忆功能，外存主要是磁盘。光盘:是用激光打上去的数据，区别于磁盘。磁盘:
2020-08-10 13:35:04
21467
2
原创 力扣（LeetCode）怎么刷题，以排序算法为例
掌握 LeetCode 刷题方法再开始刷题，属于磨刀不误砍柴工。掌握正确方法是非常重要的。如果你在刷题的时候发现怎么也写不出来，别担心，这是正常的。如果你还发现，之前明明刷过的题，过段时间再做的时候，自己还是不会。别担心，这也是正常的。在这我分享一下我的刷题经验，希望对你有帮助。如果你时间比较紧迫，为了找工作而刷题，我建议你先刷热门推荐，一共两百多道题。在 LeetCode中文版 页面的右侧。先刷热题 HOT 100，再刷精选 TOP 面试题，之后刷其他的题。如果你时间比较充裕，那我建议
2020-08-06 11:09:40
10657
原创 消息中间件(RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ等)的定义、组成、特点、优缺点、应用场景&面试题
大家都参与过网上电商平台的秒杀活动吧，一般的秒杀活动辄几百万的参与人数，而“双十一”的参与人数更是已“亿”为计量单位。那么这些电商平台的系统架构是怎样的，它们是如何做到承担每秒几万、几十万的并发访问请求的，所有的请求都是直接落到数据库的吗？当然，数据库不可能承担如此高的负载请求，那这些系统架构引入了哪些“大杀器”呢？这篇文章将讲解其中的关键技术之一消息中间件，并在文章中进一步对消息中间件做详细的讲解。1. 消息队列1.1什么是消息队列消息队列（Message queue，简称MQ），是指利用
2020-08-03 14:59:49
4663
原创 shell脚本解决scp需要输入密码问题
场景：客户要求把96服务器上的数据复制到86服务器上，但是要自动复制，不要人为干预，然后我就登录96服务器，使用ssh命令，登录到86服务器，发现需要输入密码，要想写shell脚本，使用scp命令复制数据的话，需要手动输入密码。基于此场景，有两个方案。方案一：96和86服务器配置免密登录步骤：1.生成无密码的密钥对ssh-keygen -t rsa一路回车2.将公钥添加到本地认证文件中cat /root/.ssh/id_rsa.pub >> /root/.ssh/
2020-07-15 16:00:35
13987
原创 Mysql到Hbase数据实时增量同步案例（框架：MySQL-binlog+Maxwell+Kafka+python+Hbase）
导语之前写过几篇博客（canal与Maxwell比较、Kafka、hbase等），有童鞋私信我，问我如何通过MySQL binlog数据同步到其他数据库（比如：Hbase、Hive等），今天我就这里做一个案例实践操作。系统环境CentOS Linux、JDK、zookeeper、kafka、Maxwell、MySQL、Hbase本次可以学习如下知识：1)、MySQL binlog启用配置与使用2)、binlog查看提取方案maxwell3)、zookeeper基本使用4)、K
2020-07-10 12:23:42
2087
原创 Kettle连接Oracle
kettle通过域名或者IP连接Oracle，因为今天可以要求把数据库由原来的MySQL切换到Oracle，历史数据的迁移。本篇博客主要讲解kettle连接Oracle数据库。本机不需要安装Oracle，但是要把Oracle的驱动jar包复制到kettle的lib目录下：Oracle驱动jar包：（包括：ojdbc5.jar、ojdbc6.jar、ojdbc7.jar、ojdbc8.jar、ojdbc10.jar、ojdbc14.jar）链接: https://pan.baidu.com/s/1DM
2020-07-06 14:11:26
23728
20
原创 什么是网络爬虫？爬虫有什么好处？
简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。你可以简单地想象：每个爬虫都是你的「分身」。就像孙悟空拔了一撮汗毛，吹出一堆猴子一样。你每天使用的百度，其实就是利用了这种爬虫技术：每天放出无数爬虫到各个网站，把他们的信息抓回来，然后化好淡妆排着小队等你来检索。抢票软件，就相当于撒出去无数个分身，每一个分身都帮助你不断刷新 12306 网站的火车余票。一旦发现有票，就马上拍下来，然后对
2020-06-30 10:47:58
5249
原创 Eclipse启动失败原因与解决办法
今天启动eclipse时，发现启动不了，并报错A Java Runtime Environment(JRE) or Java Development Kit(JDK) must be available in order to run Eclipse.....打开eclipse.ini解决办法：打开eclipse.ini添加如下内容：（换成你的jdk目录）-vmE:\Java\jdk1.8\bin\javaw.exe-vmE:\Java\jdk1.8\jre\b
2020-06-19 10:25:53
6289
1
原创 MySQL-binlog日志（日志管理&案例：使用binlog日志进行数据恢复）
Binlog概念Binlog其实是（binary log）MySQL的二进制日志，以二进制的形式记录了对于数据库的变更操作，不包括select和show操作。用来查看MySQL变更 MySQL的备份恢复 MySQL的主从复制文件位置Binlog默认放置在数据目录下Binlog的命名方式mysql-bin.000001binlog文件的生成方式MySQL启动的时候会产生binlog MySQL服务器在执行flush logs；可以产生新的binlog文件关于binlog的
2020-05-30 21:10:36
7167
原创 CDH6.3.1安装
CDH6.3.1安装遇到很多问题，我想主要是由于条件有限，毕竟自己的电脑内存不如专业集群的内存大（如果是内存和硬盘充足，有些是可以避免的，甚至不会出现报错的情况），这里就介绍一下我用VMware安装的虚机中搭建CDH集群的辛酸历程。为了避免多次、重复安装不成功，所以需要具备以下条件：1. 内存要足够大我的电脑内存是8G：使用虚拟机安装Cloudare server：4GCloudare agent：分别为1G电脑最后很卡，而且内存98%。官方推荐最小内存为10G，所以最好还是听从官方的建...
2020-05-28 17:16:46
4590
2
原创 9 DataNodes are required for the erasure coding policies: RS-6-3-1024k
刚装的CDH6.2.1版本的集群172.30.81.203 manager172.30.81.204 node1172.30.81.205 node2172.30.81.206 node3存在隐患：9 DataNodes are required for the erasure coding policies: RS-6-3-1024k.The number of DataNodes is only 3.解决方案使用RS-6-3-1024k编码纠删码策略至少需要9个DataNode
2020-05-26 14:50:22
8009
6
原创 kettle在Linux上的安装、案例，调优
2.4 Linux下安装使用2.4.1 单机1)jdk安装2)安装包上传到服务器，解压注意：1. 把mysql驱动拷贝到lib目录下 2. 将本地用户家目录下的隐藏目录C:\Users\自己用户名\.kettle，整个上传到linux的家目录/home/atguigu/下3)运行数据库资源库中的转换：[atguigu@hadoop102 data-integration]$./pan.sh -rep=my_repo -user=admin -pass=admin ...
2020-05-24 14:56:12
1873
1
原创 kettle在windows上安装与实践案例
第1章 kettle概述1.1 什么是kettleKettle是一款开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。1.2 Kettle核心知识点1.2.1 Kettle工程存储方式1) 以XML形式存储2) 以资源库方式存储(数据库资源库和文件资源库)1.2.2 Kettle的两种设计简述：Transformation（转换）：完成针对数据的基础转换。 Job（作业）：完成整个工作流的控制。...
2020-05-24 00:12:28
2276
原创 MapReduce经典4幅图（数据流向图、word count过程图、shuffle工作流程图（map端、reduce端）、MapReduce原理图）
MapReduce经典4幅示意图第一幅示意图：数据流向图数据流首先进行了分片（与HDFS的分块大小一致），然后每个分片会分配给一个map进行处理，之后针对reduce的数量产生对应的输出分片，这里原先的分片顺序会打乱，类似于洗牌，之后分别交给reduce处理后输出结果。第二幅示意图：word count过程图将input的文件拆分成splits，由于测试用的文件较小，所以每个文件作为一个split，并将文件按行分割。这一步由mapreduce框架自动完成。 将分割好的文件交给用户定
2020-05-20 17:08:06
3463
原创 Kafka安装与验证
把kafka_2.11-0.10.1.0.tgz上传到/usr/hadoop目录下：命令：rz解压：tar -zxvfkafka_2.11-0.10.1.0.tgz配置环境变量 /etc/profile使环境变量生效source /etc/profilecpserver.propertiesserver1.propertiescpserver.propertiesserver2.properties修改/kafka_2.11-0.10.1.0/config下的serve...
2020-05-20 12:52:45
1827
2
原创 Hive之系统内置函数&自定义函数（UDF、UDAF、UDTF）介绍和案例（附带完整代码）、IDEA运行Hive
1.1 系统内置函数1．查看系统自带的函数hive (default)> show functions;2．显示自带的函数的用法hive (default)> desc function upper;3．详细显示自带的函数的用法hive (default)> desc function extended upper;1.2 自定义函数1）Hive 自带了一些函数，比如：max/min 等，但是数量有限(大概二、三百个)，自己可以通过自定义 UDF来方便的
2020-05-13 12:31:34
2160
原创 Hive之查询JOIN、排序（order by、sort by、distribute by、cluster by）、分桶&分桶抽样查询、窗口函数及案例
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select查询语句语法：[WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only availablestarting with Hive 0.13.0)SELECT [ALL | DISTINCT] select_expr, select_expr, ...FROM table_re
2020-05-11 18:51:36
1330
原创 Maxwell与Canal
一、Canal和Maxwell对比抉择Canal（是阿里的一个中间件组件）https://github.com/alibaba/canal（服务端，需要一个客户端来配合）https://github.com/Hackeruncle/syncClient（客户端）Maxwell（一个老外写的，开源的）https://github.com/zendesck/maxwell官网：...
2020-04-28 12:33:33
4141
原创 Nifi介绍、安装、实践案例
第1章NiFi基本概念1.1 概述简单地说，NiFi是为了自动化系统之间的数据流而构建的。虽然术语“数据流”在各种环境中使用，但我们在此处使用它来表示系统之间自动化和管理的信息流。这个问题空间一直存在，因为企业有多个系统，其中一些系统创建数据，一些系统消耗数据。已经讨论并广泛阐述了出现的问题和解决方案模式。企业集成模式中提供了一个全面且易于使用的表单。NiFi的诞生，要致力于解决的问题...
2020-04-26 10:57:05
5768
原创 Hive集群安装（3个节点）-基于Hadoop
接我上一篇文章《Hadoop集群安装（3个节点）》，写上篇文章以及本篇文章的原因是：使用NiFi解决两个需求，需求一：导出MySQL数据转换为Json串并保存到本地需求二：导出Hive数据转换为csv并保存到HDFS需求一还是很容易实现的，只需要安装NiFi（下篇文件介绍安装&使用）、MySQL就可以实现了。由于是在外做项目（青岛RRS物流），没有在公司那么方便，虽然公司也...
2020-04-26 10:17:18
5378
5
原创 Hive行转列[一行拆分成多行/一列拆分成多列]
hive有张表armmttxn_tmp，其中有一个字段lot_number，该字段以逗号分隔开多个值，每个值又以冒号来分割料号和数量，如：A3220089:-40,A3220090:-40,A3220091:-40,A3220083:-40,A3220087:-40,A3220086:-40,A3220088:-40,A3220084:-40,A3220081:-40,A3220082:-40,A3220092:-40,A3220093:-40,A3220085:-40,A3220094:-40。
2023-09-14 14:07:19
332
原创 StarRocks企业级数据库
StarRocks是新一代极速全场景MPP数据库StraRocks充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果，在业界实践的基础上，进一步改进优化、升级架构，并增添了众多全新功能，形成了全新的企业级产品。StarRocks致力于构建极速统一分析体验，满足企业用户的多种数据分析场景，支持多种数据模型(明细模型、聚合模型、更新模型)，多种导入方式（批量和实时），可整合和接入多种现有系统(Spark、Flink、Hive、 ElasticSearch)。
2023-08-11 17:09:42
413
原创 大厂容器云实践之路（三）
• 优点- 进程内隔离，消耗资源最⼩- ⽆感扩容&缩容，⽤户⽆成本- Health&Redispatch，升级切换⽆成本• 缺点- ⽆法提供独⽴的namespace- ⽆法Build&Ship&Run。
2023-08-09 11:36:25
90
原创 大厂容器云实践之路（二）
命令无法使用(nt found)命令无法使用(not found等)命令无法正常工作(iptables,drop cache等)命令运行结果不一致(aufs,dm,overlay等)性能优化（镜像架构，编排调度，资源池等）运行规模(多租户，节点数，POD数等）掌控底层及SDN网络技术的必要性线上互联网产品稳定运行多年更多服务容器化（业界领先RDS，日志,安全等）
2023-08-08 10:00:16
102
原创 正则表达式语法
95|98|NT|2000)' 匹配"Windows 3.1"中的 "Windows"，但不匹配"Windows 2000"中的"Windows"。例如，"n"匹配字符"n"。例如，"o{2,}"不匹配"Bob"中的"o"，而匹配"foooood"中的所有 o。例如，"er\b"匹配"never"中的"er"，但不匹配"verb"中的"er"。例如，"[^abc]"匹配"plain"中"p"，"l"，"i"，"n"。"er\B"匹配"verb"中的"er"，但不匹配"never"中的"er"。
2023-08-02 15:59:14
72
原创 Hive之窗口函数lag()/lead()
例如查询2023-01-10这天的数据，也就是从2023-01-10这天往前数三天，看这三天的数据中amount是否连续增长，表中1001就不是，1002则符合。通过这两个函数可以在一次查询中取出同一字段的前N行的数据(lag)和后N行的数据(lead)作为独立的列,从而更方便地进行进行数据过滤，该操作可代替表的自联接，且效率更高。表示lag()与lead()操作的数据都在over()的范围内，里面可以使用以下子句。lead()函数与lag()函数相反，用于统计窗口内往下第n行值。2、比较相邻行的数据。
2023-07-26 14:16:10
1324
原创 MySQL原理探索——31 误删数据后除了跑路，还能怎么办
在前面几篇文章中，介绍了 MySQL 的高可用架构。当然，传统的高可用架构是不能预防误删数据的，因为主库的一个 drop table 命令，会通过 binlog 传给所有从库和级联从库，进而导致整个集群的实例都会执行这个命令。虽然我们之前遇到的大多数的数据被删，都是运维同学或者 DBA 背锅的。但实际上，只要有数据操作权限的同学，都有可能踩到误删数据这条线。今天我们就来聊聊误删数据前后，我们可以做些什么，减少误删数据的风险，和由误删数据带来的损失。
2023-07-18 16:24:45
64
原创 MySQL原理探索——30 答疑文章（二）：用动态的观点看加锁
在第20和21篇文章中，介绍了 InnoDB 的间隙锁、next-key lock，以及加锁规则。今天这篇答疑文章的主题，即：用动态的观点看加锁。为了方便理解，我们再一起复习一下加锁规则。这个规则中，包含了两个“原则”、两个“优化”和一个“bug”：原则 1：加锁的基本单位是 next-key lock。希望你还记得，next-key lock 是前开后闭区间。原则 2：查找过程中访问到的对象才会加锁。
2023-07-12 09:53:04
88
原创 MySQL原理探索——29 如何判断一个数据库是不是出问题了
在第25和27篇文章中，介绍了主备切换流程。通过这些内容的讲解，你应该已经很清楚了：在一主一备的双 M 架构里，主备切换只需要把客户端流量切到备库；而在一主多从架构里，主备切换除了要把客户端流量切到备库外，还需要把从库接到新主库上。主备切换有两种场景，一种是主动切换，一种是被动切换。而其中被动切换，往往是因为主库出问题了，由 HA 系统发起的。这也就引出了我们今天要讨论的问题：怎么判断一个主库出问题了？你一定会说，这很简单啊，连上 MySQL，执行个 select 1 就好了。
2023-07-11 09:44:43
115
原创 MySQL原理探索——28 读写分离有哪些坑
在上一篇文章中，介绍了一主多从的结构以及切换流程。今天我们就继续聊聊一主多从架构的应用场景：读写分离，以及怎么处理主备延迟导致的读写分离问题。我们在上一篇文章中提到的一主多从的结构，其实就是读写分离的基本结构了。这里，我再把这张图贴过来，方便你理解。读写分离的主要目标就是分摊主库的压力。图 1 中的结构是客户端（client）主动做负载均衡，这种模式下一般会把数据库的连接信息放在客户端的连接层。也就是说，由客户端来选择后端数据库进行查询。
2023-07-10 15:15:10
248
原创 MySQL原理探索——27 主库出问题了，从库怎么办
在前面的第24、25和26篇文章中，介绍了 MySQL 主备复制的基础结构，但这些都是一主一备的结构。大多数的互联网应用场景都是读多写少，因此你负责的业务，在发展过程中很可能先会遇到读性能的问题。而在数据库层解决读性能问题，就要涉及到接下来两篇文章要讨论的架构：一主多从。今天这篇文章，我们就先聊聊一主多从的切换正确性。然后，我们在下一篇文章中再聊聊解决一主多从的查询逻辑正确性的方法。如图 1 所示，就是一个基本的一主多从结构。
2023-07-10 14:42:56
196
原创 MySQL原理探索——26 备库为什么会延迟好几个小时
在上一篇文章中，介绍了几种可能导致备库延迟的原因。你会发现，这些场景里，不论是偶发性的查询压力，还是备份，对备库延迟的影响一般是分钟级的，而且在备库恢复正常以后都能够追上来。但是，如果备库执行日志的速度持续低于主库生成日志的速度，那这个延迟就有可能成了小时级别。而且对于一个压力持续比较高的主库来说，备库很可能永远都追不上主库的节奏。这就涉及到今天我要给你介绍的话题：备库并行复制能力。为了便于你理解，我们再一起看一下第 24 篇文章《MySQL 是怎么保证主备一致的？》的主备流程图。
2023-07-10 14:08:13
139
原创 关注个人信息安全
近日，某高校毕业生在校期间窃取学校内网数据，收集全校学生个人隐私信息的新闻引发了人们对互联网生活中个人信息安全问题的再度关注。在大数据时代，算法分发带来了隐私侵犯，在享受消费生活等便捷权利的同时，似乎又有不少个人信息泄露的担忧。
2023-07-04 14:43:16
109
原创 MySQL原理探索——25 MySQL是怎么保证高可用的
在上一篇文章中，介绍了 binlog 的基本内容，在一个主备关系中，每个备库接收主库的 binlog 并执行。正常情况下，只要主库执行更新生成的所有 binlog，都可以传到备库并被正确地执行，备库就能达到跟主库一致的状态，这就是最终一致性。但是，MySQL 要提供高可用能力，只有最终一致性是不够的。为什么这么说呢？今天就着重分析一下。这里，我再放一次上一篇文章中讲到的双 M 结构的主备切换流程图。
2023-07-04 10:24:29
150
元旦倒计时代码，更改上面的日期，以后年年都可以用
2022-12-14
ubuntu安装.docx
2020-07-30
HPL语法.docx
2020-07-30
Inceptor SQL语法.docx
2020-07-30
ER-图知识点归纳.docx
2020-07-30
Apache Kafka的流式SQL引擎——ksql.docx
2020-07-30
Redis指南.docx
2020-07-30
kudu1.6RPM安装包.rar
2020-06-19
什么是一致性.docx
2020-04-08
关于#测试#的问题，如何解决？
2023-06-15
如何使用kettle，程式创建临时表，里面的内容是创建表？
2023-06-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人