自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(441)
  • 收藏
  • 关注

原创 用途和发布内容等说明

因为个人原因,博客更新时间不定,而且用于个人学习复习,不做其他用途。在空闲时间会把以前写的学习笔记陆续放上来,顺序不定。如果出现问题请联系我改正,知识点理解错误的地方请一定联系我讨论互相学习,如果出现看不懂但知识点没错的地方,请自行理解。谢谢...

2019-09-05 21:35:33 269 4

原创 HDFS原理及使用

HDFS(Hadoop Distributed File System),Hadoop的分布式文件系统,它是一种允许文件通过网络在多台主机上分享的文件系统,可以让多台机器上的多个用户分享文件和存储空间,其实分布式文件管理系统有很多,HDFS只是其中一种实现而已,还有GFS(谷歌的)、TFS(淘宝的)、S3(亚马逊的),不同的分布式文件系统的特点是不一样的,HDFS是一种适合大文件存储的分布式文件系统,不适合小文件存储,什么叫小文件,例如,几KB,几M的文件都可以认为是小文件。

2024-07-22 00:10:06 1058

原创 Hadoop版本演变、分布式集群搭建

在实际工作中不建议直接连接集群中的节点来操作集群,直接把集群中的节点暴露给普通开发人员是不安全的,建议在业务机器上安装Hadoop,只需要保证业务机器上的Hadoop的配置和集群中的配置保持一致即可,这样就可以在业务机器上操作Hadoop集群了,此机器就称为是Hadoop的客户端节点,Hadoop的客户端节点可能会有多个,理论上是我们想要在哪台机器上操作hadoop集群就可以把这台机器配置为hadoop集群的客户端节点。非对称加密会产生秘钥,秘钥分为公钥和私钥,在这里公钥是对外公开的,私钥是自己持有的。

2024-06-28 22:07:15 1309

原创 Linux常用命令、基本配置、shell基本语法整合

Linux常用命令的使用Linux文件系统 和 Windows文件系统目录:Windows是分C盘、D盘、E盘…的,但是在Linux中是有一个最大的目录,称之为根目录,用 / 表示,根目录下面会有很多子目录,这些子目录其实可以理解为windows中C盘、D盘、E盘。不同的子目录具有不同的含义,存放不同类型的文件信息。bin 存放二进制可执行文件(ls,cat,mkdir等)boot 存放用于系统引导时使用的各种文件dev 存放设备文件etc 存放系统配置文件home 存放所有用户文件的根目

2024-06-24 07:59:13 1174

原创 物理存储的类型、存储网络架构(DAS、NAS、SAN)

个人看书学习心得及日常复习思考记录,个人随笔。

2024-04-01 23:49:08 1279

原创 数据仓库的基本概念、基本特征、体系结构

个人看书学习心得及日常复习思考记录,个人随笔。

2024-03-13 01:05:52 2024

原创 数据处理分类、数据仓库产生原因

在关系型数据库中,一个事务可以是一条SQL语句、一组SQL语句或者整个程序。

2024-03-06 00:29:42 1731

原创 如何使用oracle数据库的length()、lengthb()、replace()、regexp_substr()函数

【代码】如何使用oracle数据库的length()、lengthb()、replace()、regexp_substr()函数。

2023-09-16 16:40:25 1083

原创 ETL与ELT理解

ELT( Extract-Load-Transform),在ELT架构中,数据的整个加工过程都在目标和源的数据库之间流动,ELT协调相关的数据库系统来执行相关的应用,数据加工过程既可以在源数据库端执行,也可以在目标数据仓库端执行(主要取决于系统的架构设计和数据属性)。在实际场景中这两种模式普遍是共存的。对于数据体量较大而且转换逻辑比较复杂的场景可以采取ELT处理,例如前面提到的数据加密场景。2、加载流程就和ETL不一样了,T和L进行了位置置换,这里是先加载到目标系统,大家也可以理解成是数据入了数仓。

2023-09-16 15:33:39 435

原创 GreenPlum的gpfdist使用与原理流程分析

1、insert 该方式通过 sql 语句,把数据一条一条插入至表中。这种方式,不仅读取数据慢(一条一条读取),且数据需要经过 master 节点后再分发给所有 segment,所以 master 制约着导入性能。2、copy 该方式实现了数据的批量读取,但数据依然需要通过 master 节点,所以 master 制约着导入性能,无法实现并行、高效的数据加载。3、gpfdist 该方式使用 gpfdist 协议,segment 与 数据源直连,数据读取后直接发送给每个 segment。

2023-09-01 18:52:32 1486

原创 MapReduce基础原理、MR与MPP区别

MapReduce(MR)本质上是一种用于数据处理的编程模型;MapReduce用于海量数据的计算HDFS用于海量数据的存储(Hadoop Distributed File System,Hadoop分布式文件系统)。Hadoop MapReduce 是一个编程框架,Hadoop环境中,可运行用各种语言编写的MapReduce程序,用于创建在大型商用硬件集群上处理大量数据的应用程序,类似于JRE环境,可以在这个架构下开发应用程序。MapReduce 程序本质上并行,本质是通过并行计算提升算力。

2023-08-06 01:43:21 1428

原创 三种数据库架构模式

用的是共享存储,做到了数据共享,可通过增加节点来提高并行处理的能力,扩展能力较好,使用Storage Area Network (SAN),光纤通道连接到多个服务器的磁盘阵列,降低网络消耗,提高数据读取的效率,常用于并发量较高的OLTP应用。,位于不同服务器系统的DM实例同时访问同一个数据库,节点之间通过私有网络进行通信,所有的控制文件、联机日志和数据文件存放在共享的设备上,能够被集群中的所有节点同时访问。,并行处理能力是最差的,一般不考虑大规模的并发需求,架构比较简单,一般的应用需求基本都能满足。

2023-07-24 20:09:06 449

原创 MPP基础原理

最近忙于工作,有一段时间没更新自己的博客了,也就意味着囤积了一波需要梳理总结并记录的知识点,但可以保证的是所有都是零星的知识点,不会涉及工作内容。MPP (Massively Parallel Processing),即大规模并行处理。

2023-07-15 15:49:09 3325

原创 PostgreSQL清理dead tuples(vacuum和vacuum full)

PostgreSQL的并发控制,采用MVCC(多版本并发控制)进行处理。这种机制有一个缺点:随着时间的推移,数据文件中积累的dead tuples(死数据/死元组)会越来越多。在清理dead tuples时,系统有两种处理方式:vacuum 和 vacuum full。

2023-06-05 00:16:14 2927

原创 阵列卡缓存 RAID Cache

磁盘阵列(Redundant Arrays of Independent Drives,RAID),有“独立磁盘构成的具有冗余能力的阵列”之意。RAID卡电路板上的一块存储芯片,与硬盘盘片相比,具有极快的存取速度,实际上就是相对低速的硬盘盘片与相对高速的外部设备(例如内存)之间的缓冲器。缓存的大小与速度是直接关系到RAID卡的实际传输速度的重要因素,大缓存能够大幅度地提高数据命中率从而提高RAID卡整体性能。多数RAID卡都配备了一定数量的内存作为高速缓存使用。

2023-06-04 23:25:22 4667

原创 PostgreSQL FDW

pg .11开始,可以用下面语句导入表定义--导入全表 IMPORT FOREIGN SCHEMA foreign_films FROM SERVER film_server INTO films;--只导入部分字段 IMPORT FOREIGN SCHEMA foreign_films LIMIT TO(id , name) FROM SERVER film_server INTO films;

2023-05-30 21:37:03 2097

原创 OLTP与OLAP数据库

没有绑定变量的SQL会对OLTP数据库造成极大的性能影响之外,还有一些因素也会导致数据库的性能下降,比如热块(hotblock)的问题,当一个块被多个用户同时读取的时候,OLTP为了维护数据的一致性,需要使用一种称为Iatch的东西来串行化用户的操作。因为这些区别,在数据库设计的阶段,弄清楚数据库类型是至关重要的,只有在这个前提之下,才能够讨论数据库的具体设计,否则设计必然是盲目的,或者说设计出来的数据库可能造成瘫痪,系统资源严重被使用,系统过负荷运行,或者造成严重的等待事件。

2023-05-20 10:12:08 974

原创 数据全生命周期管理

所谓的数据热度,根据价值密度、访问频次、使用方式、时效性等级,将数据划分为热数据、温数据、冷数据和冰数据。数据热度应随着时间的推移,数据价值会变化,应动态更新数据热度等级,推动数据从产生到销毁数据生命周期管理。

2023-05-20 09:07:42 1104

原创 离线安装Percona

安装还是比较简单,这边简单进行记录一下。

2023-05-08 06:06:27 627

原创 MySQL集群方案总结与方案原理

在给自己做着玩的一个项目准备数据库集群,顺带自己大致系统复习并记录一下。

2023-05-03 03:00:53 2003

原创 在KylinV10上使用DTS进行mysql8迁移至DM8

1.分析待移植系统,确定移植对象。2.通过数据迁移工具 DTS 完成常规数据库对象及数据的迁移。3.通过人工完成 MSQL 的移植。4.移植完成后对移植的结果进行校验,确保移植的完整性和正确性。5.对应用系统进行移植、测试和优化。

2023-05-01 04:47:27 850 1

原创 DM8创建表空间、创建用户、创建数据库对象

进入数据库安装路径 /tool 目录下,运行 ./manager 即可启动 DM 管理工具。

2023-05-01 00:19:59 446

原创 在KylinV10安装DM8、卸载DM8

因为近期,业外和几个朋友想搞点有趣的项目玩玩,既然不以盈利为主,就> 主推国产化,所以这篇记录一下,我在KylinV10安装dm8.最近真的很忙,要负责专研一下国产化工具开发的事,还要负责tb级的集群系统异构迁移,私下和朋友还搞点研究性项目随意玩玩,所以写的博客可能有所披露,希望指正。注意dm8试用版只有一年试用期,所以开发版建议下载日期最新的,不然最后初始化实例时,你会发现都快过期了下载。

2023-04-27 09:41:10 1790

原创 使用natapp进行前后端远程联调

近期,和几个朋友业余搞点原创科技项目来玩玩,因为都是线上沟通,和远程开发,前后端联调不在一个局域网内,开发时,前后端相关人员都是居家远程联调,这边采用的简单的解决方案:隧道技术+内网穿透,简单处理了。记录一下话不多说,这边我用的工具是:natapp。会有的朋友可以直接跳过了首先,去官网注册一下,免费的注册完后,这边相关法律规定,需要实名免费购买隧道配置你映射到你本地的端口确定你本地的服务的正常运作的下载客户端到本地找你对应的版本在natapp.exe同级目录下新建config.ini。

2023-04-25 15:06:14 1340 2

原创 结合实际谈谈个人对代码优化的感想以及java优化

本来想写一篇结合在实际工作中,自己去优化java代码的文章,用于记录便于复习提升自己的;合理的设计是必须的,但是在时间不允许的情况下,不要过早的去过分优化你的代码,首先保证它正常运行且无严重bug,其次是保证你的开发任务交付,是否满足实际的需求,再然后考虑代码的可读性,最后整体下来,利用个人时间去优化自己的代码,做到对自己负责和对你写的系统代码负责!在软件工程领域,有个词叫做「过早优化」。

2023-04-09 00:43:05 703

原创 mysql性能优化之explain分析执行计划

在实际工作中,如果已经定位到某些具体的sql需要进行explain分析进而优化,可以直接使用explain+sql来分析其执行计划;如果还不能确定是哪些具体的sql语句需要进行explain分析进而优化,那么我们可以首先要定位哪些sql查询慢,性能低,消耗高;使用explain分析执行计划实际上是:模拟优化器执行SQL语句;分析你的查询语句或是结构的性能瓶颈,使用方式explain 需要分析的查询sql。

2023-04-01 18:36:51 732

原创 mysql性能优化之慢查询

想记录一些mysql性能优化,但是因为空闲时间以及相关知识点怕记录的过于片面,不够全面,所以一直耽搁了;下面文章是在自己学习服务器上运行的,与实际工作内容无关;mysql官方有很多关于慢查询的文章,我个人还是首推去官网阅读学习;mysql官网一些相关慢查询日志的文章一般情况下,如果不需要进行调优,建议关闭,不要开启慢查询,因为开启慢日志功能在一定程度上会影响到数据库的性能,在完成 SQL 优化后应当及时关闭这个功能。

2023-04-01 16:39:52 431

原创 关于information_schema.tables查询业务SCHEMA中表数量和表容量不准确问题

查阅mysql官网The INFORMATION_SCHEMA TABLES Table英语翻译大概就是这个意思:那么通过information_schema.tables查询表容量会如何了?与实际值相差甚多;为什么会如此了?

2023-04-01 13:19:48 2173

原创 在KylinV10上离线把tomcat8.5.78平滑升级至9.0.73

Apache Tomcat存在安全漏洞(CVE-2023-28708),致用户代理通过不安全的通道传输会话cookie,攻击者利用此漏洞可实现信息泄露。影响范围:Apache Tomcat 11.0.0-M1 至 11.0.0-M2Apache Tomcat 10.1.0-M1 至 10.1.5Apache Tomcat 9.0.0-M1 至 9.0.71Apache Tomcat 8.5.0 至 8.5.85。

2023-03-24 02:09:23 1097

原创 sh脚本文件使用mysqldump备份与恢复,恢复views、function、procedure时踩坑与解决

mysql进行升级,或者数据库扩容,等等具有多种方式,其中有些方式会涉及到数据库备份和恢复;数据库备份有冷备、热备、温备,这篇不记录这些,主要记录实际工作中一次使用mysqldump备份后,数据库升级,然后恢复数据库,并且数据不丢失操作。后续有时间还会再记录在实际工作中实现一次平滑的数据库升级操作。生产环境条件真的很有限,不允许使用第三方工具,还要走很多申请单以及开放白名单等等操作,所以只能采用朴素且有效的方案去实行;自己回家顺手搭的,就是为了总结记录一下KylinV10离线安装mysql8.0.32。

2023-03-22 01:42:32 429

原创 KylinV10离线安装mysql8.0.32修改端口、修改密码、开发连接权限

记录在KylinV10上离线安装最新Mysql8.0.32,以及所遇坑。

2023-03-22 00:51:05 2469 1

原创 在KylinV10上离线安装jenkins实现自动部署

在安装jenkins前需要先安装jdk8。离线安装jenkins虽然简单,但是需要实现自动化部署,那么我们需要先安装jdk、maven、git,如果是war直接启动那么可以不需要tomcat,启动方式看你个人选择。在KylinV10上离线安装jdk、git、maven、tomcat。

2023-03-19 18:08:40 703

原创 重置 Winsock 目录解决电脑应用无法启动问题

前两天,因为部署测试环境,搞了一些无意操作,导致在内网域中我电脑的ip在该内网域内其它ip都能访问到,就只有这台服务器的ip访问不了;开始以为是服务器关机或者它出了什么问题,但是其它同事都能ping通,而且it设备组的告诉我,服务器正常;于是只能试试重启大法了,重启后,ip是能访问了,但是发现很多桌面应用无法使用了,有些应用会影响到工作,这不得不处理啊。抱着侥幸的心态,有一次试了试关机开机大法,还是不行。

2023-03-18 09:26:55 2770 1

原创 在KylinV10上离线安装jdk、git配置github账号、maven、tomcat

cd 到maven3.6.3目录下,并新建m.2。修改conf下的setting.xml配置。mv git的tar包到git目录下。解压git_xxxxx.tar.gz。mv到新建的git文件并改名为git。mv maven的tar包到该目录下。离线安装所以提前下载好所需要包上传。个人习惯改名以及合理放置。解压maven的tar包。新建一个maven目录。

2023-03-17 23:42:43 2285 2

原创 解决KylinV10 解决连不上网问题

在centos7安装银河麒麟高级服务器 V10 ,解决连不上网问题。将 DEVICE=eth0 改为 DEVICE=eth33(根据你)在vi编辑器中,按 i 进入插入模式。HWADDR=该系统的MAC地址。HWADDR=XXXXX 改为。查看ifcfg-eth0。

2023-03-17 00:27:17 14396

原创 基于 VMware 虚拟机安装银河麒麟高级服务器 V10 版本操作系统

公司开始推国产化改造,我也愿意大力支持国产化,银河麒麟就是国产操作系统中的优秀代表,随便整一个,后续在上面搞点东西玩玩。基于 VMware 虚拟机安装银河麒麟高级服务器 V10 版本操作系统,Linux内核。麒麟操作系统市场上目前有中标麒麟、银河麒麟、优麒麟…,一般军用上的大多数都是银河麒麟,民用用中标。中标麒麟:历史可以追溯至1989年中软发布的类UNIX操作系统COSIX;1999年中软发布中软Linux(COSIX Linux);

2023-03-17 00:04:50 1387 1

原创 mysql中information_schema相关表介绍、COLUMNS表说明

在MySQL中,information_schema 可以理解为信息数据库;在INFORMATION_SCHEMA中,有数个只读表。它们实际上是视图,而不是基本表,因此,你将无法看到与之相关的任何文件。如数据库名,数据库的表,表栏的数据类型与访问权限等等。

2023-03-15 20:08:32 2270

原创 关于window中nginx配置文件路径因/或\访问不到路径问题记录

怎么说了,虽然问题虽小,但因为问的人多了,可能由于大家都没太注意这些细节,所以写成博客记录一下!

2023-03-14 17:22:13 2530

原创 数据库体系结构概念--集中式数据库、分布式数据库

平时我们接触的‘数据库’一般指的是DBMS,数据库管理系统,DBMS是软件如:mysql、oracle、dm等等都是集中式数据库,但它们不能代表整个数据库,只是通过这些软件来管理相应的数据内容;集中式数据库分布式数据库。

2023-03-12 18:04:13 4293

原创 文件管理---索引文件结构、位示图、树形目录结构

15号磁盘块:因为磁盘块从第0号字的第0号位开始,序号和实际位置相差:1 - 0 ,实际位置:16,且一个字占16位,1516,33/16 = 2 余 1,所以在2号字的1号位上;图中有16个字,每个字占16位,且磁盘序号是从0开始的,如果要分配15号、32号磁盘,它们在第几个字的第几位了?

2023-03-12 12:30:08 5161 1

jenkins离线部署套装(你需要的它都有)

jenkins离线部署套装(你需要的它都有)

2023-03-19

Linux系统离线安装git套装

Linux系统离线安装git套装

2023-03-19

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除