自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(129)
  • 收藏
  • 关注

原创 NameNode故障后如何恢复数据

(4)如果SecondaryNameNode不和NameNode在一个主机节点上,需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录,并删除in_use.lock文件。(2)删除NameNode存储的数据(/export/server/hadoop-3.3.0/data/tmp/dfs/name)(3)删除NameNode存储的数据(/export/data/hadoop-3.3.0/dfs/name)若有错误与不足请指出,关注DPT一起进步吧!

2024-12-05 21:43:36 246

原创 史上最全HDFS分布式文件系统总结——胆小勿入

大白话:你出5毛,我出5毛,一起凑成1块的过程专业版:相当于把多个机器的磁盘给打通,然后对外提供统一的访问端口,从而实现跨机存储。hadoop fs -put 文件名称 上传路径HDFS存储数据的时候,会对文件进行切块(Block数据块)另外要特别注意:数据块并不是一起上传的,而是一个一个上传的(串行写)普及:为什么要把分块大小设置为128MB问题:如果一个10M大小的文件,上传到HDFS集群,每个数据块有128MB,则这个10MB的文件在HDFS集群占用的空间大小?

2024-12-05 21:36:00 883

原创 24年某马最新大数据相关软件安装文档

还有一种情况:因为我们在配置文件中,指定的WebUI端口为node1:9870,HDFS在上传过程中默认校检你主机的名称是不是node1,如果你的文件来自于node1主机就允许上传,反之就不允许你上传!在node1的机器上配置完成后,需要将node1中的zookeeper目录复制到node2和node3的对应目录下,同时需要将基础环境配置步骤在node2和node3上重新执行一遍。以上操作完成后,把/export/server同步到其他所有的机器上,针对其他的两台机器也要进行环境变量配置。

2024-12-03 21:20:07 943

原创 24年某马最新Hadoop课程总结文档

Hadoop是Apache旗下的一个用java语言实现开源软件框架,是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。Hadoop基于Java实现 => JDKHadoop属于Apache基金会(ASF)下的一个开源框架 => 开源 + 免费Hadoop主要是对大数据集(数据量比较大 => 适合处理GB级别以上数据集)进行分布式(多台机器)处理。HDFS(分布式文件系统):解决海量数据存储。

2024-12-03 21:10:55 1099

原创 Yarn中的三个组件

通过这种分工,Hive 查询可以高效地运行在分布式集群上。

2024-12-03 16:27:56 723

原创 Shell脚本管理Hive

Shell脚本管理Hive

2024-11-27 11:10:08 72

原创 ansible从入门到精通(完整篇)

转自ansible从入门到精通(完整篇)01 Ansible介绍与安装1. 介绍 Ansible2. 安装 Ansible02 部署Ansible1. 构建Ansible清单2. 管理Ansible配置文件2.1 配置Ansible2.2 配置文件优先级2.3 管理配置文件中的设置2.4 配置连接2.5 配置文件注释3. 运行临时命令03 ansible常用模块04 playbook1. 实施playbook2. 实施多个play2.1 缩写多个play2.2 play中的远程用户和特权升级2.3 查找用于

2024-11-19 21:35:10 1086

原创 从闭包到类装饰器

当decorator1装饰器准备装饰函数时,返现里面也是个装饰器decorator2,就让decorator2装饰完,此时my_function就是decorator2返回的其内部的inner函数,再装饰decorator1。当 Python 解释器==加载模块时,装饰器会立即执行,并将被装饰的函数替换为装饰器返回的新函数。此时的 say_hello 函数,已经是被装饰过的了,是my_decorator函数返回的inner函数,func函数是原来的say_hello函数。

2024-11-06 18:32:49 910

原创 mysql中InnoDB索引与MyISAM索引

InnoDB 的聚簇索引和二级索引设计使其更适合事务处理和多用户并发访问,而 MyISAM 的非聚簇索引和全文索引支持使其在特定的读密集型应用中表现更佳。覆盖索引是优化查询性能的重要手段,通过创建合适的索引,可以显著提高数据库的查询效率。如果所需的全部列是A,C,但是有一个复合索引A,B,C,此时也不需要多余的回表查询,因为索引都包含所需数据。包含了查询中所需的全部列,因此查询可以直接从索引中获取数据,而不需要访问实际的数据行。如果查询中所需的三个列,它们各自都有索引,这个查询也不算覆盖索引查询。

2024-11-05 18:07:39 411

原创 迭代器与生成器

也可以创建自定义的可迭代对象,只需实现__iter__()方法并在其中返回一个迭代器对象。迭代器对象需要实现__next__()方法来定义如何逐个生成元素。else:# 使用自定义可迭代对象遍历print(num)在上述示例中,MyIterable类是一个自定义的可迭代对象,它的__iter__()方法返回了一个迭代器对象MyIterator。MyIterator类实现了__next__()方法来生成元素。通过使用for循环,可以遍历自定义的可迭代对象。

2024-11-04 16:41:01 717

原创 一道生成器的面试题

若有错误与不足请指出,关注DPT一起进步吧!

2024-11-04 16:20:57 102

原创 深入理解Python中的元类(metaclass)

原文连接一、类也是对象二、到底什么是元类(终于到主题了)三、__metaclass__属性四、自定义元类五、为什么要用metaclass类而不是函数?一、类也是对象在理解元类之前,你需要先掌握Python中的类。Python中类的概念借鉴于Smalltalk,这显得有些奇特。在大多数编程语言中,类就是一组用来描述如何生成一个对象的代码段。在Python中这一点仍然成立:复制代码但是,Python中的类还远不止如此。类同样也是一种对象。是的,没错,就是对象。

2024-11-01 13:54:59 608

原创 MySQL索引从基础到原理,看这一篇就够了

https://developer.aliyun.com/article/841106

2024-10-31 18:31:01 475

原创 Mysql数据库Buffer Pool缓冲池详解

Innodb 存储引擎设计了一个缓冲池(,来提高数据库的读写性能。Buffer Pool 以页为单位缓冲数据,可以通过参数调整缓冲池的大小,默认是 128 M。Free List (空闲页链表),管理空闲页;Flush List (脏页链表),管理脏页;LRU List,管理脏页+干净页,将最近且经常查询的数据缓存在其中,而不常查询的数据就淘汰出去。;将 LRU 链表 分为young 和 old 两个区域,加入缓冲池的页,优先插入 old 区域;

2024-10-31 10:58:51 918

原创 数据结构——树

若有错误与不足请指出,关注DPT一起进步吧!

2024-10-20 19:39:00 277

原创 数据结构——链表,哈希表

若有错误与不足请指出,关注DPT一起进步吧!

2024-10-19 14:25:05 420

原创 数据结构——python解决迷宫问题(深度优先和广度优先)

若有错误与不足请指出,关注DPT一起进步吧!

2024-10-18 16:39:57 430

原创 数据结构——栈和队列(python实现)

python中的对列表的插入删除(insert,remove)的时间复杂度为O(n)

2024-10-17 16:44:10 396

原创 算法——python实现归并排序

​ > 若有错误与不足请指出,关注DPT一起进步吧!!!

2024-10-16 12:02:31 335

原创 算法——python实现堆排序

python有一个内置的推排序模块,(在构建堆的时候,构建的是小根堆)若有错误与不足请指出,关注DPT一起进步吧!构造堆:从最后一个非叶子节点开始调整。关于二叉树的操作,其实核心就是。

2024-10-15 15:46:26 816

原创 算法——Python实现简单的查找排序

【代码】算法——Python实现简单的查找排序

2024-10-14 20:28:12 329

原创 Marshmallow——python中一个轻量级的数据格式转换的模块

官方文档:https://marshmallow.readthedocs.io/en/latest/Marshmallow,中文译作:棉花糖。是一个轻量级的数据格式转换的模块,也叫序列化和反序列化模块,常用于将复杂的orm模型对象与python原生数据类型之间相互转换。marshmallow提供了丰富的api功能。序列化[可以把数据对象转化为可存储或可传输的数据类型,例如:objects/object->list/dict,dict/list->string]

2024-10-13 12:41:29 828

原创 grpc的python使用

远程过程调用,是一种计算机通信协议,允许一个程序(客户端)通过网络向另一个程序(服务器)请求服务,而无需了解底层网络技术的细节。RPC协议抽象了网络通信的复杂性,使得开发者可以像调用本地函数一样调用远程服务器上的函数。RPC 框架负责屏蔽底层的传输方式(TCP 或者 UDP)、序列化方式(XML/Json/ 二进制)和通信细节,服务调用者可以像调用本地接口一样调用远程的服务提供者,而不需要关心底层通信细节和调用过程。

2024-10-12 17:50:11 702

原创 当Windows中已经下载了Mysql,MongoDb,Redis,WSL中下载必坑指南

建议根据官方先下载:https://www.mongodb.com/zh-cn/docs/manual/tutorial/install-mongodb-on-ubuntu/当在windows中安装并正在运行时,默认的端口好会被占用。如果wsl中的mongod启动状态,那么windows中也可以通过指定端口号连接。连接,会直接连接到windows下的mongod。若有错误与不足请指出,关注DPT一起进步吧!同理,是因为默认端口被占用,改变端口号即可。此时,应该会报错,就是由于端口被占用。

2024-10-11 19:56:41 792

原创 Ubuntu18.04 dpkg: 处理软件包 mysql-server-5.7 (--configure)时出错:子进程 已安装 post-installation 脚本 返回错误状态 1

上边第一条,会删掉挺多东西的,不建议运行,第二条说是卸载apparmor,不过apparmor是用来权限管理的,经查询也跟我的问题无关,想对apparmor进一步了解的,可以跳转。来查看是否卸载完全,若无输出则已卸载干净,而后重新安装mysql,悲催的是,我还是遇到了同样的问题,于是继续折腾,来到方法三。,我运行后还是同样的问题,在类似的博客评论下,看到有人说该条命令不建议运行,我运行倒是挺快的,也没出啥意外。方法二中,理论上来讲,已经把原有的MYSQL全部清理干净了,但是在我广泛撒网时,

2024-10-11 17:13:57 375

原创 鹦鸣app——服务端项目搭建

在项目运行时,框架本身会不断记录代码程序运行的日志错误,但是我们将来编写的业务逻辑也可能存在抛出异常的情况,这些异常和框架代码本身无关,如果都混在一起的话,对于找出错误,是没有帮助的。有了蓝图以后,接下来我们就可以把视图代码,模型代码,路由代码等存储到蓝图目录下了,但是我们需要把蓝图注册到app应用对象下,想想以后,是不是会出现很多的蓝图?所以暂时我们先进行pymongo的初始化。可以的,我们也可以封装注册蓝图的功能到一个函数中,让项目自动识别并注册蓝图,并自动加载蓝图下的所有内容。

2024-10-11 15:07:19 937

原创 WSL(Windows Subsystem for Linux)——简单的双系统开发

本人由于在开发中需要linux环境,同时还想要直接在Windows下开发,来提升开发效率,随即简单学习WSL。WSL(Windows Subsystem for Linux)是微软开发的一项技术,

2024-10-09 11:08:58 1970

原创 mongodb集群

分片键(Shard Key): 首先,你需要选择一个分片键,这通常是文档中的一个字段或多个字段的组合。分片键用于确定文档应该存储在哪个分片上。数据分裂(Splitting): 当文档被插入到一个分片中时,如果该分片上的数据量达到一定阈值(由chunkSize控制),那么这个分片就会被分裂成两个或更多的新分片。数据迁移(Migration): 分片集群中的平衡器(balancer)会监控数据分布,并自动将分片从一个分片移动到另一个分片,以保持数据的均衡分布。

2024-10-08 12:28:38 1588

原创 python操作mongodb

在python当中,一般常用于开发中操作monoDB的模块无非三个:pymongo, mongoengine(相当于mysql中的sqlalchemy), moter。moter是python中基于pymongo实现的异步操作库,类似于aiomysql,aiomysql也是python基于pymysql实现的异步库。若有错误与不足请指出,关注DPT一起进步吧!

2024-10-08 09:43:25 483

原创 MongoDB基础

MongoDB 是由C++语言编写并基于分布式文件存储的开源数据库,属于NOSQL。MongoDB 是一款介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的NOSQL数据库。它面向文档存储,而且安装和操作起来都比较简单和容易,而且它支持各种流行编程语言进行操作,如Python,Node.js,Java,C++,PHP,C#等。目前在大数据、内容管理、持续交付、移动应用、社交应用、用户数据管理、数据中心等领域皆有广泛被使用。

2024-10-07 20:36:12 1353

原创 Flask-3

ORM 全拼,中文意为 对象-关系映射。主要实现模型对象到关系数据库数据的映射。ORM提供了一种面向对象操作数据库的方式给开发者。不需要编写原生SQL语句也能操作数据库,实现了业务代码与底层数据的解耦。优点:缺点:flask默认不提供模型操作,但是并没有提供ORM,所以一般开发的时候我们会采用flask-SQLAlchemy模块来实现ORM操作。SQLAlchemy是一个python语言编写的高性能的关系型数据库ORM框架,它提供了高层的 ORM 和底层的原生数据库的操作。我们使用sqlalchemy 不需

2024-10-03 11:41:10 1957

原创 Flask-2

Flask-Script 还可以为当前应用程序添加脚本命令1. 引入Command命令基类2. 创建命令类必须直接或间接继承Command,并在内部实现run方法或者__call__()方法,同时如果有自定义的其他参数,则必须实现get_options方法或者option_list属性3. 使用flask_script应用对象manage.add_command对命令类进行注册,并设置调用终端别名。# 配置})"""使用flask_script启动项目"""

2024-09-30 15:50:42 1346

原创 Flask-1

路由和视图的名称必须全局唯一,不能出现重复,否则报错。# 1. 导入flask核心类# 2. 初始化web应用程序的实例对象# 开启debug模式# 参数1:rule设置当前视图的路由地址# 参数2:methods,设置当前视图的HTTP请求方法,允许一个或多个方法,不区分大小写# 3. 运行flask提供的测试web服务器程序什么是路由?路由就是一种映射关系。是绑定应用程序(视图)和url地址的一种一对一的映射关系!

2024-09-29 16:54:38 1694

原创 nginx基本介绍和配置说明

nginx是一个开源免费的,高性能,高并发的web服务和代理服务软件。它是俄罗斯人lgor sysoev(伊戈尔·塞索耶夫)在2000开发的,在2004年将源代码开源出来供全球使用。nginx比传统的web服务器apache性能改进了许多,nginx占用的系统资源更少,支持更高的并发连接,有更高的访问效率。nginx不但是一个优秀的web服务软件,还可以作为反向代理负载均衡,以及缓存服务使用。

2024-09-26 17:39:01 369

原创 集成Elasticsearch到django restful

haystack支持多种搜索引擎,不仅仅是 jieba ,whoosh,使用solr、elasticsearch等搜索,也可通过haystack,而且直接切换引擎即可,甚至无需修改搜索代码。因为此前mysql中已经有了部分的数据,而这部分数据在es中是没有创建索引。注意:course_text.txt 中course就是ORM模型类名小写,text就是es索引模型类中的全文索引字段名。创建全文索引字段的html模板,在HTML模板中采用django的模板语法,绑定text与其他es单字段索引的映射关系。

2024-09-25 18:22:46 1563

原创 Elasticsearch快速入门

倒排索引(Inverted Index),是Elasticsearch中的索引工作机制。Elasticsearch的工作流程如下,因为使用倒排索引产生的文档记录要比mysql数据行少多了,所以会比较快。Elasticsearch是面向文档的,以json格式存储数据的NoSQL数据库,也是一个全文搜索引擎。es提供了retfulAPI风格操作接口给开发者对索引、类型、文档、字段、映射等进行增删查改操作。注意:es中的类型在es7.x版本中已经没有,在后面的8.x版本中被彻底删除掉。PUT / 索引名称。

2024-09-25 16:54:34 995

原创 Elasticsearch、ik分词器、elasticsearch-head、Kibana的认识与安装

不过开发中,我们一般使用elasticsearch-head来查看elasticsearch的数据而已,真正对elasticsearch进行增删查改操作一般我们使用kibana或者postman或者编程语言实现的客户端来完成。默认情况下,elasticsearch是外国开发的,所以本身对于中文分词构建分词索引的支持是不行的。访问elasticsearch-head:http://127.0.0.1:9100/,会发现无法连接elasticsearch,原因是因为跨域问题导致。

2024-09-24 22:29:40 1207

原创 配置Docker镜像加速器

通过修改daemon配置文件/etc/docker/daemon.json来使用加速器。上面是阿里云官方给出的镜像源,但最近大家无法使用。若有错误与不足请指出,关注DPT一起进步吧!改为daocloud源即可,

2024-09-24 20:50:16 584

原创 初始docker以及docker的基本使用!!!

(注意:如果运行容器时,本地没有对应的镜像或对应镜像的版本,则docker/podman会自动往线上的源服务器中搜索是否有对应的镜像并自动下载的,执行pull镜像操作)。–restart=always 设置容器随着docker开机自启,docker/podman中创建的容器默认是不会开机自启,同时podman是没有这个选项的。-p 端口影射,把物理机的一个端口和容器内部的端口进行绑定。必须先有镜像,才能运行创建容器,需要指定使用的镜像名,并且设置创建容器以后,执行对应的第一条命令。

2024-09-23 20:31:37 1835

原创 chapter5-课程管理模块实现(课程列表)

views/Course.vue,代码:注册路由,src/router/index.js,代码:课程功能管理的设计分析课程列表页面中的出现的数据之间的关系E-R图http://draw.ioE-R图描述的是数据库设计过程中,实体与实体之间的关系的,实体与属性之间的关联的。矩形表示实体,所谓的实体就是可以相互区分的,独立的事物。实体在数据库中会被转换成数据表。椭圆形表示属性,用于描述实体的特征。实体的属性在数据库中会被转换成数据表中的字段。菱形则表示实体之间的关系,根据范式理论第三条,实体之间的关

2024-09-23 12:10:34 2364

24年某马最新HDFS课程树状梳理

24年某马最新HDFS课程树状梳理

2024-12-05

24年某马最新HDFS课程PPT

24年某马最新HDFS课程PPT

2024-12-05

24年某马最新Hadoop课程总结

树状Hadoop课程总结

2024-12-05

某马24年最新-Prometheus+Grafana构建企业级监控系统-详细教程

内容概要:本文详细介绍如何使用Prometheus和Grafana构建高效的企业级监控系统。首先介绍了Prometheus的基本概念及其特点,如多维度数据模型、灵活的查询语言等,并详细解释了Prometheus的时间序列数据库特性和主要应用场景。接着讲述了如何搭建Prometheus监控环境,包括服务器的准备、Prometheus的安装与配置、监控本地和远程Linux主机以及MySQL服务器的方法。随后介绍了Grafana的功能与安装步骤,并展示了如何将Prometheus作为数据源接入Grafana,实现监控数据的可视化展示。最后讲解了如何通过Grafana对接OneAlert,实现高效的告警机制,确保在发现问题时能够及时通知相关人员。 适合人群:系统管理员、运维工程师、DevOps从业者、对IT基础设施监控感兴趣的开发者。 使用场景及目标:本文适用于希望提升数据中心监控能力的企业和技术团队,目标是在复杂环境中建立全面的监控体系,确保系统稳定性和故障快速响应。 阅读建议:本篇文章涵盖了很多具体的实施细节和命令操作,因此推荐读者边读边动手实操,特别是在配置文件和网络设置方面,要注意与自己的实际环境相匹配。同时,对于高级功能(如自定义仪表板、告警集成等),建议先尝试默认配置后再逐步优化。

2024-12-03

某马24年最新-Ansible配置自动化文档

内容概要:本文详细介绍了 Ansible 自动化运维工具在多服务器管理中的应用场景和具体实现步骤。内容涵盖 Ansible 的环境搭建、基本命令使用、常见模块操作以及 Playbook 编写技巧。通过具体的实例展示了如何使用 Ansible 实现高效的服务器管理和软件部署。 适合人群:从事 IT 运维的技术人员、系统管理员以及有一定 Linux 基础的开发人员。 使用场景及目标:提高多服务器管理的效率,减少手工操作带来的风险和延迟,通过自动化工具实现快速配置、更新和部署。 阅读建议:建议读者首先熟悉 Ansible 的基本概念和常用模块,然后逐步实践环境搭建和具体任务的操作。通过 Playbook 的编写提升大规模运维管理的能力。

2024-12-03

Docker 技术及其在企业级前后端分离项目中的应用实战

内容概要:本文详细介绍了 Docker 技术的安装、配置、镜像和容器的管理,以及 Docker 在解决多环境一致性、持续集成和微服务架构中的应用场景。接着,文章深入探讨了 Docker 文件系统的概念,如镜像、容器和仓库,并介绍了数据卷的使用方法。最后,文章通过一个具体的案例,展示了如何使用 Docker 在企业级项目中实现前后端分离的部署和负载均衡。 适合人群:具备基础 IT 知识的技术人员,特别是对容器技术和 Docker 有浓厚兴趣的开发人员和运维人员。 使用场景及目标:适用于希望通过 Docker 解决环境一致性问题、快速部署应用、实现自动化和弹性扩展的企业级项目。目标是通过实例演练掌握 Docker 的核心技术,并应用于实际项目中。 其他说明:本文提供了详细的命令和配置说明,适合初学者逐步学习和实践。同时,通过具体的企业级案例,展示 Docker 在实际项目中的最佳实践。

2024-11-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除