- 博客(299)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Python系列模块之标准库shutil详解
Python的shutil.copy2()函数会复制文件的权限，并尽可能地保留文件的元数据，包括所有权、时间戳等等。与shutil.copy()函数不同的是，shutil.copy2()函数会尽量保留源文件的所有元数据，而不是只复制一部分。将一个文件的内容拷贝到另一个文件中，目标文件无需存在。
2023-05-28 13:55:09
358
1
原创 Python系列模块之标准库json详解
JSON(JavaScript Object Notation)是一种轻量级的数据交换格式。它使得人们很容易的进行阅读和编写，同时也方便了机器进行解析和生成。它是基于JavaScript Programming Language , Standard ECMA-262 3rd Edition - December 1999 的一个子集。
2023-05-26 19:22:47
382
原创 Python系列模块之标准库re详解
正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。re 模块使 Python 语言拥有全部的正则表达式功能。compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。re 模块也提供了与这些方法功能完全一致的函数，这些函数使用一个模式字符串做为它们的第一个参数。
2023-05-23 11:18:42
453
2
原创 Python系列模块之标准库OS详解
Python 模块(Module)，是一个 Python 文件，以 .py 结尾，包含了 Python 对象定义和Python语句。包是一个分层次的文件目录结构，它定义了一个由模块及子包，和子包下的子包等组成的 Python 的应用环境。简单来说，包就是文件夹，但该文件夹下必须存在 __init__.py 文件, 该文件的内容可以为空。模块提供了非常丰富的方法用来处理文件和目录。可以直接调用linux里的命令。
2023-05-22 10:39:40
556
原创 Python系列之文件操作和函数
函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。函数能提高应用的模块性，和代码的重复利用率。你已经知道Python提供了许多内建函数，比如print()。但你也可以自己创建函数，这被叫做用户自定义函数。
2023-05-20 18:36:37
472
原创 Python系列之字符串和列表
字典是另一种可变容器模型，且可存储任意类型对象。字典的每个键值 key:value 对用冒号 : 分割，每个键值对之间用逗号 , 分割，整个字典包括在花括号 {} 中
2023-05-18 19:54:08
450
原创 AMS启动报错 hbase-ams-master.pid doesn‘t exist after starting of the component
Ambari Metrics, Metrics Collector 启动报错如下：stderr:stdout:根据上面 的日志分析是AMS 自带的HBase 问题，所以解决方法想到了 删除数据让服务自动重建数据库。
2023-05-16 14:31:29
239
原创 Python系列之判断和循环
Python 编程中 while 语句用于循环执行程序，即在某条件下，循环执行某段程序，以处理需要重复处理的相同任务。Python条件语句是通过一条或多条语句的执行结果（True或者False）来决定执行的代码块。在语句块执行过程中终止当前循环，跳出该次循环，执行下一次循环。在语句块执行过程中终止循环，并且跳出整个循环。
2023-05-16 10:42:41
212
原创 Python系列之变量和运算符
一栋楼房，用来容纳人和物。我们可以说去302房间找某人或去303房间找某物。在这里你可以把楼房理解成内存，302房间或303房间理解为变量名，某人或某物理解成变量的值。变量：在内存中开辟一块空间，临时保存数据。通俗的说变量名就是存储空间的名字，通过这个名字来访问和存储空间中的数据。在python中,每一个变量在使用前都必须赋值，变量赋值后，变量就创建成功了。
2023-05-15 11:55:02
297
原创 使用HDFS底层文件进行HBase跨集群数据迁移
因为，我们这个A集群是kerberos 环境，B集群是不带kerberos环境，这里使用Distcp的方式。这里仅是为了迁移底层数据，所以选择那种方式都可以。客户集群机房迁移，我们部署的集群也要完成跨集群迁移hbase 表，这里选择迁移Hadoop底层数据来实现hbase的表迁移。从HMaster -web 可以看到表的 2 个Region 的状态为 Other Regions。如果是kerberos 认证集群的集群 我们需要在jar包中 加入 集群的 xml 配置文件即可。三、HBCK2下载和编译。
2023-05-12 19:30:06
535
原创 Python系列之Linux 安装
python更强大，执行效率比shell高。python可以跨平台，可移植性好，标准统一，在不同平台程序结果一致。但shell在不同平台还可能不一样(比如centos6,centos7)python模块（模块可以通俗的先理解为插件 ) 丰富，应用场景更丰富。还有就是顺应开发型运维的趋势，更高薪😃。DEVOPS：Python容易上手,语法较简单。
2023-05-10 10:13:07
213
原创 Python系列之Windows环境安装配置
PyCharm是一种Python IDE（Integrated Development Environment，集成开发环境），带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、项目管理、代码跳转、智能提示、自动完成、单元测试、版本控制。pip是Python包管理工具，对Python包的查找、下载、安装、卸载的功能。右边（Community）是社区版，是免费版，功能也足够我们日常学习使用，这里推荐下载社区版。下载完成之后，打开安装包，点击Next。
2023-05-03 18:18:59
707
原创 kubernetes项目部署
基于镜像创建pod,使用deploy控制器暴露服务得到service，使用ingress提供域名访问服务；容器交付流程通常分为四个阶：开发阶段、持续集成阶段、应用部署阶段和运维阶段。对应用程序编译打包、使用Dockerfile构建镜像，把镜像推送到镜像仓库；4.对外暴露应用（Service、Ingress）2.推送到镜像仓库中（阿里云镜像、网易镜像）3.控制器部署镜像（Deployment）1.制作镜像（通过Dockerfile）二、k8s平台部署项目流程。三、在K8s平台部署项目。5.运维（监控、升级）
2023-05-03 17:45:55
707
原创 kubernetes安全框架RBAC
Adminssion Control实际上是一个准入控制器插件列表，发送到API Server的请求都需要经过这个列表中的每个准入控制器插件的检查， 检查不通过，则拒绝请求。K8s目前支持多种授权策略，目前企业主要使用RBAC (Role-Based Access Control，基于角色的访问控制)完成授权工作。• 资源操作方法： get ， list ， create ， update ， patch ，watch ， delete。运行rbac.yaml， 创建RBAC权限策略。
2023-05-02 13:05:56
1070
原创 自动化运维工具一Ansible Roles实战
之前介绍了ansible-playbook的使用方法，对于批量任务的部署和操作非常方便，但是耦合度比较高，不便于模块化、层次化的复用，为了层次性、结构化地组织playbook，我们可以使用roles来更加高效地组织playbooks；不同于 cp 或 scp 的一点是，使用 rsync 命令备份数据时，不会直接覆盖以前的数据（如果数据已经存在），而是先判断已经存在的数据和新数据的差异，只有数据不同时才会把不相同的部分覆盖。role依赖关系存储在role目录中meta/main.yml文件中。
2023-05-01 17:49:30
736
原创 GC日志分析工具一GCview使用介绍
GCViewer介绍业界较为流行分析GC日志的两个工具——GCViewer、GCEasy。GCEasy部分功能还是要收费的，今天笔者给大家介绍一下GCViewer的使用与功能点。二、GCViewer 使用。
2023-04-30 20:45:15
1946
原创 自动化运维工具一Ansible Playbook语法实战
Playbooks 是 Ansible的配置、部署、编排语言，他们可以被描述为一个需要希望远程主机执行命令的方案，或者一组IT程序运行的命令集合
2023-04-30 20:11:36
560
原创 Java 实现访问Redis哨兵（六）
哨兵机制建立了多个哨兵节点(进程)，共同监控数据节点的运行状况。：基本上哪个哨兵节点最先判断出这个主节点客观下线，就会在各个哨兵 节点中发起投票机制Raft算法(选举算法)，最终被投为领导者的哨兵节点完成主从自动化切换的过程。Redis为了解决单点数据库问题，会把数据复制多个副本部署到其他节点上，通 过复制，实现Redis 的高可用性，实现对数据的冗余备份，保证数据和服务的高度可靠性。：当主节点出现故障时，由Redis Sentinel自动完成故障发现和转移，并通知应用方，实现高可用性。
2023-04-26 19:15:49
965
原创 AI绘图工具能取代设计师吗？
近期智能AI话题爆火，前有ChatGpt，现又出现了一个AI绘图工具Midjourney，号称没有美术基础的人也能快速上手制作出漂亮的图像。也有不少声音表示设计师都要失业了。AI绘图工具能取代设计师吗？你可以参考以下角度来谈谈你的看法。
2023-04-26 09:43:15
28
原创 Redis可视化工具-Another Redis Desktop Manager 安装与连接哨兵集群
Another Redis DeskTop Manager 是 Redis 可视化管理工具，体积小，完全免费。最重要的是稳定啊，而且操作简单、方便。
2023-04-25 18:32:58
541
原创 Ubuntu服务注册Flume
ExecStart、ExecStartPre、ExecStartPos、ExecReload、ExecStop 分别表示启动当前服务执行的命令、启动当前服务之前执行的命令、启动当前服务之后启动的命令、重启当前服务时执行的命令、停止当前服务时执行的命令。以上图为例，启动蓝牙服务所需要执行的命为/usr/lib/bluetooth/bluetoothd。Wantedby、RequiredBy 与 Unit 段 Wants 字段类似，表示依赖关系，Alias 字段表示启动运行时使用的别名。flume 启动脚本。
2023-04-23 16:41:31
42
原创 HDFS FileSystem 导致的内存泄露
"org.apache.hadoop.fs.FileSystem$Cache"”的一个实例文件系统被"sun.misc.Launcher$AppClassLoader @ 0xc04e9290"加载。问题的源头在于 org.apache.hadoop.fs.FileSystem 这个类，程序运行了5天， conf 类就产生了几千个实例。配置”，由“sun.misc”加载。.hrpof文件，这里是二进制的格式，你不能直接打开看的，其把这一时刻JVM堆内存里所有对象的快照放到文件里去了，供你后续去分析。
2023-04-22 15:50:10
1217
原创 Ambari 操作HDP组件迁移
我们在集群运维中，可能有的时候会面临服务迁移的问题，HDP可以在Ambari界面上完成组件的迁移工作，下面以Namenode 迁移示例。停止hdp103 的Action NameNode ，可以成功切换到 新的 Namenode，说明Namenode的迁移是 OK的。：NamaNode 迁移 只是示例，一般我们不会迁移，因为此操作可能 要重启整个集群。NameNode 成功切换到 新迁移的 hdp104 服务器。hdp104 作为新的NameNode 节点信息确认。新 NameNode。
2023-04-19 19:11:00
1209
原创 JVM日志分析工具一Memory Analyzer Mat介绍和使用
何时用hrpof文件分析内存其实如果只是要了解JVM的运行状况，然后去进行JVM GC优化，通常来说jstat就完全够用了。但是有的时候可能我们会发现JVM新增对象的速度很快，然后就想要去看看，到底什么对象占据了那么多的内存。如果发现有的对象在代码中可以优化一下创建的时机，避免那种对象对内存占用过大，那么也许可以去反过来优化一下代码。
2023-04-18 15:21:23
356
原创 Kubernetes 多集群管理工具Rancher 使用介绍
Rancher 是为使用容器的公司打造的容器管理平台。Rancher 简化了使用 Kubernetes 的流程，开发者可以随处运行 Kubernetes（Run Kubernetes Everywhere），满足 IT 需求规范，赋能 DevOps 团队。Rancher 1.x 最初是为了支持多种容器编排引擎而构建的，其中包括 Rancher 自己的容器编排引擎 Cattle。但随着 Kubernetes 在市场上的兴起，Rancher 2.x 已经完全转向了 Kubernetes。
2023-04-17 13:38:02
174
原创 Kubernetes 多集群管理工具Kuboard v3
Kuboard，是一款免费的 Kubernetes 图形化管理工具，Kuboard 力图帮助用户快速在 Kubernetes 上落地微服务。Kuboard v3.x 支持 Kubernetes 多集群管理。您可以同时使用 Kuboard v3.x 和 Kuboard v2.0.x；Kuboard v3.x 支持 amd64 (x86) 架构和 arm68 (armv8) 架构的 CPU。
2023-04-16 21:18:24
290
原创 Redis 6.x哨兵模式部署（五）
主从复架构搭建单节点redis的读取并发能力是有上线的，要进一步提高redis读的并发能力，就需要搭建主从集群，实现读写分离。下图就是基础的主从架构。共包含三个节点，一个主节点，两个从节点。我们测试采用一主两从的架构，3台服务器。先来看下redis.conf配置启动查看日志master节点同步到两个 slave命令行使用 INFO REPLICATION 查看副本信息在master节点 写入 ，在slave节点可以查看到 value结果。
2023-04-15 19:55:47
379
原创 Redis6.x集群搭建（四）
redis集群化部署主要用于大型缓存架构，一般的小型架构，使用redis主从配置就行。使用redis集群可以方便快捷地对集群进行动态扩容，动态的添加、删除节点，reshard、并带有自动故障恢复功能。一般redis集群使用3主3从，并且尽量保证主服务器与从服务器不在同一台机器上，防止机器故障导致的集群瘫痪，每个主 服务器搭配一个从服务器，保证集群的高可用性。二、集群规划三台服务器各部署一个主节点、一个从节点，同一台服务器上不是直接主从关系。编号主从 1主从 2主从 312。
2023-04-03 20:11:30
232
原创 Vmware 安装Ubuntu 20.04桌面版
Linux 有非常多的发行版本，从性质上划分，大体分为由商业公司维护的商业版本与由开源社区维护的免费发行版本。商业版本以 Redhat 为代表，开源社区版本则以 Debian 为代表。这些版本各有不同的特点，在不同的应用领域发挥着不同的作用，不能一概而论。而绝大多数 VPS（Virtual Private Server 虚拟专用服务器）上只提供开源社区维护的发行版本。下面就这些不同的 Linux 发行版进行简单的分析。
2023-03-22 19:15:46
413
2
原创 kafka-manager配置及安装Kerberos(Ambari-HDP)认证
为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager（已改名为 cmak）。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。
2023-03-20 19:02:47
501
4
原创 Kafka可视化工具-Offset Explorer使用
一、概述Offset Explorer（以前称为Kafka Tool）是一个用于管理和使Apache Kafka ®集群的GUI应用程序。它提供了一个直观的UI，允许人们快速查看Kafka集群中的对象以及存储在集群主题中的消息。它包含面向开发人员和管理员的功能。二、环境信息系统环境：windows 10版本：2.2Kafka版本：Kafka2.0.0三、安装和使用3.1 下载Offset Explorer 和安装下载到本地的 .exe文件Next安装路径 ，NextNext。
2023-03-20 18:09:34
1781
原创 Kubernetes应用包管理器Helm
Helm是一个Kubernetes的包管理工具，就像Linux下的包管理器，如yum/apt等，可以很方便的将之前打包好的yaml文件部署到kubernetes上。Helm有两个重要概念：helm：一个命令行客户端工具，主要用于Kubernetes应用chart的创建、打包、发布和管理。Chart：应用描述，一系列用于描述 k8s 资源相关文件的集合。Release：基于Chart的部署实体，一个 chart 被 Helm 运行后将会生成对应的一个 release；
2023-03-19 18:16:54
293
原创 Harbor 镜像仓库
Harbor 是 VMware 公司开源的企业级 Docker Registry 项目，其目标是帮助用户迅速搭建一个企业级的 Docker Registry 服务。
2023-01-02 13:50:19
601
2
原创 DataNode节点下线速度优化
具体上面参数的值设定的多少，取决于集群的规模和集群的配置，不能同一而论。几十T， 甚至上百T， 上百万block的节点掉线，会出现大量的RPC风暴，在我们存在大量小文件的集群对namenode是很大的挑战，不仅影响生产性能，也会存在很大的隐患，尤其是对于带宽有限制瓶颈的集群。然后namenode根据该节点的ip，查出该节点所有的blockid，以及对应副本所在机器，通过心跳机制安排数据复制，这时候数据的复制，数据源不在是掉线节点，而是多个副本之一所在的节点，同样这时候副本复制也遵循机架感知，副本搁置策略。
2022-12-31 13:40:22
1113
2
原创 Java JDBC调用SqlServer存储过程 结果集为空
存储过程用到了临时表，rs总是没有返回值。虽然直接也没有找到原因，但是找到了解决的办法。存储过程开始和结尾分别加上set nocount on和set nocount off。加上了 ，完美的查到了结果。
2022-12-29 18:47:39
248
原创 kubernetes控制器之StatefulSet
StatefulSet控制器用于部署有状态应用， 满足一些有状态应用的需求：• Pod有序的部署、扩容、删除和停止• Pod分配一个稳定的且唯一的网络标识• Pod分配一个独享的存储。
2022-12-28 17:29:39
582
2
原创 kubernetes之数据存储详解
一、存储卷的作用一、存储卷的作用容器部署过程中一般有以下三种数据：• 启动时需要的初始数据，例如配置文件• 启动过程中产生的临时数据，该临时数据需要多个容器间共享• 启动过程中产生的持久化数据， 例如MySQL的data目录二、数据卷概述•Kubernetes中的Volume提供了在容器中挂载外部存储的能力•Pod需要设置卷来源(spec.volume)和挂载点(spec.containers.volumeMounts)两个信息后才可以使用相应的。
2022-12-25 17:19:51
898
1
原创 kubernetes管理应用配置之ConfigMap和Secret
将应用打包为容器镜像后，可以通过环境变量或者外挂文件的方式在创建容器时进行配置注入，但在大规模容器集群的环境中，对多个容器进行不同的配置将变得非常复杂。的方式访问到这些 Secret 里保存的信息了。应用部署的一个最佳实践是将应用所需的配置信息与程序进行分离，这样可以使得应用程序被更好地复用，通过不同的配置也能实现更灵活的功能。创建ConfigMap后，数据实际会存储在K8s中Etcd，然后通过创建Pod时引用该数据。，通过Volume挂载的方式将ConfigMap中的内容挂载为容器内部的文件或目录。
2022-12-20 19:00:51
384
原创 kubernetes对外服务之Ingress
Ingress：只需一个或者少量的公网IP和LB，即可同时将多个HTTP服务暴露到外网，七层反向代理。可以简单理解为service的service，它其实就是一组基于域名和URL路径，把用户的请求转发到一个或多个service的规则。
2022-12-18 14:22:57
596
原创 kubernetes深入理解之Service
Service引入主要是解决Pod的动态变化，提供统一访问入口。Kubernetes Service定义了这样一种抽象： Service是一种可以访问 Pod逻辑分组的策略， Service通常是通过 Label Selector访问 Pod组。Service能够提供负载均衡的能力，但是在使用上有以下限制：只提供 4 层负载均衡能力，而没有 7 层功能，但有时我们可能需要更多的匹配规则来转发请求，这点上 4 层负载均衡是不支持的。
2022-12-03 18:56:50
587
dbeaver-ce-6.3.1-win32.win32.x86_64.zip
2020-02-14
SublimeText3_Build3083_x64_XiaZaiBa.zip
2019-08-15
eclipse-jee-2018-09-win32-x86_64.zip
2019-08-12
npp.6.9.2.Installer.zip
2019-08-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人