- 博客(95)
- 收藏
- 关注
RSS订阅原创 云计算项目十一：构建完整的日志分析平台
创建文件baseos.yaml，使用Secret regcred。随便找一台机器 安装filebeat的软件包。还有一句：- name: regcred。
2024-03-09 11:59:23
1012
原创 云计算项目九：K8S安装
按照如下配置准备云主机防火墙相关配置：禁用selinux，禁用swap，且在firewalld-*。上传kubernetes.zip 到跳板机。
2024-03-08 13:22:43
1165
原创 云计算项目八：Harbor
访问：http://公网IP地址:80，用户名：admin 密码：Harbor12345。测试，在test主机导入镜像，上传至harbor主机，tomcat软件在2阶段。另外购买一个新的公网IP，绑定到harbor主机。
2024-03-07 19:11:46
553
原创 云计算项目七:jump-server安装部署
Jumpserver是一款开源的堡垒机，可使系统的管理员和开发人员安全的连接到企业内部服务器上执行操作，并且支持大部分操作系统，是一款非常安全的远程连接工具。
2024-03-07 12:20:14
1110
原创 15:Zookeeper高可用集群｜分布式消息队列Kafka｜搭建高可用Hadoop集群
Kafka角色与集群结构NameNode高可用想实现Hadoop高可用就必须实现NameNode的高可用，NameNode是HDFS的核心，HDFS又是Hadoop核心组件，NameNode在Hadoop集群中至关重要。NameNode宕机，将导致集群不可用，如果NameNode数据丢失将导致整个集群的数据丢失，而NameNode的数据更新又比较频繁，实现NameNode高可用势在必行。所有节点新机器安装 java-1.8.0-openjdk-devel。
2024-03-06 18:57:53
1133
原创 14:Hadoop数据分析｜节点管理｜搭建NFS网关服务
1）更改主机名，配置/etc/hosts（/etc/hosts在hadoop1和nfsgw上面配置）5）给/usr/local/hadoop/logs赋权（在NFSGW主机上面操作）2）创建代理用户（hadoop1和nfsgw上面操作），以hadoop1为例子。4）同步配置到node-0001，node-0002，node-0003。另外准备两台主机，newnode和nfsgw，作为新添加的节点和网关。最低配置：2CPU，2G内存，10G硬盘。最低配置：1cpu，1G内存，10G硬盘。
2024-03-05 21:22:25
1001
原创 13:大数据与Hadoop｜分布式文件系统｜分布式Hadoop集群
HDFS是Hadoop体系中数据存储管理的基础，是一个高度容错的系统，用于在低成本的通用硬件上运行。安装java-1.8.0-openjdk-devel，并配置 /etc/hosts(所有主机)1）配置主机名为hadoop1，ip为192.168.1.50，配置yum源（系统源）1）配置mapred-site（hadoop1上面操作）1）配置yarn-site（hadoop1上面操作）最低配置：2cpu，2G内存，10G硬盘。最低配置：2CPU，2G内存，10G硬盘。2）同步配置（hadoop1上面操作）
2024-03-05 14:55:34
1138
原创 12:Logstash｜Web日志实时分析
复制/var/log/httpd/access_log的日志到logstash下的/tmp/c.log。浏览器访问网页，在/var/log/httpd/access_log有日志出现。使用 filebeat 收集 web 日志，并发送给 logstash。1.配置主机名，ip和yum源，配置/etc/hosts。在之前安装了Apache的主机上面安装filebeat。解析Apache的日志，之前已经安装过的可以不用安装。最低配置： 2cpu，2G内存，10G硬盘。正则表达式宏调用格式：%{宏名称：名字}
2024-03-02 17:15:48
1067
原创 11:日志分析系统ELK｜Elasticsearch｜kibana
Elasticsearch：负责日志检索和存储Logstash：负责日志的收集和分析、处理Kibana：负责日志的可视化ELK是一整套解决方案，是三个软件产品的首字母缩写，很多公司都在使用 如：Sina 携程 华为 美团等这三款软件都是开源软件，通常是配合使用，而且又先后归于Elastic.co公司名下，故被简称为ELKELK组件在海量日志系统的运维中，可用于解决：分布式日志数据集中查询和管理系统监控，包含系统硬件和应用各个组件的监控故障排查安全信息和事件管理报表功能。
2024-02-25 23:45:00
2471
原创 10:部署Dashboard｜部署Prometheus｜HPA集群
需要修改资源文件，默认资源文件制定的是从官网下载镜像启动容器，我们需要修改为自己的192.168.1.100私有镜像仓库的路径。需要修改资源文件，默认资源文件制定的是从官网下载镜像启动容器，我们需要修改为自己的192.168.1.100私有镜像仓库的路径。需要修改资源文件，默认资源文件制定的是从官网下载镜像启动容器，我们需要修改为自己的192.168.1.100私有镜像仓库的路径。先通过get screts查看名称，该名称是随机的，然后再通过查询到的名称继续查询对应的Token信息。
2024-02-23 15:47:27
1041
原创 09:资源利用率监控｜存储卷管理
申请的多余证书可以使用（kubectl delete certificatesigningrequests 证书名称）删除。kubelet证书 在每个节点都需要签发证书（master,node-0001,node-0002,node-0003）拷贝云盘的kubernetes/v1.17.6/metrics目录到master上。首先定义一个webnginx容器。配置configMap。
2024-02-17 21:30:04
356
原创 08:K8S资源对象管理｜服务与负载均衡｜Ingress
DaemonSet 每个机器都要启动运行的Pod，确保全部或一些Node上运行Pod副本。创建一个服务 开启服务 创建几个apache服务 实现lvs负载均衡。某些时候，我们需要无视污点标签进行操作，这种方式成为对污点的容忍。
2024-02-13 17:08:12
917
原创 07:Kubectl 命令详解｜K8S资源对象管理｜K8S集群管理（重难点）
k8s通过RC/RS管理POD，在RC中定义了如何启动POD，如何运行，启用几副本等功能，如果我们创建的文件，在其中使用yaml的语法格式描述了上面的信息，这个文件就是我们的资源对象文件。通过资源文件的创建的容器 也可以通过资源文件的方式删除。使用nodeName标签根据节点名称选择宿主机。容器创建是随机的，如何选择固定的宿主机？是用于控制k8s集群的命令行工具。无限运行周期 有限运行周期。资源对象文件有什么用？如何使用一类宿主机？
2024-02-07 22:21:40
1989
原创 06:原生云K8S解密｜K8S集群安装部署｜K8S网络插件
有大量夸主机的容器需要管理，快速部署应用，快速扩展应用，无缝对接新的应用功能，节省资源，优化硬件资源的使用。应答文件在云盘 kubernetes/v1.17.6/config目录。join: node加入集群的命令。token: token凭证管理命令。config: 配置管理命令。reset: 还原状态命令。master （管理节点）help: 查看帮助。init: 初始命令。image（镜像仓库）安装IPVS代理软件包。使用kubeadm部署。node（计算节点）kubeadm 命令。
2024-02-03 21:23:39
697
原创 04:容器技术概述｜镜像与容器｜docker配置管理
就是将软件打包成标准化单元，用于开发、交付和部署。容器技术已经成为应用程序封装和交付的核心技术。资源管理安全命令空间。
2024-01-30 23:24:33
583
原创 03:华为云管理｜云主机管理｜云项目实战
云主机是默认访问不了互联网的 要访问互联网 需要买弹性公网ip。安装 bash-completion 进行测试。配置以后使用 yum repolist 查看。在云主机上配置华为云 Yum 源 (2台)在文档中心搜索 “华为云 yum 源”检测ansible对云主机是否管理正常。配置yum源，并测试。可以直接访问公网ip。
2024-01-29 12:20:37
834
原创 02:私有云概述｜私有云配置管理｜云主机管理
退出admin用户 登陆新创建的用户 创建内部网络。Openstack私有云 IaaS。公有云 别人做好的 花钱用。
2024-01-27 21:49:07
437
原创 01:云计算底层技术奥秘｜虚拟化管理｜公有云概述
虚拟化：是一种技术 就是将不可拆分的实体资源变成可以自由划分的逻辑资源，从而实现资源的整合、隔离、再分配，云计算利用了虚拟化技术的这个特点。云计算：云计算是一种服务模式（IaaS），其思想就是把各种资源整合起来，然后租给有需要的用户，其中的资源包括处理器、内存、存储、网络和其他基本的计算资源。通常我们通过虚拟化手段把这些资源分割打包提供给用户使用。1、虚拟化需要CPU支持（真机验证）2、创建虚拟机 2cpu，4G内存（默认用户名: root 密码: a）3、验证yum仓库配置4、安装libvirtd
2024-01-26 23:01:09
696
原创 3 - 主从复制结构｜持久化｜数据类型
2. AOF文件：redis服务AOF文件与mysql的binlog日志文件功能相同 是一个文件，记录连接redis服务后执行的写操作命令并以追加的方式记录写操作命令 默认没有开启 需要认为开启。监视主从复制结构中的主服务器，发现主服务器无法连接后，会把对应的从升级为主服务器数据库，继续监视新的主数据库服务器 坏掉的主数据库服务器恢复后 会自动做当前主服务器的从服务器。需求：给主从从结构中的master服务器的redis服务设置连接密码 slave服务器配置连接master服务服务器密码。
2024-01-25 23:18:15
787
原创 云计算项目六：升级网站运行平台｜部署缓存服务｜数据迁移｜部署集群
升级网站运行平台部署内存存储服务部署pxc集群解决数据库服务负载问题解决调度器单点故障问题。
2024-01-25 22:06:30
1472
原创 2 - 部署Redis集群架构
环境：6台集群服务器 51-56 ：安装Redis软件 初始化配置停止Redis服务修改服务使用的ip地址是eth0接口的地址（不需要设置密码和修改服务使用的端口号）启动Redis服务。
2024-01-22 23:19:49
1023
原创 OpenCompass 大模型评测
OpenCompass 大模型评测关于测评的三个问题为什么需要测评？我们需要评测什么？怎么测试大预言模型？主流大模型评测框架OpenCompass能力框架OpenCompass评测流水线设计关于测评的三个问题为什么需要测评？模型选型模型能力提升真实应用场景效果评测我们需要评测什么？知识、推理、语言长文本、智能体、多轮对话情感、认知、价值观怎么测试大预言模型？自动化客观评测人机交互评测基于大模型的大模型评测主流大模型评测框架OpenCompass能力框架Ope
2024-01-21 23:48:34
511
原创 1 - 搭建Redis数据库服务器｜LNP+Redis
是一款高性能的（key/values）分布式内存数据库支持数据持久化（定期把内存里数据存储到硬盘）支持多种数据类型：字符、列表、散列、集合支持master-salve模式数据备份。
2024-01-21 23:34:13
1003
原创 11 - PXC集群｜MySQL存储引擎
共有8个功能模块1.连接池 验证客户端连接时使用的用户名和密码是否正确 同时验证数据库服务器是否有mysqld进程相应的连接2.SQL接口 把用户执行的sql命令传递给本地的mysqld进程3.分析器 检查sql命令的语句及对数据的访问权限4.优化器 对要执行的sql命令做优化（是内存自动功能程序）5.查询缓存（默认没有开启）使用操作系统的内存空间查询查找过的数据 划分出一定的物理内存空间给Mysql服务存储查找过的数据。
2024-01-20 17:23:53
889
原创 10 - MHA集群概述｜部署MHA集群
高可用集群知识点回顾 分为 主备2种角色，工作过程，主服务器获取vip地址 客户端连接 vip地址访问服务，当主服务器宕机后，备用的服务器升级为获取vip地址 继续给客户端提供服务。先安装依赖 再安装主软件 添加监控用户（只需在master服务器添加 在slave服务器查看）在剩下的另一台数据库服务器查看主服务器ip地址 自动做新主服务器的slave主机。查看管理服务的状态，并启动管理服务，再次查看状态（会监视新主数据库服务器）之前网站高可用集群用的是keepalived软件做集群服务。
2024-01-19 14:19:38
863
原创 9 - 数据分片概述｜部署MyCat服务
将存放在一台数据库服务器中的数据，按照特定的方式进行拆分，分散存放到多台数据库服务器中，以达到分散单台服务器的负载的效果。
2024-01-14 23:38:04
1041
原创 8 - MySQL数据读写分离｜MySQL多实例
第二种方式：通过服务实现 搭建提供读写分离服务功能的服务器（程序访问时 连接的不是数据库服务器本机，而是连接读写分离服务器，有读写分离服务器提供数据库连接服务）第一种方式：通过程序实现（程序在编写访问数据库服务的脚本 执行select命令时，固定连接从服务器 执行insert命令时 固定连接master数据库服务器）如果主从结构中的从服务器宕机了，就实现不了读写分离了，会把读写请求都给主服务器。从服务器本机表里添加一条记录 （在从服务器添加的新数据 主服务器不会同步）分别发送给不同数据库服务处理。
2024-01-14 16:59:56
862
原创 LMDeploy 大模型量化部署实践
将训练好的模型在特定软硬件环境中启动的过程，使模型能够接受输入并返回预测结果为了满足性能和效率的要求，尝尝需要对模型进行优化，例如模型压缩和硬件加速LMDeploy 是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。
2024-01-13 23:45:00
679
原创 XTuner 大模型单卡低成本微调实战
LLM的下游应用任务中，增量预训练和指令跟随是经常会用到的两种微调模式适配多种生态多种微调算法适配多种开源生态自动优化加速。
2024-01-12 10:02:21
844
原创 基于 InternLM 和 LangChain 搭建你的知识库
LangChain框架是一个开源工具，通过为各种LLM提供通用接口来简化应用程序的开发流程，帮助开发者自由构建LLM应用。链：将组件组合实现端到端应用，通过一个对象封装实现一系列LLM操作Eg.检索问答链：覆盖实现了GAR（增强检索生成）的全部流程。
2024-01-10 09:03:34
985
原创 6 - 数据备份与恢复｜innobackupex
差异备份：备份新数据 备份完全备份后新产生的数据 每次判断新数据 都是和完全备份的数据比较 和第一次比。逻辑备份： 使用mysql服务提供的命令或安装第三方软件提供的命令，对已有的数据做备份。缺点 备份和恢复数据均需要停止数据库服务（若不停止服务也可以备份 但会导致备份不完全）增量备份是备份上次备份后新产生的数据，所以在执行增量备份之前，必须得先有一次备份。备份和恢复数据不需要停止服务，服务停止反而 备份和恢复不了数据。增量备份：备份新数据 每次判断新数据和前一次备份数据比较。
2024-01-10 04:30:00
1293
原创 5 - 视图｜存储过程
存储过程就是mysql服务里的脚本。mysql存储过程 是登陆mysql服务之后编写的脚本 是由一条或多条sql命令组成，存放在mysql库下的表里。避免重复的sql操作。视图是虚拟存在的表 表头下的数据在真表里 表头下的数据存储在创建视图时 在select命令访问的真表里。create procedure 名称(类型 变量名 数据类型 , 类型 变量名 数据类型,…循环结构控制语句：在循环条件满足的情况下，控制循环的执行。写好的存储过程 会存放在mysql库下的proc表里。查看已创建的存储过程。
2024-01-08 20:50:29
1190
1
原创 轻松玩转书生·浦语大模型趣味Demo
人工智能领域中 参数数量巨大 拥有庞大计算能力和参数规模的模型利用大量数据进行训练拥有数十亿甚至数千亿个参数模型在各种任务重展现出惊人的性能通过单一代码库，InternLM支持在拥有数千个GPU的大型集群上进行预训练，并在单个GPU上进行微调，同时实现了卓越的性能优化。在1024个GPU上训练时，InternLM可以实现90%的加速效率。利用数万亿高质量token进行训练，建立了一个强大的知识库支持8K token的上下文窗口长度，使得输入序列更长并增强了推理能力。
2024-01-06 16:24:15
904
原创 4 - 基础查询进阶｜连接查询
当左边表的记录全部显示出来 右边的表只显示与条件匹配记录 比左边表少的记录使用null匹配 显示对应个数的行。当右边表的记录全部显示出来 左边的表只显示与条件匹配记录 比右边表少的记录使用null匹配 显示对应个数的行。把多张表通过连接条件 组成一张新表，然后在组成的新表里查找数据。可以合并同一张的表的查询记录 （不同表的查询记录也可合并）要求查询时，多个select语句的检索到的字段数量必须一致。查看满足条件记录的name和uid字段的值。每一条记录的各字段类型和顺序最好时一致的。查看每个员工的总收入。
2024-01-04 22:28:26
941
原创 书生·浦语大模型全链路开源开放体系
6大维度 80+评测集、40万+评测题目。大模型成为发展通用人工智能的重要途径。提出了OpenCompass评测体系。
2024-01-03 21:31:47
419
原创 3 - 字段约束｜MySQL索引｜MySQL用户管理
给表头加了索引标签之后，会对表头下的数据生成排队信息保存在表对应的文件里（表名.ibd）比如 给db1 库下t3表的表头加了索引对应的存储文件是 /var/lib/mysql/db1/t3.ibd。
2024-01-02 22:12:11
865
语义分割中VOC/Camvid等一些主流的数据处理方式
2023-04-26
ResNet代码详解，内含论文中提到的各种数据增强的方法
2023-03-09
VGG论文复现代码复现+VGG代码实现猫狗大战案例+猫狗数据集
2023-03-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人