- 博客(153)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【星海随笔】云解决方案学习日志篇(三) 工作原理篇
在Filebeat运行时，每个prospector内存中也会保存的文件状态信息，当重新启动Filebat时，将使用注册文件的数量来重建文件状态，Filebeat将每个harvester在从保存的最后偏移量继续读取。读取每个文件，并将内容发送到配置指定的output，每个文件启动一个harvester, harvester负责打开和关闭文件，这意味着在运行时文件描述符保持打开状态。如果input类型是log，则input查找驱动器上与已定义的log路径匹配的所有文件，并为每个文件启动一个harvester。
2024-06-12 10:23:28
921
原创 【星海随笔】云解决方案学习日志篇(二) kafka、Zookeeper、Fielbeat
Elastic 中国社区官方博客https://blog.csdn.net/ubuntutouch/category_9209092.htmlkafka的源代码是基于Scala语言编写的，运行在Java虚拟机（即:JVM）上。因此，在安装kafka之前需要先安装JDKKafka 为什么依赖 Zookeeper综上所述，Kafka依赖Zookeeper主要是为了协调分布式系统、元数据管理和领导选举。ZK安装来源于apache2.解压安装包3.拷贝配置文件,4.修改配置文件5.启动zk6.查看端口
2024-06-11 16:54:20
1025
原创 【星海随笔】云解决方案学习日志篇(一) ELK,kibana,Logstash安装
在这当中，Kafka的作用是明显的，作为一个中间件，一个缓冲，它起到了提高吞吐，隔离峰值影响，缓存日志数据，快速落盘，同时通过producer/consumer模式，让Logstash能够横向拓展的作用，还能够用作数据的多路分发。它适用于大规模的日志处理任务，提供了更多的过滤插件和处理选项，可以进行更复杂的数据转换和处理操作。Elasticsearch是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大容量的日志数据，也可用于搜索许多不同类型的文档。
2024-06-11 13:59:19
1155
原创 【星海出品】Jenkins
自动化部署Jenkins，作为一款工具，有着非常强大的功能，上面我们只是讲了生产上做Java自动化部署的一个主要流程，官方文档：https://jenkins.io/zh/doc/
2024-06-06 16:56:26
1090
原创 【星海出品】Langchain Prompt template
这是一个语言模型，It lets input words and return sentences.
2024-05-31 17:39:46
1341
原创 【星海出品】LangChain-Installation
GNNAdvisor使用Pytorch作为前端，在底层是用CUDA写的，并用pytorch wrapper集成到pytorch里面。它可以被看作是具有kernel优化、运行时支持的operator。GNN的每个节点都有维度很大的embedding。使用numpy进行数据的调度。如果想要访问还是要有代理的。
2024-05-30 17:56:47
452
原创 【星海出品】Langchain
常见的训练方法是使用反向传播算法（Backpropagation Algorithm）和梯度下降优化器（Gradient Descent Optimizer）来迭代地更新模型的参数，以最小化预测输出与实际输出之间的差异。思维树（Tree of Thoughts）：这是一种更广义的方法，其中多个思维被创建、重新评估并合并，以生成最终的输出。LLMS是一种人工智能技术，可以生成类似人类语言的文本，而LLM智能体则是一种扩展了LLMS的系统，它可以执行更复杂的任务，例如搜索信息、使用工具和执行操作。
2024-05-29 16:33:20
1101
原创 【星海随笔】微信小程序(三)
JSONPlaceholder 是一个提供免费的在线 REST API 的网站，我们在开发时可以使用它提供的 url 地址测试下网络请求以及请求参数。这个对象，由于小程序的宿主环境是微信小程序，所以小程序中 不能叫做 “发起Ajax请求” , 而是叫做 “发起网络数据请求”。配置方式: 登录微信小程序管理后台 -> 开发 -> 开发设置 -> 服务器域名 -> 修改 request 合法域名.在很多情况下，需要在页面刚加载的时候，自动请求一些初始化的数据。Ajax技术的核心是依赖于浏览器中的。
2024-05-20 15:32:36
1194
原创 【星海随笔】微信小程序(二)
如果为True 则隐藏, 还支持 display: none/block 控制元素的显示和隐藏。在target 属性中,可以看到 dataset 属性的 info 属性 为传参的值。通过事件可以将用户在渲染层产生的行为, 反馈到逻辑层进行业务的处理 .支持的函数包括: Math.random().toFixed(2) .使用block能够隐藏原来的 view ,在 html 中隐藏。wx:if 是以创建和移除元素的方式进行控制元素的展示于隐藏。把 data 中的数据绑定到页面中渲染，使用。
2024-05-16 18:02:08
1081
原创 【星海随笔】windows 上跑MySQL
cmd -> winver查看本地版本。本人使用的为23H2。使用 WSL 在 Windows 上安装 Linux。在管理员模式下打开 PowerShell。该官网还显示了版本要求。
2024-04-30 11:25:27
458
2
原创 【星海出品】Windows小APP前端和后端交互的python EEL小技巧
前端和后端的交互前端基础功能主要分为两大类展示上实现以下几个功能1。【显示或隐藏 哪些id或者class或者自定义的域】2。【哪些id或者class展示的背景板颜色】3。【哪些id或者class展示的决定位置】4。【图标对应的位置】5。【高级功能，样式调整CSS等】功能上实现1。【ID与某个输入框绑定】2。【触发按钮，触发后，获取某个输入框内的内容并下发到后端某个函数】3。【获取一个远端的信息，并展示出来】具体还有其他的比如生命周期，xml dom调整等。这里暂不展开。主要为
2024-04-29 17:47:40
1229
原创 【星海出品】windows下的mysql安装
好久没有安装MYSQL了，因为最近要用一下 ，所以安装了一下。突然迷茫了一下，决定写一个mysql安装的教程。给未来的自己。
2024-04-22 15:01:24
1732
原创 【星海随笔】conda版本管理
添加一个新的通道，conda-forge 是一个由社区维护的conda包仓库。搜索可用的python版本。查看有哪些环境可以使用。
2024-03-15 17:25:05
363
原创 【星海随笔】unix 启动问题记录.
目前 GRUB 分成 GRUB legacy 和 GRUB 2。版本号是 0.9x 以及之前的版本都称为 GRUB Legacy ，从 1.x 开始的就称为 GRUB 2。在linux行，splash后加上一空格再输入acpi=off，然后按ctrl+x启动。GRUB2引导菜单启动项是从/boot自动生成的，不是有menu.lst配置的。启动Ubuntu操作系统时，直接进入GRUB状态。grub2中的分区号不再是以0开始，而是以1开始。在grub中，内核文件存在于/boot目录下。
2024-01-23 13:33:20
761
原创 【星海草稿】DPDK 后期会继续更新
在多核心CPU中，每个CPU都有自己的缓存和寄存器。为了更好地利用这些硬件资源，可以将特定进程绑定到特定的CPU上，这个过程被称为CPU亲和性设置。如果输出是x86_64，那么你的系统就是64位的。如果输出是i386或者i686，那么你的系统是32位的。可以通过cat /proc/cpuinfo和cat /proc/meminfo来查看处理器和内存的信息。用户空间和内核空间被划分为两个空间，每个空间最大支持256TB。如果输出中包含"enabled"，则表示IOMMU已启用。[查看和列出PCI设备。
2024-01-02 22:21:14
561
原创 【星海随笔】浅谈用户态和内核态
操作系统的核心是内核(kernel)，它独立于普通的应用程序，可以访问受保护的内存空间，也有访问底层硬件设备的所有权限。linux 内核空间在虚拟空间中是固定大小的，并且在物理空间中同样也是固定大小的。一般情况下，内核空间会占用约1GB的内存，物理空间也会占用1GB的内存。因此，在Linux系统下，如果有8GB的内存，实际上只有7GB可供进程使用。如果是4G的虚拟空间：虚拟地址0xC0000000到0xFFFFFFFF 供内核使用，称为内核空间。
2023-12-28 17:27:59
966
原创 【星海随笔】网络运维
在OpenStack底层，路由的创建是通过Linux的路由功能实现的。在OpenStack中，Neutron通过与Linux内核交互，使用ip命令来创建额外的命名空间（namespace），并在其中配置路由表。指出只有实例的所有者才能启动它. 冒号之前的project_id字符串是API属性，即API用户的项目ID. 它将与对象的项目ID（在这种情况下为实例）进行比较. 更准确地说，将其与数据库中该对象的project_id字段进行比较. 如果两个值相等，则授予权限.使用虚拟网卡工具创建一个虚拟网卡。
2023-12-26 17:29:02
1201
原创 【星海随笔】keepalived（三）个人记录
Checkers：负责真实服务器的健康检查healthchecking，是keepalived最主要的功能。上图是Keepalived的功能体系结构，大致分两层：用户空间（user space）和内核空间（kernel space）。主要包括IPVS（IP虚拟服务器，用于实现网络服务的负载均衡）和NETLINK（提供高级路由及其他相关的网络功能）两个部份。VRRP Stack：负载负载均衡器之间的失败切换FailOver，如果只用一个负载均稀器，则VRRP不是必须的。那么就报警，并发邮件，并暂停服务。
2023-12-24 00:18:27
1226
原创 【星海出品】Keepalived 基础及概念 (一)
今天遇到一个用户，必须使用keepalived去实现高可用。为了让客户满意，所以就从各方面进行一个全方面的解析研究。开源。
2023-12-23 16:46:31
956
原创 【星海随笔】Promethes(三) metrics
注意： WEB UI / Grafana / API client 功能与实用型与Alertmanager 有重叠。运维要想做的好->需要自动化做的好自动化做的好->需要不断的精细化自动化精细化做的好->需要对业务的深度理解。业务的深度理解->需要深度的经验和业务交流能力。：metricsPromethes 对采集过来的数据 统一称为 metrics 数据。当一个exporter(node_exporter) 被安装和运行在被监控的服务器上后。
2023-12-11 12:23:15
159
原创 【星海随笔】Prometheus（二） 相关配置
Alertmanager是Prometheus体系中告警的统一处理中心，负责接收并处理来自Prometheus Server（或其他客户端程序）的告警信息。综上所述，这个配置文件主要定义了Prometheus的全局行为，包括抓取目标的时间间隔、超时时间、评估规则的时间间隔以及外部标签。prometheus平时是将采集过来的数据先都存放在内存之中，对内存的消耗还是很大的，以类似缓存的方式 用于加快搜索和访问。global：配置全局的信息，如抓取监控数据的间隔，抓取业务数据接口的超时时间，告警规则执行周期等。
2023-12-10 21:07:53
391
原创 【星海随笔】Prometheus（一）
注：Pagerduty作为报警系统，出镜率很高。虽然收费，但对于企业来说很便宜。一个月几十美金不太支持中文，主要是语音方面。
2023-12-09 21:05:26
403
原创 【随笔】OpenFlow概述
实践SDN的首选主流南向接口P4和PISA的前身Ethane项目是斯坦福大学定义出了OpenFlow之后，主要是为了厂商的一些接口进行开放出来。
2023-11-28 15:50:42
604
原创 【星海随笔】redis 解析
非关系型数据库支持事务，操作都是原子性所谓的原子性就是对数据的更改要么全部执行，要么全部不执行。Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API1。6379在是手机按键上MERZ对应的号码，而MERZ取自意大利歌女Alessia Merz的名字。当Antirez为Redis选择一个数字作为默认端口号时，Antirez把"MERZ"在手机键盘上对应的数字6379拿来用了。
2023-11-19 15:35:07
271
原创 【星海出品】云存储 ceph
建议运行带有两个网络的Ceph存储集群：公共（前端）网络和集群（后端）网络。为了支持两个网络，每个Ceph节点都需要有多个NIC。Monitor一个Ceph集群需要多个Monitor组成的小集群，它们通过Paxos同步数据，用来保存OSD的元数据。OSDOSD全称Object Storage Device，也就是负责响应客户端请求返回具体数据的进程。一个Ceph集群一般都有很多个OSD。MDSMDS全称Ceph Metadata Server，是CephFS服务依赖的元数据服务。
2023-11-16 20:38:41
423
原创 【星海随笔】虚拟化
qemu是一套虚拟机管理系统，qemu可以虚拟出不同架构的虚拟机，如在x86平台上可以虚拟出power机器；kqemu是qemu的加速器，可以认为是qemu的一个插件；kvm是另外的一套虚拟机管理系统，包括内核虚拟构架和处理器相关模块，其借用了 quem 其它一些组件，kvm的非内核部分是由qemu实现的；加载了模块后，才能进一步通过其他工具创建虚拟机。但仅有 KVM 模块是远远不够的，因为用户无法直接控制内核模块去做事情，还必须有一个用户空间的工具；qemu-kvm：kvm是linux的一个模块，管理和创
2023-11-15 18:12:41
86
原创 【星海出品】SDN neutron (五) openvswitch
1、ovs-vswitchd组件是交换机的主要模块，运行在用户态，其主要负责基本的转发逻辑、地址学习、外部物理端口绑定等。还可以运用OVS自带的ovs-ofctl工具采用openflow协议对交换机进行远程配置和管理。2、ovsdb-server组件是存储OVS的网桥等配置、日志以及状态的轻量级数据库。它与ovs-vswitchd都是以一个单独的进程存在于系统中。
2023-11-15 17:04:52
297
原创 【星海出品】SDN neutron (四) 流分析
（2）虚拟的二层指的是：Neutron实现的虚拟网络仍然是二层网络（openstack的vm机所用的网络必须是大二层），仍然是基于以太网的广播方式进行通信，但毫无疑问的是该虚拟机网络是依赖于物理的三层网络，这点有点类似于VPN的概念，根本原理就是将私网的包封装起来，最终打上隧道的ip地址传输。（2）虚拟的二层指的是：Neutron实现的虚拟网络也是二层网络（openstack的vm机所用的网络必须是大二层），也是基于以太网协议的广播方式进行通信，但毫无疑问的是该虚拟网络是依赖于物理的二层网络。
2023-11-14 23:32:00
303
原创 【星海随笔】SDN neutron (三) Service-plugin
L3的实现只负责路由的功能，传统路由器中的其他功能（如Firewalls、LB、VPN）都被独立出来实现了，因此ML3的实际需求比较少。neutron-server 接到请求 –> 将请求发送到MQ –> neotron-plugins 得到请求 –> 发送请求到MQ –> neotron-agent 建立网络设备。neutron-plugin ： 处理 Neutron Server 发来的请求，维护 OpenStack 逻辑网络的状态， 并调用 Agent 处理请求。
2023-11-12 08:31:45
303
原创 【星海随笔】SDN neutron (二) core-plugin(ML2)
REST API请求：接收REST API请求，并将REST API分发到对应的Plugin（L3RouterPlugin）。RPC请求：接收Plugin agent请求，分发到对应的Plugin（NeutronL3agent）。
2023-11-11 22:28:21
684
TA创建的收藏夹 TA关注的收藏夹
TA关注的人