- 博客(53)
- 收藏
- 关注
RSS订阅原创 第八篇: K8S Prometheus Operator实现Ceph集群企业微信机器人告警
k8s集群中使用Prometheus Operator对外部ceph集群进行监控，Grafana基于webhook对ceph集群的告警信息发送到企业微信机器人
2023-08-07 15:37:38
1856
原创 第七篇：k8s集群使用helm3安装Prometheus Operator
本文主要介绍如何基于helm3安装prometheus oprator. 全文包括values.yaml文件的配置，以及安装过程中遇到的问题修复
2023-07-31 10:33:25
1012
原创 ClickHouse部署系列2: 使用docker部署ClickHouse集群
规划4个节点， 2个分片， 每个分片2个副本。分片1的副本在主机clickhouse1和clickhouse2上， 2分片的副本在主机clickhouse3和clickhouse4上。metrika.xml文件主要用来配置分片及副本的数目和机器的匹配情况，每台机器的配置都不一样，具体如下。官方建议zookeeper集群与clickhouse集群分开部署，避免资源竞争导致服务异常。用于存储1分片的数据备份, 与clickhouse1的数据相同。用于存储2分片的数据备份, 与clickhouse3的数据相同。
2023-06-27 17:23:21
2488
1
原创 ClickHouse部署系列1: ZooKeeper集群部署
Apache ZooKeeper是一个分布式的开源协调服务，用于分布式应用程序。ZooKeeper允许你读取、写入和观察数据的更新。数据以文件系统的形式组织，并复制到整个集群（一组ZooKeeper服务器）的所有ZooKeeper服务器。所有对数据的操作都是原子的和顺序一致的。ZooKeeper通过使用Zab共识协议在整个集群的所有服务器上复制状态机来确保这一点。元数据存储：ZooKeeper 存储了 ClickHouse 集群的元数据，包括表结构、分片配置、副本配置等。
2023-06-27 17:20:05
2108
原创 第四篇：k8s之节点kubelet预留资源配置
最近k8s在使用过程中遇到这样一个问题由于Pod没有对内存及CPU进行限制，导致Pod在运行过程中所需的内存超过了节点本身的内存（OOM），从而导致节点崩溃，使得运行在该节点上的所有Pod都失败了为了解决这个问题以及提高节点的稳定性，综合k8s的一些特性，方案如下每个节点为系统守护进程预留计算资源(CPU、内存、磁盘空间)Pod驱逐：节点资源到达一定使用量，开始驱逐 pod每个Pod需指定所需资源。
2023-03-27 18:16:34
3191
4
原创 第三篇：k8s之容器存储接口(CSI)ceph-csi-rbd部署
容器存储接口（Container Storage Interface），简称 CSI，CSI 试图建立一个行业标准接口的规范，借助 CSI 容器编排系统（CO）可以将任意存储系统暴露给自己的容器工作负载。csi 卷类型是一种 out-tree（即跟其它存储插件在同一个代码路径下，随 Kubernetes 的代码同时编译的） 的 CSI 卷插件，用于 Pod 与在同一节点上运行的外部 CSI 卷驱动程序交互。部署 CSI 兼容卷驱动后，用户可以使用 csi 作为卷类型来挂载驱动提供的存储。
2023-02-16 14:18:18
2625
原创 第二篇：k8s之ingress-nginx-controller与metallb部署
官方介绍Nginx：反向代理负载均衡器：Ingress Controller 可以理解为控制器，它通过不断的跟 Kubernetes API 交互，实时获取后端 Service、Pod 等的变化，比如新增、删除等，然后结合 Ingress 定义的规则生成配置，然后动态更新上边的 Nginx 负载均衡器，并刷新使配置生效，来达到服务自动发现的作用。Ingress：Ingress 则是定义规则，通过它定义某个域名的请求过来之后转发到集群中指定的 Service。
2023-02-06 11:36:49
2267
2
原创 第五篇：k8s集群运维之master节点无法调度问题
k8s集群创建完成后，在部署应用的时候发现master节点无法部署pod, 解决步骤如下。如果出现NoSchedule，说明节点不允许被调度，需要调整node的角色。
2023-02-03 10:42:19
1391
原创 开篇：使用kubeadm搭建高可用k8s集群
基于haproxy + keepalived，kubeadm安装高可用kubernets 1.24 集群
2023-02-02 18:45:58
1238
原创 nc-服务器间文件传输
nc-服务器间文件传输nc软件介绍安装使用服务器之间文件传输server(服务器A)client(服务器B)nc软件介绍nc，全名叫 netcat，它可以用来完成很多的网络功能，譬如端口扫描、建立TCP/UDP连接，数据传输、网络调试等等，因此，它也常被称为网络工具的瑞士军刀。安装Linux系统一般不会默认安装该软件，在使用时需要手动安装，安装脚本如下# centosyum install nc# ubuntuapt-get install netcat使用nc [-46Ddhklnr
2022-02-09 11:18:36
1894
原创 Python玩转图像格式转换
最近在做图片相关的工作，面对各种格式的图片转换，在OpenCV跟Pillow之间来回切换。觉得有必要把这些东西记录下来，以备不时之需。首先介绍一下图片的常见三种存储格式。1、图片的存储格式不同的场景，经常会使用不同存储格式的图片。在给人们展示时，一般是采用文件的方式进行存储，常见的有jpg,png,jpeg等等文件格式，便于人们区分理解。在计算机网络中传输时，一般是采用字节流的方式进行存...
2019-10-23 19:33:04
20521
2
原创 [评测系列第一篇]计算机视觉：图像分类、目标检测、目标识别评测指标介绍
随着人工智能如火如荼的发展，无论是学界的模型创新，还是业界的模型应用，如何去评价模型的优劣都是十分重要的工作。每年业界或学术界都会举办很多AI方面的比赛，而作为量化所有参赛者的成绩则是运用他们的模型在给定的测试集下计算出对应的指标。我给大家深入分析下CV场景下评测指标的含义。无论您是作为开发工程师，还是算法工程师，希望这篇文章能够让你弄清楚这些指标的含义。1、图像分类指标分类模型的指标主要有...
2019-08-14 17:52:34
2672
原创 第六篇：Ceph集群常见问题处理方法
1 cephfs客户端挂载失败1.1 kernel client挂载失败即执行下述挂载命令sudo mount -t ceph IP1,IP2,IP3:6789:/ /mnt/mycephfs出现的错误。wrong fs typemount: wrong fs type, bad option, bad superblock on 11.154.211.212:6789:/,...
2019-08-05 22:38:26
9254
原创 第五篇: Ceph集群运维
常用操作本部分介绍了 Ceph 集群的常用操作，包括进程的起停、集群的监控、用户管理、MDS/MON/OSD 的增加和删除、存储池(pool)的操作、修改集群的配置，以及 Crushmap 的管理、修改 Monitor 的 IP 等操作。1 MDS增删1.1 新增元数据服务器(metadata server)创建一个存储mds的数据节点：/var/lib/ceph/mds/ceph-{...
2019-08-05 22:31:26
3728
原创 第四篇：创建cephfs服务
基于第三篇，我们搭建好了一个健康的ceph集群：3个mon节点组成的mon集群9个osd节点组成的osd集群3个mgr节点(ceph luminous版本才有的)3个mds服务(cephfs使用)[root@ceph-1 ceph]# ceph -s cluster: id: c165f9d0-88df-48a7-8cc5-11da82f99c93 hea...
2018-11-29 09:37:11
1271
原创 第三篇：手动部署Ceph集群(luminous)
第二篇介绍了部署Ceph的环境准备工作，本篇主要内容是介绍手动部署Ceph的全过程。环境集群环境第二篇，我们创建了3台虚拟机，虚拟机配置如下：[root@ceph-1 ~]# lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTsda 8:0 0 100G 0 disk├─sda1 ...
2018-11-29 09:29:37
2841
1
原创 第二篇：Ceph集群环境准备
第一篇简单介绍了Ceph的架构，让我们对Ceph有了一个初步的印象。接下来，我将在MAC上介绍如何基于本机搭建ceph集群及cephfs、cephrgw、cephrbd服务。集群规划：生产环境至少3台物理机组成Ceph集群双网卡测试环境1台主机也可以单网卡也可以本文使用虚拟机搭建集群，集群设置如下：mon集群：3台虚拟机组成mon集群osd集群：...
2018-11-29 09:21:43
1949
原创 第一篇：Ceph简介
Ceph架构简介最近工作中要使用ceph作为底层存储架构，故对其进行了一番调研，本篇乃ceph系列的第一篇。CephCeph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenSt...
2018-11-28 10:32:37
2638
原创 Convolutional Neural Networks: Step by Step
Convolutional Neural Networks: Step by StepWelcome to Course 4’s first assignment! In this assignment, you will implement convolutional (CONV) and pooling (POOL) layers in numpy, including both forw
2017-11-10 09:01:53
2064
原创 Convolutional Neural Networks: Application
各位好，这是吴恩达第四期课程week1的第二份作业 Welcome to Course 4’s second assignment! In this notebook, you will:Implement helper functions that you will use when implementing a TensorFlow modelImplement a fully funct
2017-11-08 09:35:29
1875
原创 最后一个单词的长度
描述：给定一个字符串， 包含大小写字母、空格' '，请返回其最后一个单词的长度。如果不存在最后一个单词，请返回 0 。样例：给定 s = "Hello World"，返回 5。代码：class Solution {public: /** * @param s A string * @return the length of last
2017-03-23 09:06:28
375
原创 岛屿的个数
描述：给一个01矩阵，求不同的岛屿的个数。0代表海，1代表岛，如果两个1相邻，那么这两个1属于同一个岛。我们只考虑上下左右为相邻。样例在矩阵：[ [1, 1, 0, 0, 0], [0, 1, 0, 0, 1], [0, 0, 0, 1, 1], [0, 0, 0, 0, 0], [0, 0, 0, 0, 1]]中有 3 个岛.
2017-03-23 09:00:46
1139
原创 有效的括号序列
描述：给定一个字符串所表示的括号序列，包含以下字符： '(', ')', '{', '}', '[' and ']'， 判定是否是有效的括号序列。样例括号必须依照 "()" 顺序表示， "()[]{}" 是有效的括号，但 "([)]"则是无效的括号。解题思路：使用栈class Solution {public: /** * @para
2017-03-23 08:52:02
394
原创 Java中this与super的区别
this与super关键字在java中构造函数中的应用： **super()函数** super()函数在子类构造函数中调用父类的构造函数时使用，而且必须要在构造函数的第一行，例如：class Animal { public Animal() { System.out.println("An Animal"); }}class Dog extends Anim
2016-12-05 23:23:39
40342
4
原创 Java中的Abstract Class与Interface
class: Java中的类，是对同一类对象实例的抽象 abstract class: Java中的抽象类，含有抽象方法的类 interface: Java 中的接口，是一种抽象类型，表示抽象方法的集合
2016-12-01 00:19:04
920
原创 Java 重写(Overrdie)跟重载(Overload)的区别
重写(Override):是指子类对父类相同的方法进行重写，并且需要保证方法的参数相同，且返回类型要兼容； 需要注意的是： 1、重写(覆盖）发生在子类的方法中。 2、方法重写需要保证重写的方法跟原方法参数相同，返回类型要兼容。 3、重写不能降低方法的存取权限；例如父类的方法是public类型，那么子类的方法就不能是private类型的。 3、重写是实现多态的一种方法。 方法重写的例子，同
2016-11-29 00:12:21
723
转载 C++文件操作详解（ifstream、ofstream、fstream）
C++文件操作详解（ifstream、ofstream、fstream） C++ 通过以下几个类支持文件的输入输出：ofstream: 写操作（输出）的文件类 (由ostream引申而来)ifstream: 读操作（输入）的文件类(由istream引申而来)fstream: 可同时读写操作的文件类 (由iostream引申而来) 打开文件(Open a file)对这些
2015-03-31 22:19:52
338
转载 C++的精髓——虚函数
虚函数为了重载和多态的需要，在基类中是由定义的，即便定义是空，所以子类中可以重写也可以不写基类中的函数！纯虚函数在基类中是没有定义的，必须在子类中加以实现，很像java中的接口函数！虚函数引入原因：为了方便使用多态特性，我们常常需要在基类中定义虚函数。class Cman{public:virtual void Eat(){……};void Move();p
2015-03-22 21:48:21
310
转载 C++ 虚函数表解析
C++ 虚函数表解析 陈皓http://blog.csdn.net/haoel 前言 C++中的虚函数的作用主要是实现了多态的机制。关于多态，简而言之就是用父类型别的指针指向其子类的实例，然后通过父类的指针调用实际子类的成员函数。这种技术可以让父类的指针有“多种形态”，这是一种泛型技术。所谓泛型技术，说白了就是试图使用不变的代码来实现可变的算法。比如：模板技术，R
2015-03-22 21:44:42
238
转载 决策树学习笔记整理
算法原理决策树（Decision Tree）是一种简单但是广泛使用的分类器。通过训练数据构建决策树，可以高效的对未知的数据进行分类。决策数有两大优点：1）决策树模型可以读性好，具有描述性，有助于人工分析；2）效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。 如何预测先看看下面的数据表格：ID拥有房产
2015-03-16 20:14:42
367
转载 PageRank算法简介及Map-Reduce实现
PageRank对网页排名的算法，曾是Google发家致富的法宝。以前虽然有实验过，但理解还是不透彻，这几天又看了一下，这里总结一下PageRank算法的基本原理。一、什么是pagerankPageRank的Page可是认为是网页，表示网页排名，也可以认为是Larry Page(google 产品经理)，因为他是这个算法的发明者之一，还是google CEO（^_^）。PageRa
2015-03-16 19:44:35
987
原创 4Sum
问题描述：解决思路：算法1：O(n^3)我们可以仿照3sum的解决方法。这里枚举第一个和第二个数，然后对余下数的求2sum，算法复杂度为O（n^3）class Solution {public: vector > fourSum(vector &num, int target) { int n = num.size();
2015-01-16 16:51:39
296
原创 3Sum Closest
问题描述：Given an array S of n integers, find three integers in S such that the sum is closest to a given number, target. Return the sum of the three integers. You may assume that each input would hav
2015-01-16 16:25:08
245
原创 3Sum
问题描述：Given an array S of n integers, are there elements a, b, c in S such that a + b + c = 0? Find all unique triplets in the array which gives the sum of zero.Note:Elements in a tri
2015-01-15 18:02:04
285
原创 Two Sum
问题描述：Given an array of integers, find two numbers such that they add up to a specific target number.The function twoSum should return indices of the two numbers such that they add up to the
2015-01-15 16:28:04
310
原创 Excel Sheet Column Number
问题描述：Related to question Excel Sheet Column TitleGiven a column title as appear in an Excel sheet, return its corresponding column number.For example: A -> 1 B -> 2 C -> 3
2015-01-14 16:31:15
366
原创 Palindrome Number
问题描述：Determine whether an integer is a palindrome. Do this without extra space.click to show spoilers.Some hints:Could negative integers be palindromes? (ie, -1)If you are thinking o
2014-12-23 15:26:53
236
原创 Intersection of Two Linked Lists
问题描述：For example, the following two linked lists:A: a1 → a2 ↘ c1 → c2 → c3 ↗ B: b1 → b2 → b3begin to in
2014-12-22 15:09:51
254
原创 Majority Element
问题描述：Given an array of size n, find the majority element. The majority element is the element that appears more than ⌊ n/2 ⌋ times.You may assume that the array is non-empty and the majori
2014-12-22 14:12:20
371
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人