- 博客(109)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【K8S in Action】第八章 从应用访问pod元数据
通过环境变量或者configMap和secret卷向应用传递配置数据。这对于pod调度、 运行前预设的数据是可行的。对于那些不能预先知道的数据， 比如pod的IP、 主机名或者是pod自身的名称。经在别处定义的数据， 比如pod的标签和注解。不想在多个地方重复保留同样的数据。
2024-01-19 21:18:46
1199
1
原创 【K8S in Action】第七章 ConfigMap和Secret配置应用程序
Kubemetes 将配置选项分离到单独的资源对象 ConfigMap 中， 本质上就是键值对映射，值可以是短字面量，也可以是完整的配置文件。了解shell与exec形式的区别，上述两条指令均支持以下两种形式，两者的区别在于指定的命令是否是在shell中被调用。ConfigMap 创建自多种选项：完整文件夹、单独文件、自定义键名的条目下的文件（替代文件名作键名） 及字面量。Secret 结构与 ConfigMap类似， 均是键／值对的映射。容器中运行的完整指令由两部分组成：命令与参数。
2023-12-30 22:35:43
700
原创 【K8S in Action】第六章 卷：将磁盘挂载到容器
每个新容器都是通过在构建镜像时加入的详细配置文件来启动的。将此与pod 中容器重新启动的现象结合起来。存储卷是 pod 的一个组成部分。这意味着在 pod 启动时创建卷， 并在删除 pod时销毁卷。因此， 在容器重新启动期间， 卷的内容将保持不变， 在重新启动容器之后， 新容器可以识别前一个容器写入卷的所有文件。另外，如果一个 pod 包含多个容器， 那这个卷可以同时被所有的容器使用。
2023-12-24 22:45:54
1281
原创 【K8S in Action】服务：让客户端发现pod 并与之通信（2）
要告诉Kubemetes无论pod的准备状态如何， 希望将所有pod 添加到服务中。kubectl create 创建服务之后，可以 通过kubectl get和kubectl describe来查看服务，你会发现它没有集群IP,并且它的后端 包含与pod选择器匹配的就绪 pod。–generator=run-pod/vl 选项中， 该选项让 kubec七1直接创建pod, 而不需要通过 ReplicationController 之类的资源来创建。• Exec 探针，执行进程的地方。
2023-12-24 12:53:30
221
原创 【K8S in Action】服务：让客户端发现pod 并与之通信（1）
服务并不是和 pod 直接相连的。相反，有一种资源介于两者之间－—-它就是 Endpoint 资源。服务的 endpoint 与服务解耦后，可以分别手动配置和更新他们。
2023-12-10 20:21:17
300
原创 【深入剖析K8s】第五章 1 为什么我们需要Pod
在这个Pod中Infra容器永远是第—个被创建的容器，用户定义的其他容器则通过Jojn Network Namespace的方式与Infra容器关联在—起。Pod这种‘超亲密关系”容器的设计思想’实际上就是希望，当用户想在一个容器里运行多个功能无关的应用时，应该优先考虑它们是否更应该被描述成—个Pod里的多个容器。如此看来—个有A、B两个容器的Pod不就等同于一个容器（容器A）共享另外—个容器（容器B）的网络和Volume的做法吗？Infra容器—定要占用极少的资源，所以它使用的是—个非常特殊的镜像’
2023-12-08 22:49:21
303
原创 【深入剖析K8s】第三章 核心设计与架构
可以看到,Kubemetes项目并没有像其他项目那样’为每—个管理功能创建—条指令,然后在项目中实现其中的逻辑.这种做法的确可以解决当前的问题,但是在更多的问题出现之后往往会力不从心。Kubemetes项目最主要的设计思想就是,以统—的方式抽象底层基础设施能力（比如计算、存储、网络）,定义任务编排的各种关系（比如亲密关系｀访问关系｀代理关系）。声明式API是Kubemetes最核心的设计理念,正因为有了它’我们基于Kubemetes构建的上层平台才有了一致的编程范式和交互编程界面。
2023-12-06 21:10:48
214
原创 【深入剖析K8s】容器技术基础（三）：深入理解容器镜像 文件角度
可能你立刻就能想到,这应该是＿个关于MountNamespace的问题:容器里的应用进程理应‘看到”一套完全独立的文件系统°这样它就可以在自己的容器目录（比如／tmp）下进行操作’而完全不会受宿主机以及其他容器的影响。容器迸程哪些目录需要重新挂载’比如这个／tmp目录。可以看到’容器里的／tmp目录是以tmpfS方式单独挂载的。容器以tmpfS（内存盘）格式重新挂载／tmp目录。
2023-11-26 14:16:07
403
原创 【深入剖析K8s】容器技术基础（二）：隔离与限制
在上一篇文章中，我详细介绍了 Linux 容器中用来实现“隔离”的技术手段：Namespace。而通过这些讲解，你应该能够明白，Namespace 技术实际上修改了应用进程看待整个计算机“视图”，即它的“视线”被操作系统做了限制，只能“看到”某些指定的内容。但对于宿主机来说，这些被“隔离”了的进程跟其他进程并没有太大区别。
2023-10-30 16:55:46
299
原创 1 Linux网络虚拟化
和其他namespace一样，network namespace可以通过系统调用来创 建，我们可以调用Linux的clone（）（其实是UNIX系统调用fork（）的 延伸）API创建一个通用的namespace，然后传入CLONE_NEWNET参数 表面创建一个network namespacenetwork namespace的增删改查功能已经集成 到Linux的ip工具的netns子命令中，因此大大降低了初学者的体验门槛。
2023-06-03 18:41:33
501
原创 Kubernetes集群管理工具kubectl 2022-5-25
1 概述kubectl是Kubernetes集群的命令行工具，通过kubectl能够对集群本身进行管理，并能够在集群上进行容器化应用的安装和部署2 命令格式命令格式如下kubectl [command] [type] [name] [flags]参数command：指定要对资源执行的操作，例如create、get、describe、deletetype：指定资源类型，资源类型是大小写敏感的，开发者能够以单数 、复数 和 缩略的形式2.1 基础命令create 通过文件名或标准输入创
2022-05-25 22:59:42
181
1
原创 Kubernetes 功能概述和架构 2022-5-4
一. Kubernetes 简介Kubernetes，首字母 K，尾字母 s，中间 8 个字母，简称 K8s。二、 Kubernetes 功能目前只需要知道 Kubernetes 有以下 9 个功能，关于这 9 个功能，后面详细介绍。1 自动装箱基于容器对应用运行环境的资源配置要求自动部署应用容器2 自我修复当容器失败时，会对容器进行重启当所部署的 Node 节点有问题时，会对容器进行重新部署和重新调度当容器未通过监控检查时，会关闭此容器直到容器正常运行时，才会对外提供服务3 水平扩展
2022-05-04 22:04:49
207
原创 我的创作纪念日3周年 2022-04-22
机缘最初用于日常学习的记录，第一步后并没有持续的创作。后来听到以下的信息，深以为然。自己学习的东西需要持久化，否则很快就会忘记。同时结构化，系统化的知识体系便于快速的掌握新知识，梳理学习思路。同时可以建立个人的影响力。这才开始系统化的积累，系统在在21年里总结90余篇，22年期望能记录80篇，每月记录10篇，加油。收获最主要是个人知识体系的建立与学习；增强了自己的技能，为新的工作做好的储备。日常22年新工作后放松了2个月时间。闲暇时间学习。憧憬按照优先级顺序：robot Framework
2022-04-22 21:54:03
1678
2
原创 Kubernetes使用与集群搭建 2022-3-13
Kubernetes使用与集群搭建一、 Kubernetes介绍1.1 容器编排之战1.2 Kubernetes核心功能1.2.1 核心对象资源1.2.3 整体架构Master NodeWorker Node一、 Kubernetes介绍1.1 容器编排之战当前的应用趋势，Google开发，提供整套机制，解决应用部署的各种疑难问题。目标：帮你实现应用的智能化部署。（能够自动化扩容与缩容）1.2 Kubernetes核心功能1 在可用的机器上创建集群。2 部署应用Pod（对docker 的
2022-03-13 16:10:23
3096
原创 Docker介绍与操作 2022-3-13
一、 Docker 介绍1.1 容器化部署传统部署： 存在某个APP 资源占用过多，其他APP资源不足的问题。虚拟机： 扩容与缩容，不方便，找个机器然后部署。容器化部署： 没有操作系统与虚拟机相比，资源占用小。1.2 容器解决什么问题屏蔽环境差异。便于打包分发。方便迁移方便分发节省资源，启动迅速。运行速度1.3 容器的结构镜像： 打好的包为镜像 (docker build)仓库： 存放镜像的仓库 (docker pull) 从远端仓库拉取镜像容器： 运行起来的镜像 (d
2022-03-13 13:21:03
2086
原创 词向量模型 Word2Vec 2022-1-18
人工智能基础总目录词向量模型一 One hot编码缺点降低维度1 PCA2 SVD二 Word2vec2.1 主流计算方法1 Skip gram2 CBOW2.2 计算方面的优化方法1 Tree softmax2 Negative Sampling三 Glove 模型四 句子向量Word embedding 是自然语言处理中的重要环节，它是一种文本表示方法，并不具体指某种算法或模型。Word embedding 的任务是把不可计算的文本转换成可以计算的向量 。研究表明，汉字的序顺影并不响阅读。研还究表
2022-01-18 21:50:02
975
原创 句子理解主题模型概率图模型 2022-1-18
人工智能基础总目录自然语言处理初步一 句子理解1 分词与分句2 词性识别3 命名实体识别4 依存句法分析5 序列标注1 贝叶斯图2 马尔可夫图1 条件随机场2 最大团3 边缘分布4 条件概率二 主题模型有监督模型无监督模型LSAPLSALDA三 概率图模型3.1 贝叶斯概率图1 条件独立2 D分离定理3.2 马尔可夫概率图1 最大团一 句子理解1 分词与分句中文语言特有的需求（分词）2 词性识别3 命名实体识别命名实体识别结果： 人名，地名，机构名等的识别。4 依存句法分析约束性公理
2022-01-18 15:46:39
834
原创 向量空间模型 2022-1-17
人工智能基础总目录向量空间模型一 向量空间模型1.1 向量空间模型1.2 词、文档向量的表示1 词频2 归一化词频3 二值化词频4 TF-IDF5 TextRank二 向量空间模型构建2.1 共现矩阵2.2 词向量2.2.1 用处1 逻辑运算2 跨语言匹配3 翻译4 图像匹配和描述5 泛化2.2.2 词向量的获取方法1 Skip-gram2 CBOW三 距离计算3.1 欧式距离3.2 余弦距离3.3 Jaccard四 降维技术4.1 PCA4.2 通用方法总结 :4.2 T-SNE一 向量空间模型1
2022-01-17 16:34:09
728
原创 RNN循环神经网络 2022-1-12
人工智能基础总目录RNN一、 出现背景二、 RNN 模型说明三、 LSTM 模型3.1 PEEPHOLE的LSTM四、 GRU五、存在问题六、 LSTM 代码实践6.1 构造数据集6.2 搭建模型6.3. 模型训练 与预测一、 出现背景序列问题， 输入的前后元素存在相关性，全连接神经网络无法很好的解决。wx + b二、 RNN 模型说明如果把上面有W的那个带箭头的圈去掉，它就变成了最普通的全连接神经网络。x是一个向量，它表示输入层的值（这里面没有画出来表示神经元节点的圆圈）；s是一个向量，它
2022-01-12 13:46:05
408
原创 全连接神经网络与3层神经网络搭建 2022-1-11
人工智能基础总目录深度神经网络一、概念说明1.1 各种激活函数优缺点1.2 拓扑排序1.3 初始化原则与说明1.4 优化器介绍1 Gradient with momentum2 RMS-prop (Root mean square prop)3 ADAM二、3层神经网络搭建三、物体分类模型训练1 下载数据2 图片进行可视化展示3 神经网络搭建4 模型训练5 模型测评1、前向传播，反向传播作用是什么？2、训练出模型，去预测，预测时候需要求Loss么？ 需要做反向传播么？3、求Loss 对wi 的偏导，
2022-01-11 22:01:32
1244
原创 机器学习 随机森林与集成模型 2022-01-10
人工智能基础总目录随机森林-集成学习一、随机森林二、Ensemble learning三、boostingAdaptive boosting（可调节的）Gradient BoostingXgboost 和 LightBGM四、 代码实践4.1 决策树4.2 随机森林4.3 GBDT4.4 Bagging4.5 Boosting集成模型一、随机森林决策树在复杂问题上效果不好，想出了一种方法，使用部分数据去掉某些行，某些列做出小决策树。每个决策树的关注点不一样，最后将小决策树汇总。最终实现的效果会比较好
2022-01-10 21:12:53
638
原创 朴素贝叶斯分类器 2022-1-10
人工智能基础总目录贝叶斯分类原理一、引入案例二、实现原理三、模型优缺点优点： 1 容易实现， 计算快， 可计算大数据量。缺点： 特征全部进行统计无选择， 忽略特征之间的相关性。一、引入案例计算法庭的误判概率： P(A|evident） = （ P(evident | A) * P(A) ） / P(evident)事件A 为 无罪的人，evident 为法院判决有罪的人在事件中A 发生的概率 = (1-0.0002)* 0.001 /( 0.0002 * 0.999 + (1-0.00
2022-01-10 13:24:00
812
原创 paddlepaddle 使用GPU 计算，安装cuDNN 和 CUDA记录
paddlepaddle 使用GPU 计算，安装cuDNN 和 CUDA记录根据paddlepaddle 指导文档选择安装版本，早点选择10.2不用浪费半天。查看N卡版本信号如果你使用的是安培架构的GPU，推荐使用CUDA11以上。如果你使用的是非安培架构的GPU，推荐使用CUDA10.2，性能更优。1 查询版本CPU, 查看10.2 是否可以，否则相应降低版本。2 下载CUDA 安装， 追加最新版本的更新。3 下载 cuDNN 10.2 版本， 后 需将 7 版本的同样需要下载。4 pip
2022-01-06 18:53:36
2305
1
原创 第二节 Redis Cluster 集群与性能调优 2022-1-2
Java组件总目录Redis Cluster 集群与性能调优Java组件总目录一 Redis-cluster 集群1.1 RedisCluster 集群创建1.2 工作原理节点说明1.3 Redis-cluster 投票:容错节点失效判断集群失效判断1.4 优缺点1.5 主从切换1.6 副本漂移1.7 扩展集群1 添加节点2 分配slot1.8 添加从节点1.9 收缩集群1 首先删除master对应的slave2 清空master的slot3 下线（删除）节点二 Redis数据存储的细节2.1 内存结构2
2022-01-04 19:22:43
1261
2
原创 第一节 Redis 使用及哨兵集群 2022-1-2
Java组件总目录Redis 高级数据类型及基础特性Java组件总目录一 Redis基本数据类型使用场景1 String2 List 存储列表结构3 Hash4 Set5 Zset二级目录三级目录二 Redis 的补充数据类型1 BitMap2 HyperLogLog3 Geospatial三 Redis 消息模式 （了解）3.1 队列模式注意事项：缺点：3.2 发布订阅模式四 Redis Stream4.1 消息队列相关命令：4.2 消费者组相关命令：五 Redis 事务5.1 事务失败处理Redis
2022-01-03 18:48:40
834
2
原创 Nignx 应用与功能实现 2022-1-1
Java调优进阶总目录Nginx 核心功能与配置Java调优进阶总目录1 请求定位1.1 资源访问1.2 路径匹配优先级1.2.1 普通匹配1.2.2 长路径相匹配1.2.3 正则匹配1.2.4 短路匹配1.2.5 精确匹配1.3 缓存配置1.3.1 http{}模块的缓存全局定义proxy_cache_pathproxy_temp_path1.3.2 location{}模块的缓存局部定义1 proxy_cache mycache2 proxy_cache_key3 proxy_cache_bypass
2022-01-01 20:49:34
823
5
原创 Nginx 介绍、安装与参数调优 2021-12-31
Java组件总目录Nginx 核心功能与配置Java组件总目录一 Nginx 概述1 代理服务器1.1 正向代理1.2 反向代理2 Nginx服务器特点2.1 高并发2.2 低消耗2.3 热部署2.4 高可用2.5 高扩展3 Nginx 的下载与安装3.1 安装4 Nginx 命令说明4.1 测试配置文件命令4.2 停止命令4.3 平滑重启命令 nginx –s reload二 Niginx 性能调优1 零拷贝（Zero Copy）1.1 传统拷贝方式1.2 零拷贝方式1.3 Gather Copy DM
2022-01-01 11:48:26
1058
原创 第2节 Java8 Stream 流编程(Lambda 表达式） 2021-12-29
Java组件总目录Java8 Stream 流编程Java组件总目录1 Stream 概述1 注意的问题2 惰性求值2 Stream 流的创建3 并行处理与串行处理4 Stream 流的中间操作1 无状态操作1 map(Function1 Stream 概述它属于结构化编程的一种，主要思想是把对数据的一连串操作通过链式函数调用的方式来实现。JDK8 中，Stream 是一个接口，其中包含了很多的方法，这些方法可以对流中的数据进行操作。这些方法共分为三类：创建 Stream 接口对象的方法，这些方
2021-12-30 10:47:32
435
原创 第1节 Java8 Stream 流编程(Lambda 表达式） 2021-12-29
Java组件总目录Java8 Stream 流编程Java组件总目录一、Lambda 表达式1 无参数无返回值2 有参数有返回值3 函数式接口与默认方法二、函数式接口编程1 Predicate 接口2 Consumer 接口3 Supplier 接口4 Function 接口5 UnaryOperator 接口6 BiFunction 接口7 BinaryOperator 接口三、Lambda 方法引用一、Lambda 表达式Lambda表达式是JDK8中出现的新特性，其是函数接口的一种实现方式
2021-12-29 20:05:25
387
原创 第5节 MySQL 性能优化篇 2021-12-28
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、性能优化的思路二、慢查询日志开启慢查询功能慢查询日志格式分析慢查询日志的工具三、查看执行计划参数说明1 id2 select_type（重要）3 table4 partitions5 type（重要）1 const（重要）system2 eq_ref（重要）3 ref4 fulltext5 ref_or_null6 unique_subquery7 index_subquery8 range（重要）9 index_merge10
2021-12-28 18:42:43
639
原创 第3节 MySQL 索引数据结构及使用 2021-12-28
Java组件总目录MySQL 索引数据结构及使用Java组件总目录一、索引介绍二、索引的优缺点1.优势2.劣势三、索引的数据结构1.索引的要求2.数据结构的选用1 Hash表2 二叉排序树（二叉查找树）3 平衡二叉查找树4 B树：改造二叉树主要特点：B树的缺点：5 B+树：改造B树等值查询过程范围查询过程四、MySQL索引实现主键索引辅助索引组合索引一、索引介绍官方介绍索引是帮助MySQL 高效获取数据的数据结构 。更通俗的说，数据库索引好比是一本书前面的目录，能加快数据库的查询速度 。一般来说
2021-12-28 16:53:45
710
原创 第4节 MySQL 锁的分类及实现原理 2021-12-25
Java组件总目录提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档MySQL 锁的分类Java组件总目录一、Upate 语句执行整体流程二、MySQL锁介绍1.锁的粒度分类2.锁的功能分类共享锁Shared Locks（S锁）:排他锁Exclusive Locks（X锁）:三、 全局锁四、MySQL表级锁1. 表读、写锁读锁：写锁2. 元数据锁3. 意向锁4. 自增锁五、MySQL行级锁1 行锁介绍按照锁定范围划分按照功能划分2 意向锁 Intention Locks2 作用3 记录锁
2021-12-25 14:18:26
621
原创 第2节 Mysql事务及事务实现原理 2021-12-24
Java组件总目录Mysql 事务Java组件总目录一、插入数据执行流程二、事务概述三、事务的隔离级别四、事务和MVCC底层原理详解1 思考：丢失更新2 解决方案解决方案1：LBCC解决方案2：MVCC3 InnoDB的MVCC实现1 undo log更新数据的版本链结构2 read viewReadView 的主要变量不同事务隔离级别的实现方式五、 MVCC下的读操作1.当前读2. 快照读六、 事务回滚和数据恢复redo log数据库事务的整个流程正常情况未提交崩溃提交后崩溃一、插入数据执行流程
2021-12-24 21:06:43
739
原创 第1节 MySQL 架构篇 2021-12-24
Java组件总目录MySQL 架构篇Java组件总目录一、mysql文件结构1. 日志文件（顺序IO）1）错误日志（errorlog）2）二进制日志（bin log）3）通用查询日志（general query log）4）慢查询日志（slow query log）2. 数据文件（随机IO）redolog文件：InnoDB数据文件：MyIsam数据文件二、mysq的架构三、MySqlServer层对象Sql语句执行流程四、InnoDB存储引擎1 InnoDB架构图2 InnoDB磁盘文件 （ON-Disk
2021-12-24 13:38:59
1602
原创 FastDFS集群同步合并压缩机制介绍
FastDFS整合Nginx与集群问题说明一、FastDFS 的 Nginx 模块原理分析1.1 模块介绍二、集群下的文件同步2.1 12.1何时开启同步线程2.2 同步规则2.3 同步流程1. Binlog 目录结构Mark 文件Binlog 文件2.4 同步过程1 启动同步线程2 同步线程执行过程2.5 文件同步时间戳2.6问题解释三、 合并存储1 合并存储好处海量小文件存储问题1 元数据管理低效2 数据布局低效3 IO访问流程复杂2 合并存储介绍3 合并存储介绍概念区分Trunk文件内部结构合并存储配
2021-12-23 15:37:07
2973
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人