- 博客(48)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 试用百度云服务器
修改百度云BBC主机名[root@instance-ga092k8k ~]# hostnamectl set-hostname yuer# 重启连接，成功[root@yuer ~]# cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6
2020-08-29 15:29:43
300
转载 CentOS7安装单机版RabbitMQ集群
目前我已经安装了RabbitMQ，参见这里，在此基础上安装单机集群。单机集群搭建1 配置集群前，先确保第一次安装的rabbitmq服务关闭rabbitmqctl stop# 这里就是把我已经安装好了的RabbitMQ先停掉2 在一台服务器上启动3个节点的集群RABBITMQ_NODE_PORT=5672 RABBITMQ_SERVER_START_ARGS="-rabbitmq_management listener [{port,15672}]" RABBITMQ_NODENA.
2020-08-27 14:06:38
163
转载 TCP的ACK原理和延迟确认机制
由于通信过程的不可靠性，传输的数据不可避免的会出现丢失、延迟、错误、重复等各种状况，TCP协议为解决这些问题设计了一系列机制。这个机制的核心，就是发送方向接收方发送数据后，接收方要向发送方发送ACK（回执）。如果发送方没接收到正确的ACK，就会重新发送数据直到接收到ACK为止。比如：发送方发送的数据序号是seq，那么接收方会发送seq + 1作为ACK，这样发送方就知道接下来要发送序号为seq + 1的数据给接收方了。 ...
2020-08-26 19:00:40
4943
转载 如何保证消息队列的高可用
RabbitMQRabbitMQ有三种模式：单机模式，普通集群模式，镜像集群模式（1）单机模式单机模式平常使用在开发或者本地测试场景，一般就是测试是不是能够正确的处理消息，生产上基本没人去用单机模式，风险很大。（2）普通集群模式普通集群模式就是启动多个RabbitMQ实例。在你创建的queue，只会放在一个rabbtimq实例上，但是每个实例都同步queue的元数据。在消费的时候完了，上如果连接到了另外一个实例，那么那个实例会从queue所在实例上拉取数据过来。这种方式确实很麻烦，也
2020-08-26 17:07:02
103
转载 RabbitMQ集群并处理失败
RabbitMQ集群让rabbitmq变成高可用性的2种方法：设置rabbit集群 扩展程序的规模以提升性能rabbitmq 内建集群的设计用于完成2个目标：允许消费者和生产者在rabbit集群节点崩溃的情况下继续运行 通过添加更多的节点来线性扩展消息通信吞吐量rabbitmq通过Erlang 提供的开放电信平台(Open Telecom Platform,OTP)分布式通信框架来巧妙的解决上面2个问题。当你失去一个rabbit节点，同时客户端能够重新连接到集群中的任意其他节点并继续
2020-08-26 14:18:27
462
原创 Win10安装Docker
下载安装包：https://hub.docker.com/?overlay=onboarding下载完成后安装，没有自定义安装好像，直接就完成了完成后，右下角可以看到Docker小图标右键图标可以进入到dashboard，还需要登录一下dockerhub现在还不知道怎么进去呢，不过可以先在Win10>CMD中可以查看docker版本尝试从HyperV进去，不行这样可以：在CMD运行一个容器，用他给的例子然后dashboard就有了，下面箭头就..
2020-08-26 10:23:41
90
转载 RabbitMQ工作原理
RabbitMQ是一个开源的消息代理软件。它接收生产者发布的消息并发送给消费者。它扮演中间商的角色，可以用来降低web服务器因发送消息带来的负载以及延时。RabbitMQ如何工作的？我们来简单看看RabbitMQ是如何工作的。首先来看看RabbitMQ里的几个重要概念：生产者（Producer）：发送消息的应用。 消费者（Consumer）：接收消息的应用。 队列（Queue）：存储消息的缓存。 消息（Message）：由生产者通过RabbitMQ发送给消费者的信息。 连接（Connec
2020-08-25 22:33:37
1554
转载 OpenStack Nova核心组件和RabbitMQ通信流程分析
前言云计算从资源提供类型可以分为IaaS（基础设施即服务）PaaS（平台即服务）和SaaS（软件即服务）三层。IaaS和PaaS相辅相成，目前云计算商业领域的各大公有云厂商一般都会提供IaaS和PaaS层的资源和服务，比如AWS、Azure、GCP（GoogleCloud Platform）、IBM Cloud、阿里云、腾讯云、百度云、金山云、华为云等。IaaS厂商一般提供计算、存储和网络等基础资源，PaaS厂商一般面向开发者提供中间件、容器编排、应用部署等资源服务。在开源领域，
2020-08-25 15:19:36
828
转载 为什么openstack要用rabbitmq这类消息中间件来进行RPC这类的操作呢，直接rpc不行吗？
标题是别人提到问题，下面是两个回答。不一定正确，可以辅助理解先来看一下什么是RPC：RPC英文全称remote procedure call 翻译成中文的意思就是远程过程调用。RPC的出现其实主要是为了解决分布式系统间的通信透明性的问题。那什么是分布式系统的通信透明性问题？这个问题就是指分布式系统间的相互调用其实是基本进程间的显式消息交换，然而，消息的发送和接收过程无法隐藏。而通信的隐藏对于分布式中实现访问的透明性是极为重要的。试想一下比如你要想查看一个订单详情，然后订单系统部署了三台机器。假
2020-08-25 14:34:15
352
原创 CentOS安装RabbitMQ
1、首先安装Erlangyum install erlang# 需要epel源想安装指定版本的话可以去官网下载：https://www.erlang-solutions.com/resources/download.html2、安装RabbitMQyum install rabbitmq-server3、设置# 开机启动[root@node1 ~]# systemctl enable rabbitmq-server.service# 启动[root@node1 ~]#
2020-08-25 13:57:02
126
转载 RabbitMQ集群故障恢复详解
RabbitMQ的mirror queue(镜像队列)机制是最简单的队列HA(High Available高可用)方案，它通过在cluster的基础上增加ha-mode、ha-param等policy选项，可以根据需求将cluster中的队列镜像到多个节点上，从而实现高可用，消除cluster模式中队列内容单点带来的风险。高可用最关键的策略是消除单点故障。几点注意事项在使用镜像队列之前，有几点注意事项必须熟记于心(下文中将混用主节点和master，从节点和slave)：1. .
2020-08-25 10:06:25
1457
转载 消息队列常见的 5 个应用场景
消息队列常见的 5 个应用场景javajavascript消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。使用较多的消息队列有ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ。消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景：异步处理，应用解耦，流量削锋和消息通讯四个场景。1、异步处理场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有两种：.
2020-08-25 09:38:28
942
转载 为什么要使用消息队列
下面这段话来自VMWare的网站，个人觉得关于消息队列的作用的概括简明扼要，遂摘录至此：现代的互联网应用大量地使用了消息队列（Messaging）。消息队列不仅被用于系统内部组件之间的通信，同时也被用于系统跟其它服务之间的交互。消息队列的使用可以增加系统的可扩展性、灵活性和用户体验。非基于消息队列的系统，其运行速度取决于系统中最慢的组件的速度（注：短板效应）。而基于消息队列可以将系统中各组件解除耦合，这样系统就不再受最慢组件的束缚，各组件可以异步运行从而得以更快的速度完成各自的工作。刚知道原来虎扑网也
2020-08-24 20:15:20
182
转载 消息中间件
在分布式系统中，我们会广泛使用各种消息中间件来进行系统间的数据交换，以便于各系统之间实现异步解耦。目前市场上开源的消息中间件有很多：如Kafka、RabbitMQ、RocketMQ等等。什么是消息队列在正式介绍和对比Kafka、RabbitMQ、RocketMQ之前，我们来说说什么是消息队列（Message queue，简称MQ），从字面理解就是一个保存消息的一个容器。那么我们为何需要这样一个容器呢？其实就是为了解耦各个系统，我们来举个例子：有这么一个简单的场景，系统A负责生成userID，
2020-08-23 21:55:53
167
原创 CentOS虚拟机时间同步
用的HyperV创建的虚拟机CentOS时间不对，解决如下：首先安装ntpdate[root@compute ~]# rpm -qa|grep ntpdatentpdate-4.2.6p5-29.el7.centos.2.x86_64我这里已经安装好了，然后与NTP服务器同步一下[root@compute ~]# ntpdate -u ntp.api.bz23 Aug 18:49:13 ntpdate[78581]: step time server 114.118.7.161
2020-08-23 18:56:17
425
原创 企业微信添加机器人定时喊吃饭
今天早上，我在企业群里拉了几个小伙伴，建了个群聊，主要目的是每天中午三次握手确定吃饭的事情。结果一个小伙伴说，搞个机器人自动提醒吧，好有道理。省得大家工作太认真而忘记吃饭！/狗头开始首先，要有个群，然后添加一个机器人，添加完成后，会有一个Webhook的地址还有一个简单的配置说明，由于我们只是定时提醒个吃饭，功能很简单，就用curl第一个例子即可我先测试了一下，把curl的地址改为自己机器人的，把hello world例子直接在Linux终端执行，企业微信群就会收到机器.
2020-08-21 23:33:06
4107
原创 Pudb调试python
先安装pudb：pip install pudb调试：python –m pudb.run ***.py因为我是在容器里运行的，环境有可能报错：locale.Error: unsupported locale setting解决：运行export LC_ALL=C先写个开头，-ing
2020-08-20 16:57:31
246
原创 基于文件的标准协议
Unix/Linux：网络文件系统（NFS）Wondows：服务器消息块（SMB）、通用互联网文件系统（CIFS）Apple：Apple文件传输协议（AFP）CIFS是公共和开放SMB协议版本与FTP相比，CIFS灵活性更大，CIFS可以看作是应用程序协议如文本传输协议（FTP）和超文本传输协议（HTTP）的一个实现...
2020-08-20 15:17:15
112
原创 文件存储、块存储还是对象存储？
文件、块和对象是三种以不同的方式来保存、整理和呈现数据的存储格式。这些格式各有各的功能和限制。文件存储会以文件和文件夹的层次结构来整理和呈现数据；块存储会将数据拆分到任意划分且大小相同的卷中;对象存储会管理数据并将其链接至关联的元数据。文件存储：磁盘和系统再一起（比如笔记本中的硬盘，支持文件共享）块存储：只有裸磁盘，没有系统（比如一个移动硬盘）文件存储也可以理解为是基于块存储的，因为裸磁盘加上系统就是文件存储软件定义存储就是将存储硬件中的典型的存储控制器功能分离出来放到软件上
2020-08-20 15:15:14
1280
原创 Docker制作镜像、启动容器、查看版本、修改源、安装工具
1、制作镜像所需文件比如想在容器中瞎捣腾python，那就需要制作一个python的镜像，当然，也可以pull别人的，这里当然选择自己make了需要在宿主机，就是本机，创建一个目录，用来放制作镜像需要的文件比如，我在根目录下随便创建了一个docker-file文件夹[root@compute ~]# pwd/root[root@compute ~]# ll docker-file/total 12-rw-r--r-- 1 root root 313 Aug 19 16:58 app
2020-08-20 14:39:37
980
2
原创 有了SDS，硬件还重要吗？
尽管SDS软件定义存储有诸多好处，但它也给传统IT部门的建设模式带来了巨大挑战。这是因为SDS在软硬件上是完全解耦的，以前由存储厂商完成的软硬件匹配、性能测试、验证集成流程，其实变相转移到了用户手中，用户由原来简单的购买者变成了存储解决方案的构建者。但很多用户并没有意识到这种转变，典型的问题包括“乱点鸳鸯谱”和“事后诸葛亮”。很多用户会将两种并不适配的软硬件强行结合在一起，一部分原因是用户IT人员对SDS架构缺乏了解，比如硬盘重构时间与哪些因素有关、不同读写模型的区别，也有采购流程上的原因，比如软硬.
2020-08-19 14:47:38
256
原创 软件定义存储的系统架构图和关键技术
软件定义存储系统架构图在存储业界，不同存储厂商问的存储设备和解决方案长期存在技术壁垒。多数现有的存储系统是单一的，集成的系统，只支持特定的硬件和软件组合，使独立的存储系统缺乏灵活性，无法充分利用不断涌现的新硬件产品的能力和新平台，只能进行有限度的扩展，从而无法满足用户快速增长的数据存储的需要。而软件定义存储(SDS software defined storage)能够将存储服务从存储系统中抽象出来，且可同时向机械硬盘及固态硬盘提供存储服务，用户能够通过软件开发控制异构存储设备，简单来说就是在任何存
2020-08-19 14:42:06
658
原创 软件定义存储相比传统存储系统的优势
软件定义存储的优势软件定义存储可将用户存储服务集成到服务器软件层中，使存储功能从传统存储控制装置中的脱离，进一步拓宽存储功能应用范围。 软件定义存储可将软件功能与阵列控制装置分离，增设管理数据中心存储内容功能。 软件定义存储迁移更加便捷，简化数据拷贝到各个节点等环节，对额外空间要求更低，切实提升了存储信息迁移效率，为满足用户多元化信息存储需求奠定坚实技术基础。 软件定义存储的自动化程度更高，确保信息存储系统的可靠性，使系统规模在扩大之后，其运维难度始终维持在较低水平。 通过软件定义存储虚拟化建
2020-08-19 14:38:28
730
原创 软件定义存储的特征及如何工作
软件定义存储的特征1 可扩展性软件定义存储可从传统三节点扩展为数千节点，随着存储设备数量的逐渐递增，软件定义存储内部吞吐量也会不断增加，各项存储性能呈现出线性扩展性能，确保信息可允许群集中的应用控制及访问。2 弹性软件定义存储可在用户特定需求的情况下调整容量计算，使数据自动平衡。同时，以较小或较大增量进行数据添加或删除操作，简化容量规划流程，更好控制数据存储成本。3 虚拟化软件定义存储虚拟化特征主要体现在借助软件剥离及功能集合等方式将不同异构存储资源组合成同一共享存储系统等方面。在此
2020-08-19 14:33:10
1149
原创 什么是软件定义存储
Software Defined Storage，软件定义存储。数据中心中的服务器、存储、网络以及安全等资源可以通过软件进行定义，并且能够自动分配这些资源。软件定义存储的核心是存储虚拟化技术。软件定义的数据中心通过现有资源和应用程序对不断变化的业务需求提供支持，从而实现IT灵活性。其核心思想是将资源池化——处理器、网络、存储和可能的中间件——通过这样的方式，可以生成计算的原子单位，并根据业务流程需求很容易地分配或取消。可以安装在商用资源(x86硬件、虚拟机监控程序或者云)和/或者现有计算硬件上的任何存储软件
2020-08-19 14:25:23
1006
原创 Linux挂载详解
来自：http://c.biancheng.net/view/2859.htmlLinux 系统中“一切皆文件”，所有文件都放置在以根目录为树根的树形目录结构中。在 Linux 看来，任何硬件设备也都是文件，它们各有自己的一套文件系统（文件目录结构）。因此产生的问题是，当在 Linux 系统中使用这些硬件设备时，只有将Linux本身的文件目录与硬件设备的文件目录合二为一，硬件设备才能为我们所用。合二为一的过程称为“挂载”。如果不挂载，通过Linux系统中的图形界面系统可以查看找到硬件设备，但命.
2020-08-18 15:39:08
216
原创 Harbor的安装部署（二）
[root@compute harbor]# docker psCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES8a620fd12cd7 goharbor/harbor-jobservice:v2.0.0 .
2020-08-17 20:38:46
360
原创 Harbor的安装部署
什么是Harbor？Docker容器应用的开发和运行离不开可靠的镜像管理，虽然Docker官方也提供了公共的镜像仓库，但是从安全和效率等方面考虑，部署我们私有环境内的Registry也是非常必要的。Harbor是由VMware公司开源的企业级的Docker Registry管理项目，它包括权限管理(RBAC)、LDAP、日志审核、管理界面、自我注册、镜像复制和中文支持等功能。Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器，通过添加一些企业必需的功能特性，例如安全
2020-08-17 19:59:36
314
原创 Linux终端登录和退出Dockerhub
# 之前已经登录了，现在退出[root@compute ~]# docker logoutRemoving login credentials for https://index.docker.io/v1/# 再次登录[root@compute ~]# docker loginLogin with your Docker ID to push and pull images from Docker Hub. If you don't have a Docker ID, head over to.
2020-08-17 16:53:24
2610
原创 shell正则表达式去除注释行
在Linux系统中，经常要配置各种各样的文件，有的文件有很多行，很多注释，看得眼花缭乱，不容易立刻找到目标位置（P.S.当然，不是绝对的，用‘/字符’查找还是很方便的），总之吧，看的眼花缭乱是确定的。我们可以通过正则表达式将配置文件中的注释部分过滤掉，不影响功能，而且养眼。比如，我有一个文件，内容如下，大部分全是注释[root@compute harbor]# cat harbor.yml.tmpl.bak # Configuration file of Harbor# The IP a
2020-08-17 16:34:21
2015
原创 Docker创建一个镜像
创建 Dockerfile文件、index.html测试页面[root@localhos ~]# vi DockerfileFROM nginx:1.17.6 #基于 nginx 1.17，在build 时，会自动pull 一个 1.17.6 版本的 nginxENV LANG en_US.UTF-8 #设置环境变量ADD index.html /usr/share/nginx/html #将本地的index.html添加到镜像中EXPOSE 80 #开放 80 端口EXPO..
2020-08-17 11:38:48
125
原创 Docker运行tensorflow试试
周六上午起来试了试Docker 运行tensorflow因为昨天已经pull好了镜像，只需要创建容器。[root@compute ~]# docker run --name lzb-tensorflow -it -p 8888:8888 -v ~/tensorflow:/test/data tensorflow/tensorflow________ _______________ ___ __/__.
2020-08-17 09:02:09
1075
1
转载 基于docker在Ubuntu上搭建TensorFlow-GPU计算环境
这里转载一篇Docker安装TF GPU的版本基于docker在Ubuntu上搭建TensorFlow-GPU计算环境由于实验室的服务器有多人共享使用，而不同人的代码对应的keras和tensorflow版本不一致，所以对应的cuda版本也不相同，因此，考虑使用docker安装自己的容器，这样就可以避免共享cuda版本不一致造成的麻烦。（不过有贴子说使用docker的话，GPU性能只能发挥80%，所以有利有弊吧）安装docker首先，检测是否装好docker，如果安装好，则输入docker
2020-08-14 21:17:09
596
原创 Docker安装TensorFlow
前言：从图像处理到现在的运维，有一段时间了。接触到Docker之后，感觉这玩意儿挺好用。想到之前实验室服务器又是Tensorflow又是torch的，python这个版本那个版本的很头疼（当然，Anaconda还是很好用滴）那用Docker安装tensorflow是什么效果？能支持GPU吗？（先不管这些了，先安装一下）首先需要确认已安装了Docker，参考之前的这篇博客。第一步：下载TF镜像docker pull tensorflow/tensorflow第二步：创建容器do
2020-08-14 20:09:04
234
原创 学习之路＞＞负载均衡
负载均衡设备也常被称为"四到七层交换机"：所谓四层就是基于IP+端口的负载均衡；七层就是基于URL等应用层信息的负载均衡；同理，还有基于MAC地址的二层负载均衡和基于IP地址的三层负载均衡。换句换说，二层负载均衡会通过一个虚拟MAC地址接收请求，然后再分配到真实的MAC地址；三层负载均衡会通过一个虚拟IP地址接收请求，然后再分配到真实的IP地址；四层通过虚拟IP+端口接收请求，然后再分配到真实的服务器；七层通过虚拟的URL或主机名接收请求，然后再分配到真实的服务器。所谓的四到七层负载
2020-08-14 11:23:35
168
原创 k8s系统架构图（二）
一个K8S集群由两部分构成 master节点和node节点。master节点主要负责集群的控制，对pod进行调度，已经令牌管理等等功能。node节点主要是负责干活，启动容器、管理容器。master节点和node节点一般不要部署在一台机器上。上面这个架构图，举例是一个master节点和2个node节点。但实际生产上，从高可用考虑，是需要部署多个master节点的。将这张图抽象一下，大约是这个样子master节点中又有很多组件主要的是：Api Server：对外...
2020-08-14 09:59:39
905
转载 k8s系统架构图
1、Master和Node1）、MasterK8S中的Master是集群控制节点，负责整个集群的管理和控制在Master上运行着以下关键进程：kube-apiserver：提供了HTTP Rest接口的关键服务进程，是K8S里所有资源的增删改查等操作的唯一入口，也是集群控制的入口进程 kube-controller-manager：K8S里所有资源对象的自动化控制中心，集群内各种资源Controller的核心管理者，针对每一种资源都有相应的Controller，保证其下管理的每个Con
2020-08-14 09:54:18
8462
原创 镜像和容器
镜像是一个只读的模板，一个独立的文件系统，包含容器运行所需的数据镜像可以基于DockerFile构建，DockerFile是一个描述文件，包含若干条密令，每条命令都会对基础文件系统创建新的层次结构容器是由镜像实例化而来的，可以说镜像是文件，容器是进程容器在启动的时候创建了一个可写层作为最上层...
2020-08-13 17:36:29
174
原创 记录几个CentOS安装包（rpm）的下载地址-离线安装必备
1、http://rpmfind.net/linux/RPM/index.html2、https://centos.pkgs.org/3、http://mirror.centos.org/centos/7/extras/x86_64/Packages/4、阿里https://developer.aliyun.com/mirror/上面地址进入 阿里镜像站，可以看到所有镜像分类需要用到哪些镜像，直接进入http://mirrors.aliyu...
2020-08-13 16:57:29
10227
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人