云计算技术
文章平均质量分 81
天府云创
诚交天下技术开发、管理、运维、市场营销和云计算及人工智能の好友!
展开
-
nginx 反向代理 获取客户端真实IP和域名以供日志分析
场景:在请求到达后端服务之前,会经过层层代理的转发。一般的解决方案: 后端服务获取客户端真实IP的方法:现象:后端服务获取到的IP并不是客户端真实IP,而是某一级代理的IP。分析:从CDN开始,每经过一个代理做一次转发,x_forwarded_for就会在后面追加一个代理IP。请求到达nginx时,x_forwarded_for已经变成一个以逗号分隔的ip串,并且以转发顺序排序。nginx的内置变量remote_addr仅能代表nginx的上一层代理的IP,现有的nginx..原创 2022-06-08 17:05:47 · 1757 阅读 · 0 评论 -
浅析全息技术通信方案和产业现状
近年,随着全息技术的发展应用,全息通信正在逐步走向可能。全息显示技术利用干涉法记录物体表面散射光波的相位和振幅等信息,再利用衍射原理重建物体的三维图像。全息通信是利用全息显示技术,捕获处于远程位置的人和周围物体的图像,通过网络传输全息数据,在终端处使用激光束投射,以全息图的方式投影出实时的动态立体影像,并能够与之交互的新型通信方式。未来 6G 技术的发展,将会提供更强的通信网络,这将逐步让全息通信业务的发展应用成为可能。一、全息技术,进入数字新时代“全息”(Holography)即“全部信息”,..原创 2022-04-06 17:33:02 · 5277 阅读 · 0 评论 -
“东数西算”工程解读
近日,国家发展改革委、中央网 信办、工业和信息化部、国家能源局联合印发通知,同意在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏等8地启动建设国家算力枢纽节点,并规划了10个国家数据中心集群。沸腾,国家再次放大招,超级工程来了!!!至此,全国一体化大数据中心体系完成总体布局设计,“东数西算”工程正式全面启动。相比“南水北调”“西电东送”。人们对“东数西算”还有些陌生。那么什么是“东数西算”呢? 简单说就是把东边产生的数据拿到西边来储存,在西边进行数据...原创 2022-02-22 13:53:23 · 10116 阅读 · 0 评论 -
块存储、文件存储、对象存储的区别
如今,由于各种原因,对象存储与块存储的争论引起了人们的浓厚兴趣。由于云计算的惊人发展以及供应商基于对象的存储解决方案的出现,对象存储越来越受到人们的关注。与此同时,块存储仍然是企业继续保持良好状态的支柱。文件、块和对象是三种以不同的方式来保存、整理和呈现数据的存储格式。这些格式各有各的功能和限制。文件存储会以文件和文件夹的层次结构来整理和呈现数据;块存储会将数据拆分到任意划分且大小相同的卷中; 对象存储会管理数据并将其链接至关联的元数据。首先要说明一下的是,这三个概念都是分布式存储中的概念,由不同的网络原创 2021-03-12 16:56:28 · 2744 阅读 · 4 评论 -
分布式存储之GlusterFS
【背景需求】当前项目内部使用的文件系统有GlusterFS,FastDFS和NFS等,由于文件系统在海量小文件(大量散文件碎片化文件)和高并发之下性能急剧下降,性能遭遇瓶颈,因此打算建设分布式对象存储平台。分布式文件存储的来源在这个数据爆炸的时代,产生的数据量不断地在攀升,从GB,TB,PB,ZB.挖掘其中数据的价值也是企业在不断地追求的终极目标。但是要想对海量的数据进行挖掘,首先要考虑的就是海量数据的存储问题,比如Tb量级的数据。谈到数据的存储,则不得不说的是磁盘的数据读写速度问题。早在上个世原创 2021-01-06 17:20:23 · 3775 阅读 · 0 评论 -
浅谈 SkyWalking 分布式追踪系统
随着微服务架构的流行,一些微服务架构下的问题也会越来越突出,比如一个请求会涉及多个服务,而服务本身可能也会依赖其他服务,整个请求路径就构成了一个网状的调用链,而在整个调用链中一旦某个节点发生异常,整个调用链的稳定性就会受到影响,所以会深深的感受到 “银弹” 这个词是不存在的,每种架构都有其优缺点 。service map面对以上情况, 我们就需要一些可以帮助理解系统行为、用于分析性能问题的工具,以便发生故障的时候,能够快速定位和解决问题,这时候 APM(应用性能管理)工具就该闪亮登场了。目.原创 2021-01-06 16:26:17 · 375 阅读 · 1 评论 -
基于阿里云原生构建迁移服务
业务痛点开发迁移工具主要面向私有云环境,随着公有云用户越来越多,需要以SaaS形态为相关客户服务。急需将工具平台化,并使其具有扩展性和可靠性,同时希望在不增加人力的情况下完成平台的运维。 用户担心从传统环境迁移到云平台的过程对业务系统有影响。因此需要保证迁移人员对原架构和云平台的技术能力,迁移周期管控,迁移成本和迁移后业务系统的稳定性。 用户对业务连续性、减少人员干预导致的风险、控制迁移周期和成本、批量高效迁移等问题要求较高。解决方案上云需求的产生——从工具到SaaS 从2016年开始原创 2021-01-04 17:34:14 · 516 阅读 · 3 评论 -
FinOps——云成本优化的最佳实践
摘要:云计算的消费正在快速增长,但跟踪其支出却可能是其中的一个难题。进入FinOps的世界吧,这是一个旨在优化企业在云计算上支出的财务规范和技术解决方案。FinOps,可能让云不再“钱”途无量。由于被承诺在降低成本的同时提高业务敏捷性和稳定性,CIO/CTO们纷纷将业务迁移到了云端。但租用云服务也带来了新问题,包括管理由遍布在全球的实例所生成的数千个项目组成的账单。 越来越多的企业开始求助于FinOps(财务运作),这是一种业务管理规程和分析软件,旨在计算由Amazon Web..原创 2020-12-23 13:52:31 · 4006 阅读 · 0 评论 -
如何配置一台高效的GPU(深度学习)服务器
目前GPU深度学习服务器在AI、视频处理、科学计算等领域都有广泛应用。随着NVIDIA推出更多的GPU硬件和工具软件,如何配置一台属于自己的GPU服务器,在开发者的工作中成为了重中之重。文章大概:1、硬件平台的搭建o 深度学习服务器的性能需求o NVIDIA GPU的性能特点o 硬件环境的配置搭配要点2、软件环境的配置o 深度学习环境的系统配置,环境搭建o NVIDIA CUDA的安装o 介绍NVIDIA Deep Learning 相关SDK工具,包括类似于Transfer Le原创 2020-08-11 17:49:28 · 12558 阅读 · 0 评论 -
Rsync、Unison及DRBD的比较
一、RsyncRsync(remote synchronize),顾名思义,可以知道这是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件。Rsync使用所谓的 “Rsync算法”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。Rsync 本来是用于替代rcp的一个工具,目前由rsync.samba.原创 2015-07-28 15:16:33 · 2351 阅读 · 0 评论 -
通过编写Shell、Python脚本来实现在线管理KVM虚拟机
来自一位码农的偷懒想法:1 python2.72 python的web框架 bottle3 shell脚本管理kvm以及WebVirtMgr组合在一起就可以了~这段时间我会用bottle 简单的实现管理kvm 主机,准备开源出去的~ 性能烂的话,别怪我~管理kvm主机完全可以在web页面上完成,国外有个人用django写了这套程序,感觉还不错,只是稍原创 2016-01-08 14:16:07 · 5550 阅读 · 1 评论 -
虚拟化主机系统在线web管理平台
虚拟化管理软件比较(Eucalyptus, OpenNebula, OpenStack, OpenQRM, XenServer, Oracle VM, CloudStack, ConVirt)关键字:LisVP 虚拟化管理平台 | 虚拟机管理系统 | VM | KVM | OpenVZ | 主机系统 |开放云kvm管理平台官方软件列表:http://www.linux-kvm.or原创 2016-01-08 11:47:46 · 12288 阅读 · 1 评论 -
Fuel部署OpenStack架构分析
问题导读1.什么是fuel?2.fuel有什么特点?3.openstack支持哪些hypervisor?4.Fuel-OpenStack如何工作?一.什么是fuel1.简介Fuel是一个开源的软件用来部署和管理openstack,并且与openstck社区息息相关有着自己的GUI界面来管理整个openstack平台。值得注意的是,Fuel翻译 2016-01-07 16:47:59 · 5250 阅读 · 0 评论 -
Openstack+KVM实践企业私有云中win7虚拟机只能看到2个CPU的解决方案
现象有时候会发现一个很奇怪的现象,无论配置几个CPU,但是在win7的系统里面,只能看到2个CPU:配置了4CPU,在处理器里看也是4个,但是只能使用2个: 原因1、Windows 7最多只支持两个CPU socket,每个socket内可以有多个core。2、kvm缺省每个CPU模拟一个socket,必须修改虚拟机CPU的topology,才能使用原创 2016-01-21 16:58:40 · 11931 阅读 · 0 评论 -
浅谈中小型网站架构分析及优化
以上网站架构广泛运用中大型网站中,本文从架构每一层分析所用主流技术和解决手段,有助于初入网站运维朋友们,进一步对网站架构认识,从而自己形成一套架构概念。原创 2015-12-01 17:24:48 · 2388 阅读 · 0 评论 -
云计算架构层面关系剖析
一、云计算概述 云计算到底是什么呢?在这个问题上,可谓众说纷纭。比如,在维基百科上的定义是“云计算是一种基于互联网的计算新方式,通过互联网上异构、自治的服务为个人和企业用户提供按需即取的计算”;著名咨询机构 Gartner 将云计算定义为“云计算是利用互联网技术来将庞大且可伸缩的IT能力集合起来作为服务提供给多个客户的技术”;而 IBM 则认为“云计算是一种新兴的IT服务交付方式,应转载 2016-01-20 16:56:36 · 4735 阅读 · 1 评论 -
Openstack中数据库Galera/mysql 集群备忘笔记
高可用的mysql galera集群部署原创 2016-01-15 16:07:29 · 2257 阅读 · 0 评论 -
谁?我眼中的DevOps
过去一年以来,一批来自欧美的、不墨守陈规的系统管理员和开发人员一直在谈论一个新概念:DevOps。DevOps 就是开发(Development)和运维(Operations)这两个领域的合并。(如果没错的话,DevOps还包括产品管理、QA、*winces* 甚至销售等领域)脱节(The Broken)那么……为什么要合并这两个领域?原因很多,但首要原因是:我们目前的工作流程是脱原创 2016-01-28 16:40:04 · 1950 阅读 · 1 评论 -
开发自动化运维管理平台
开发自动化运维管理平台12345678910111213141516171819202122232425262728293031翻译 2016-01-15 15:22:03 · 4737 阅读 · 0 评论 -
LVS+Keepalived实现高可用集群
Linux部署环境操作系统平台:CentOS5.4软件:LVS+keepalived一.LVS+Keepalived 介绍LVSLVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一。目前有三种IP负载均衡技术(VS/NAT、VS/TUN和原创 2013-12-04 12:31:22 · 1130 阅读 · 0 评论 -
全链路监控:浅析方案概述与比较
微服务架构现在越来越流行了,并且随着业务系统的不断变大臃肿,系统的拆分变得不可或缺,但随着系统逐渐服务化后,迎来的问题就变得多种多样了,本篇主要讲的就是当服务拆分后,如何对我们的系统进行全链路的监控,及时找到问题和瓶颈。 谷歌的公开论文大规模分布式系统的跟踪系统Dapper,讲了一个分布式跟踪系统的实现流程,这个对我们之后的使用和学习非常有帮助,大家可以参阅。 像D...原创 2019-06-18 14:19:16 · 7410 阅读 · 1 评论 -
一套大而全的系统架构体系与具体落地方案
写在最前面上次参加DBAplus举办的敏捷运维峰会时,一个兄弟的提问一直萦绕耳边,由于时间有限没有进行深入的交流,甚是遗憾。那个问题是:你们公司的IT系统架构是怎样的?又如何具体落地?采用了哪些开源或是商业的技术?其实之前也写过或是做过一些关于系统架构的分享,或多或少的个人或其它限制,总觉得未能尽兴,留有遗憾。因此经过最近一个多月的总结和梳理,在这写出来跟大家做一个分享,这也是对我原创 2018-01-10 13:23:08 · 19092 阅读 · 2 评论 -
开源堡垒机软件系统
开源堡垒机1.Jumpserver *2.CrazyEye *3.麒麟开源堡垒机 *4.开源堡垒机GateOne5.堡垒机xrdp: an open source RDP server http://www.xrdp.org/ https://github.com/neutrinolabs/xrdp6.集中安全运维堡垒机 http://www.itosas.co原创 2016-07-01 15:17:11 · 10168 阅读 · 0 评论 -
从PHP到Node,聊一聊淘宝首页背后的技术
从 2014 年双十二结束开始接手淘宝首页,到如今差不多 1 年半时间了,不久前完成了首页相关工作的交接。经历了两次改版和一次从 PHP 到 Node 的迁移,还是颇有感受,下面给大家分享下。一、相关背景介绍淘宝首页是淘宝的门面,承载着几乎淘系所有业务的入口,流量很大,量级单位为亿。近几年无线端崛起,业务重点开始向无线终端偏移(目前不能叫偏移,基本以无线为主了),所以淘原创 2016-06-13 09:51:01 · 8035 阅读 · 0 评论 -
upyun又拍云存储文件迁移到七牛云上的实例
要将upyun上存储的文件迁移到七牛存储上,不管出于何种目的,多多少少会遇到这种需求的。方法如下:列出upyun空间上所有文件通过七牛提供的qfetch工具上传到七牛列出upyun文件12345678910111213141516171819202122232425262728293031323334353637383940414243444546474原创 2016-05-24 11:29:13 · 3498 阅读 · 2 评论 -
盛大游戏是如何做到远程服务器的自动管理的?
盛大游戏是中国领先的网络游戏开发商、运营商和发行商,有着上万台的服务器,面对如此大量的服务器,盛大是如何做到远程服务器的自动管理的?服务器一般是基于应用层的运维,硬件层面如何管理服务器?大部分公司的处理方式是通过操作系统的agent来做监管、监控。但是有些项目不希望被安装agent,比如盛大游戏,因为安装agent对应用是否会产生影响以及产生什么样的影响都不得而知,但是项目组为原创 2016-05-24 10:34:48 · 2281 阅读 · 2 评论 -
再玩 DevStack(Mitaka版)- 基于 trystack.cn 源
以前就写过一篇关于DevStack安装OpenStack的文章《 使用 DevStack 快速部署 OpenStack 开发环境 》,时过境迁,现在有更好的方式来实现,想到以前的复杂性,觉得有必要更新一下,免得误人子弟。首先必须感谢陈沙克老师,他们自己做了git.trystack.cn源,提供OpenStack的所有github的mirror,直接是国内玩DevStack的福利啊!听说他在原创 2016-04-07 09:52:01 · 8664 阅读 · 1 评论 -
关于系统运维监控的几点建议
目前很多企业信息化系统都有自己的监控平台和监控手段,本文作者根据自身公司监控存在的问题,总结了一些经验并提出一些在系统运维监控方面的建议,希望能给大家带来帮助。原创 2015-07-27 11:01:56 · 5716 阅读 · 0 评论 -
云计算系统测试之技术概念
云计算是云计算(Grid Computing )、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机技术和网络技术发展融合的产物。原创 2015-06-04 11:35:41 · 4885 阅读 · 0 评论 -
XenServer 虚拟机备份脚本
最近忙着弄虚拟机,什么数据都需要备份,即使虚拟机也不例外,下面是我自己写的备份脚本根据实际情况进行使用. 首先做一个NFS服务器,此服务器需要大容量磁盘,然后再需要备份的虚拟服务器主机上挂在共享目录然后就可以实施脚本做成计划任务做备份 ##################################################################原创 2014-10-09 09:51:40 · 1699 阅读 · 1 评论 -
linux系统下实现web数据同步的四种方式
实现web数据同步的四种方式=======================================1、nfs实现web数据共享2、rsync +inotify实现web数据同步3、rsync+sersync更快更节约资源实现web数据同步4、unison+inotify实现web数据双向同步======================================原创 2014-01-02 14:20:30 · 2790 阅读 · 0 评论 -
Linux下NFS(网络文件系统)的安装与配置方法
网络文件系统(NFS,Network File System)是一种将远程主机上的分区(目录)经网络挂载到本地系统的一种机制,通过对网络文件系统的支持,用户可以在本地系统上像操作本地分区一样来对远程主机的共享分区(目录)进行操作。原创 2014-01-02 11:45:08 · 1501 阅读 · 1 评论 -
Hadoop环境搭建、配置及通过执行计算来验证的案例
一个分布式系统基础架构,由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)PO原创 2013-12-28 17:15:26 · 1775 阅读 · 1 评论 -
nginx+apache实现动静态页面分离的web生产环境(二)
Nginx+Apache搭建前后端web生产环境前言:谈到Linux下的web生产环境,大家就会想到apache这个开源服务器软件.apache可以整合大多数应用,比如jsp,php,cgi,python等等,但是apache过于臃肿以及对静态文件响应过于缓慢让很多使用者感到头疼.而nginx作为新崛起的服务器软件,在很多方面超出apache,定位也很明确:高性能的 HTTP 和反向代理服务器原创 2013-12-13 16:02:25 · 1621 阅读 · 0 评论 -
linux系统下实现MySQL主从热备份
主从的作用:1.可以当做一种备份方式2.用来实现读写分离,缓解一个数据库的压力 MySQL主从备份原理: Mysql的主从复制至少是需要两个Mysql的服务,当然Mysql的服务是可以分布在不同的服务器上,也可以在一台服务器上启动多个服务。 如果想配置成为同一台上的话,注意安装的时候,选择两个不同的prefix=路径,同时开启服务器的时候,端口不原创 2013-12-05 22:53:01 · 1835 阅读 · 2 评论 -
LVS+keeplived+nginx+apache搭建高可用、高性能php集群
基于PHP的运行环境大家用的比较多的是以apache做中间件的LAMP(linux+apache+mysql+php)环境和以nginx做中间件的LNMP(linux+nginx+mysql+php)环境,apache是世界排名第一的web服务器,apache可以整合大多数应用,比如jsp,php,cgi,python等等,但是apache过于臃肿以及对静态文件响应过于缓慢是让人很不满意的;而ng原创 2013-12-13 16:12:18 · 1672 阅读 · 3 评论 -
Linux下Nagios的安装与配置
一、Nagios简介 Nagios是一款开源的电脑系统和网络监视工具,能有效监控Windows、Linux和Unix的主机状态,交换机路由器等网络设置,打印机等。在系统或服务状态异常时发出邮件或短信报警第一时间通知网站运维人员,在状态恢复后发出正常的邮件或短信通知。 Nagios原名为NetSaint,由Ethan Galstad开发并维护至今。NAGIOS是一个缩写形式: "Na原创 2013-12-03 21:30:42 · 1358 阅读 · 1 评论 -
Openstack Swift开源云存储技术解析
摘要:OpenStack Swift 开源项目提供了弹性可伸缩、高可用的分布式对象存储服务,适合存储大规模非结构化数据。本文将深入介绍 Swift 的基本设计原理、对称式的系统架构和 RESTful API。Swift 最初是由 Rackspace 公司开发的高可用分布式对象存储服务,并于 2010 年贡献给 OpenStack 开源社区作为其最初的核心子项目之一,为其 Nova 子项目提供虚原创 2013-12-02 23:05:37 · 2028 阅读 · 0 评论 -
VMWARE ESX的vmtools命令详解
vmkfstools -VMware ESX Server文件系统管理工具语法: vmkfstools OPTIONS vmkfstools OPTIONS PARTITION vmkfstools OPTIONS DEVICE vmkfstools OPTIONS PATHvmkfstools是一个创建和维护在VMware ES原创 2013-12-02 22:48:42 · 3150 阅读 · 0 评论 -
为什么商业Hadoop实现最适合用于企业部署
摘要:MapReduce 实现是希望分析静止大数据的企业的首选技术。企业可以选择使用单纯的开源 MapReduce 实现(最著名的就是 Apache Hadoop),也可以选择使用商业实现。在这里,作者证明了以下情形:基于 Hadoop 的产品(比如 InfoSphere® BigInsights™)比 分析是所有企业大数据部署的核心。关系数据库仍然是运行事务性应用程序的最翻译 2013-12-02 22:59:35 · 1209 阅读 · 0 评论