qq_29718979的博客

原创 大数据之日志采集点滴

原创 私有云边界四种抗攻击方案

原创 DDOS攻击的两种方式

原创 客户需求访谈的4点常见误区

原创 向IPv6演进的三种场景方案

原创 大型网站从0到壮大系列--分布式进化

原创 网站负载均衡的四种不同方案

原创 疫情当下的远程办公行业分析

原创 区块链应用场景及待解决的问题

原创 分布式缓存在教育项目中的应用案例

原创 实测影响数据库性能的因素有哪些？

原创 云上容灾架构设计与方案

原创 上云同步做架构优化才能事半功倍！

原创 云硬盘扩容的三种方式

原创 CDN为当下疫情的远程教育保驾护航

原创 空闲云主机的妙用：作服务器的集中网管

原创 实操搭建微服务架构的三个新体会

原创 五种常见云数据库的真实应用场景

原创 客户的云主机究竟能承受多少业务访问量？

原创 如何保障业务高峰期的正常交易

原创 大数据个人画像存哪儿去了？

原创 对网页数据的大数据分析实操案例

日志中包括很多数据，我们今天只用到IP、帐号、访问的网址作为示例。在真实的项目中（如某宝），通过javascript的事件，可以将你在某个商品链接上停留的时间都采集记录一下来。这些日志通过flume脚本采集到HDFS中长期存储起来。对于数据的进一步分析，如果大型的互联网厂商，会用mapreduce进行数据的定期分析。今天我们讲到，用hive数据仓库进行进行的快速分析呈现，您也可以。...

原创 你的上网行为就这样被采集走了

1、被采集的数据主要是网页跳转数据：比如你从哪个网页跳转入该购物网站、你点击了哪些商品页面、在商品页面上停留了多少时间。2、这些数据都保存在web应用服务器的log文件中：有用过iis、apache的同学，会通过log日志分析访问者的区域来源，实际该log文件有很多可以分析的数据。1、存放在web应用服务器的数据被定时采集至hadoop中进行冷数据存储。通过flume定时监控web...

原创 云计算RAID的六种应用场景

一、为什么会产生RAID1、客户要求高可靠性：客户的数据最终存储到了磁盘，如SATA、SAS、SSD介质，如果磁盘损坏，数据不能丢失，怎么办？2、客户要求高性能：SATA盘一般为7200转，而SAS一般为10000转或15000转，如果客户希望磁盘性能更高、而价格又相对较低，怎么办？二、RAID应需求而生1、数据多份写入，解决高可靠问题：面对高可靠性的要求，我们想出了将同一份数...

原创 Https网站的应用场景是什么？

您经常访问Https网站您经常在访问加密的网站，如建设银行的网银系统，https://ibsbjstar.ccb.com.cn 。加密网站最明显的标志是https，而不是http，你一定会好奇这些为什么网站需要加密？我们如何为网站进行加密？一、Https网站的应用场景1、业务系统需要符合相关安全评测的要求。如业务系统需要通过信息安全测评、等级保护测评等上级主管部门安全要求，而...

原创 HDFS有点甜，比您想象中有趣！

一、HDFS就像一位“成熟的男人”，他有故事在Hadoop2.0的时代，HDFS的默认块Block大小为128MB，原来是有深层原因的。（据说面试题经常问这个）如果Block块太小，一个大文件被分成了若干个小Block，则需要花费很多时间用于Block文件的寻址，浪费了时间。而Block块太大，则会降低处理效率。如MapReduce将块作为一个map处理单元，如果只有一个块，则同时...

原创 迁移上公有云的简单五种方法

一、文件手工迁移 作为简单的网站、并且您自己拥有一些IT能力，你完全可以进行云上资源的重新部署。例如，通过ftp、sftp等方式将你的网站文件全部copy至云上服务器的对应目录，并重新配置运行环境。像Windows的IIS服务，需要手工逐一配置；而Linux的Apache服务，需要手工conf文件，以指定网站的目录等。 好处是：省钱（全自己动手）、好像够安全（密码永...

原创 5G+边缘计算的案例

一、边缘计算的产生离不开网络的发展2G时代简单打开wap网页，3G时代出现了微博等社交，4G时代诞生了网红的视频，5G时代将产生VR、自动驾驶等新型的产业。这些新业务对带宽、时延要求很高，而5G正好适用于最后一公里的解决方案，而集中式的云计算难以适用业务的发展需要，边缘计算的架构应运而生。二、边缘计算的两个典型案例低时延案例--语音音箱语音输入同手机、PC类似，...

原创 案例：高并发业务系统上云设计

业务系统上云后，得益于丰富的云产品，让高并发的系统架构成为可以，如支持海量的用户访问、解决跨运营商的互联问题等以前私有云难以解决的问题。我们今天介绍一下简单的高并发系统设计案例。一、首先看一下概览图1、最终用户通过最后一公里上互联网。通过近几年运营商的提速降费，接入网络已成为光纤，速度很快。2、业务流量通过骨干网进行中间业务交换。不同运营商之间的带宽拥塞、时延...

原创 弹性文件服务与云硬盘一样吗？

在公有云上，有很多的存储产品，让我们眼花缭乱，今天我们来看下弹性文件服务SFS。初一看，与我们在私有云经常使用的NAS有些神似，又与公有云上的云硬盘有些类似。只有实际操作，才能给自己留下深刻的印象，我们来操作一下。一、首先创建一个SFS的文件系统1、因为我们拟采用CentOS连接SFS，因此我们选择NFS协议。Linux采用NFS协议连接，而Windows建议采用CIFS协议连接...

原创 云快照与云备份的区别？

云计算的服务不断增加，出现了一些功能看上去类似的产品，如“云快照与云备份”。我们今天从实际操作演示，来总结一下两者之间的区别。一、云备份的操作1、首先将一块系统盘创建一次性的备份该系统盘为默认的40G，真实的存储空间在2G左右。2、同时我们也设置好自动备份策略备份策略为每天备份三次（10、13、14），备份的数据保留一个月。3、开始备份，观察效果时间时间长...

原创 华为云HCIE关键笔记-网络虚拟化

有了计算、存储的虚拟化，接下来，会有网络的虚拟化。网络的虚拟化主要的知识点不多，主要涉及vlan或vxlan、以及网络虚拟化功能的实现。一、首先我们来看一下服务器的物理端口的用途1、BMC口：用于远程配置服务器，您再也不用在服务器边接显示器来进行服务器的配置。采用单端口连接，未考虑主备。BMC口可以上传ISO文件，通过虚拟光驱启动安装宿主机的XEN系统。2、管理端口：用于CNA宿...

原创 华为云HCIE关键笔记-存储虚拟化2

一、数据存储的三种类型，虚拟化、非虚拟化、裸设备映射 将这些集中式、分布式的存储承载虚机的存储。根据不同的数据存储的格式化类型，有三种方式。 虚拟化存储：存储上自带文件系统，如VIMS、EXT4，虚机文件以文件形态存在数据资源上。虚拟化存储格式的优点是：支持快照、迁移、链接克隆等高级特性。但缺点是相比另两种速度慢，因为存储上自带了文件系统。VIMS文件系统上...

原创 华为云HCIE关键笔记-存储虚拟化1

学完了计算虚拟化，接下来是存储虚拟化。如果没有存储虚拟化，也就没有云计算，云计算必须将存储设备进行虚拟化、共享化，才能支撑迁移等云计算的特性。 一、华为OpenStack管理节点所管理的数量，最大主机数只有1K 华为OpenStack管理节点（VRM）支持的最大主机数量是1024个；而在VRM下面，最大支持的集群数量是32个；在单个集群下面最大支持的主...

原创 华为云HCIE关键笔记-计算虚拟化2

一、CPU的Qos 因为存在cpu超分配（也应是复用率大于100%）的情况，必然存在虚机之间争抢资源的情况，因此有必要制定Qos策略，以保证部分重要业务可以顺利执行、普通业务至少有最低保障。Qos有三个指标： 1、CPU资源限额 控制某虚机的最大使用CPU物理资源的上限，避免某些恶意程序将资源全部耗尽。 2、CPU资源预留 ...

原创 华为云HCIE关键笔记-计算虚拟化1

支持客户的上云工作，首先得自己是“专家”，客户只会与“专家“交流。在进行一些方案的制作时，会遇到各种各样的问题，问题的解决根源还是在于对底层基础知识的掌握，以不变应万变。为此，近期系统学习一下华为基于云计算基础设施的HCIE系列视频，希望能持续提升。今天的内容是最基础的计算虚拟化内容。 一、计算虚拟化的作用是将硬件进行解耦 计算虚拟化解决了四大问题...

原创 云快照的2种存储机制

云计算是庞大的IT技术的结合，例如我们经常在云主机ECS中使用的快照功能，仔细研究起来，每一个功能实现都沉淀着“攻城狮的智慧”。今天我们来看一下云快照的两种不同实现机制。 一、首先什么是云快照 当我们在为windows打补丁担心系统无法启动、当我们进行系统渗透性测试等场景时，希望为当前的云主机的数据进行保存，当需要时我们可以快速回退到当时的云快照...

原创 私有云存储的四种技术分析

私有云项目中，将面临选择存储方案，在业内常见有四种方案，也相应针对四种不同的应用场景。我们从简单到复杂，为大家再次介绍一下。一、本地磁盘（DAS存储） 我们直接在云服务器（物理机中）通过PCI-E、SATA、SAS等本地接口挂上一块高速、大容量硬盘，为本地磁盘。在接口中，以SCSI存储协议为主要的通信协议。 在云环境中，本地磁盘主要有两个用途：1、...

原创 公有云发展的四大趋势

云计算已经是当前数字经济的基础，近年来，随着行业客户上云的加速，云业务发展出现几种明显的趋势。今天我们结合实际的项目情况，与大家一起分析云计算的趋势。 一、混合云 经过了许多行业客户的上云案例，客户使用自己原有的私有云+公有云同时提供服务的情况在多年内会成为一种常态。 据第三方统计数据，在受访问的用户中，71%采用了混合云的方式。...

原创 数据库迁移常见的四种方法

数据的迁移就像搬家，基本每个用过手机的人都做过数据迁移，将旧智能手机中的电话号码、照片、微信聊天记录导入到另一台新的智能手机。因此数据迁移并不神秘。在上云的过程中，因数据的量更大、数据重要性更大、专业性更强，因此在公有云上诞生了“云迁移”这项目服务，在公有云市场也有上百个云服务商专业做“云迁移”服务。今天我们来讲三种常用的云数据库迁移方法。 一、为什么做云迁...