系统层--云计算
文章平均质量分 90
云计算(cloud computing)是分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。
路途…
Reading is a long investment.During this process, find the entertainment and enjoy life while treasure the present to compound interest.
展开
-
【云计算】Docker 基本概念
Docker 容器是轻量级的虚拟技术,占用更少系统资源。使用 Docker 容器,不同团队(如开发、测试,运维)之间更容易合作。可以在任何地方部署 Docker 容器,比如在任何物理和虚拟机上,甚至在云上。由于 Docker 容器非常轻量级,因此可扩展性很强。一个完整的 docker 包括: dockerclient,docker daemon, image, containerDocker 是一个 Client-Server 结构的系统,Docker 守护进程运行在主机上, 然后通过 So...原创 2022-04-03 12:18:10 · 1849 阅读 · 0 评论 -
【Middleware】Kafka--Basic Component
From: https://liudongdong1.github.io/2021/07/19/yu-yan-kuang-jia/framework/middleware/kafka/kafka-python/Kafka 属于 Apache 组织,是一个高性能跨语言分布式发布订阅消息队列系统 [7]。它的主要特点有:以时间复杂度 O (1) 的方式提供消息持久化能力,并对大数据量能保证常数时间的访问性能;高吞吐率,单台服务器可以达到每秒几十万的吞吐速率;支持服务器间的消息分区,支持分布式消费,同原创 2022-03-24 15:17:10 · 2837 阅读 · 0 评论 -
【Middleware】Kafka-测试demo
1. Java JDK2. Zookeeper下载地址: 清华镜像 官网 本地地址修改配置文件: 进入 conf 目录(例中为:E:\javacloud\apache-zookeeper-3.6.3-bin\conf), 复制 “zoo_sample.cfg” 为 “zoo.cfg” 文件,编辑 zoo.cfg查找并设置 dataDir,设置数据存储目录,如下:dataDir=E:\\javacloud\\apache-zookeeper-3.6.3-bin\\datadir查找并设置原创 2022-03-24 14:51:09 · 3491 阅读 · 0 评论 -
【Netty】telnet helloworld
From:https://liudongdong1.github.io/Netty是 一个异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端。是一个NIO客户端服务器框架,可以快速轻松地开发协议服务器和客户端等网络应用程序。它极大地简化并简化了TCP和UDP套接字服务器等网络编程。Netty经过精心设计,具有丰富的协议,如FTP,SMTP,HTTP以及各种二进制和基于文本的传统协议。绿色的部分Core核心模块,包括零拷贝、API库、可扩展的事件模型。橙色部分Prot原创 2021-10-17 19:04:27 · 322 阅读 · 0 评论 -
【Netty】IO多路复用
From:https://www.pdai.tech/md/java/io/java-io-nio-select-epoll.htmlFrom: http://liudongdong1.github.io/多路复用IO技术最适用的是“高并发”场景,所谓高并发是指1毫秒内至少同时有上千个连接请求准备好。其他情况下多路复用IO技术发挥不出来它的优势。另一方面,使用JAVA NIO进行功能实现,相对于传统的Socket套接字实现要复杂一些,所以实际应用中,需要根据自己的业务需求进行技术选择。目前流程的多路复.转载 2021-10-17 19:02:40 · 1478 阅读 · 1 评论 -
【Netty】Reactor模型
From: http://liudongdong1.github.io/同步的等待多个事件源到达(采用select()实现)将事件多路分解以及分配相应的事件服务进行处理,这个分派采用server集中处理(dispatch)分解的事件以及对应的事件服务应用从分派服务中分离出去(handler)1. BIO模式同步阻塞IO,读写阻塞,线程等待时间过长在制定线程策略的时候,只能根据CPU的数目来限定可用线程资源,不能根据连接并发数目来制定,也就是连接有限制。否则很难保证对客户端请求的高原创 2021-10-17 19:00:48 · 164 阅读 · 0 评论 -
【Netty】组件介绍
1. Netty 事件相应机制public class NettyServer { private final int port; public NettyServer(int port) { this.port = port; } public static void main(String[] args) throws InterruptedException { int port = 9999; NettySer转载 2021-10-17 18:59:31 · 282 阅读 · 0 评论 -
【Paper Record】AI+Enabling+Technologies
【数据库发展】【数据处理】【Algorithm】原创 2019-06-09 22:51:08 · 354 阅读 · 0 评论 -
【云计算】MapReduce Commandline Coding
【编写Java代码】WordCount.javapackage org.apache.hadoop.examples;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.f...原创 2019-05-17 22:01:31 · 356 阅读 · 0 评论 -
【SDN】OpenFlow
【OpenFlow协议】此外,OpenFlow交换机把传统网络中,完全由交换机/路由器控制的报文转换为由交换机和控制器来共同完成数据的转发操作,从而实现数据的转发与路由控制的分离。控制器则通过事先规定好的接口操作OpenFlow交换机中的流表,从而达到数据转发的目的。在OpenFlow交换机中,包含安全通道,多级流表和组表。通过安全通道,OpenFlow交换机可以和控制器建立基于O...原创 2019-05-26 23:13:45 · 665 阅读 · 0 评论 -
【SDN】Simple Introduce
NetworkDevelopmentCharacteristic Open,Programmed Traffic Engineering Security QoS Routing Switching Virtualization Monitor Loadbalanced SDN Principles...原创 2019-05-26 23:11:27 · 444 阅读 · 0 评论 -
【云计算】Hadoop Map Reduce
官方教程讲解:http://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#Inputs_and_OutputsMapReduce源码中有相关的源代码demo,带进一步学习熟悉了解MapReduce一、MapReduce并行...转载 2019-05-17 10:23:43 · 859 阅读 · 0 评论 -
虚拟化技术
转载:https://blog.csdn.net/HzSunshine/article/details/70759343一 虚拟化简介 虚拟化,是指通过虚拟化技术将一台计算机虚拟为多台逻辑计算机(对计算机物理资源的抽象,实现资源的模拟、隔离和共享)。在一台计算机上同时运行多个逻辑计算机,每个逻辑计算机可运行不同的操作系统,并且应用程序都可以在相互独立的空间内运行而互不影响,从而显著提高...转载 2018-09-06 14:15:09 · 10384 阅读 · 0 评论 -
ETL介绍
架构挑战:1、对现有数据库管理技术的挑战。2、经典数据库技术并没有考虑数据的多类别(variety)、SQL(结构化数据查询语言),在设计的一开始是没有考虑到非结构化数据的存储问题。3、实时性技术的挑战:一般而言,传统数据仓库系统,BI应用,对处理时间的要求并不高。因此这类应用通过建模,运行1-2天获得结果依然没什么问题。但实时处理的要求,是区别大数据应用和传统数据仓库技术、BI技术的...转载 2018-05-03 20:21:09 · 1390 阅读 · 0 评论 -
边缘计算 云计算联系区别
转载:https://blog.csdn.net/zuochao_2013/article/details/78565822云计算(英语:cloud computing),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备。云计算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变。用户不再需要了解“云”中基础设施的细节,...转载 2018-09-06 16:06:04 · 2485 阅读 · 0 评论 -
【云计算】Hadoop HDFS
From:https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html后续学习补充从这里开始:https://data-flair.training/blogs/hadoop-hdfs-data-read-and-write-operations/Introduction The Hadoop Distributed Fi...原创 2019-05-17 20:28:14 · 436 阅读 · 0 评论 -
【云计算】MPI编程
MPI是一种并行计算架构,MPICH是MPI的一种实现,本集群使用虚拟机安装,操作系统是ubuntu14.04,使用三台机器,用户名都是ubuntu,机器名分别是ub0, ub1, ub2安装MPICH 下载:http://www.mpich.org/static/downloads/3.0.4/mpich-3.0.4.tar.gz 源码安装 $ tar -xzvf soft...原创 2019-05-15 19:17:35 · 924 阅读 · 0 评论 -
【云计算】MPI 矩阵乘法并行
程序来自:http://www.netlib.org/pvm3/book/node55.html#SECTION00780000000000000000Example program: mmult.c /* Matrix Multiply*//* defines and prototypes for the PVM library */#include <pv...原创 2019-05-15 19:36:24 · 1699 阅读 · 1 评论