云计算与分布式系统
Xiao J.
努力努力再努力!!!
展开
-
理解云计算三种服务模式——IaaS、PaaS和SaaS
云计算的服务模式仍在不断进化,但业界普遍接受将云计算按照服务的提供方式划分为三个大类:SaaS(Software as a Service–软件即服务) PaaS(Platform as a Service–平台即服务) IaaS(Infrastructure as a Service–基础架构即服务)。 PaaS基于IaaS实现,SaaS的服务层次又在PaaS之上,三者分别面对不同的需求。1....转载 2020-04-26 15:08:29 · 696 阅读 · 0 评论 -
java socket 实现增删改查 + 在线答题小案例
实现效果(1) 在client端可以实现对数据库的操作(Select,Insert,Update,Delete)(2)数据库中创建一个考试表和学生表,考试表中问题是四项选择题(10道以上),client端做题,成绩存入学生表(3)实现多个Client程序对server端的访问 Hint:Java程序中会使用多个class,server端使用thread监听多个client 。一、创建数据库...原创 2020-04-17 12:15:42 · 856 阅读 · 0 评论 -
java 搭建 web服务器 socket实现
【写在前面】云计算的第n个java作业,开始一直不懂为什么老师一直让我们写java web的小demo,不应该是hadoop啥的直接上框架嘛。后来慢慢了解到,其实java web 的一些内容确实是云计算的基础。这个demo是用java socket 来搭建一个web服务器,以前确实没有接触过,所以这里记录一下。基本原理(1)设置WebServer端口号(2)使用 ServerSocket....原创 2020-04-17 11:58:31 · 2196 阅读 · 0 评论 -
hadoop 重新格式化 NameNode
【问题描述】 在安装配置hadoop的过程中,很可能发生错误导致datanode或者namenode 启动失败,这时我们可以选择重新格式化 namenode。一、删除data数据和log日志二 、使用命令 bin/dfs namenode -format 重新格式化【注意事项】为什么不能一直格式化NameNode,格式化NameNode需要注意什么?原因: 格式化NameNode,会产生...原创 2020-04-08 16:57:32 · 3347 阅读 · 0 评论 -
大数据技术生态体系
原创 2020-03-25 11:40:05 · 177 阅读 · 0 评论 -
Hadoop的组成
一、Hadoop 1.x 和 2.x 的区别二、HDFS架构1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。(笔者把它简单理解为书的目录)2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。(笔者把它简单理解为书中真正的内容)3)Secondary...原创 2020-03-25 11:27:20 · 294 阅读 · 0 评论 -
CAP 理论 —— 最通俗的解释
...转载 2020-03-13 09:39:41 · 424 阅读 · 0 评论 -
分布式——ACID原则 CAP理论
分布式计算的原理分布式计算就是将计算任务分摊到大量的计算节点上,一 起完成海量的计算任务。而分布式计算的原理和并行计算 类似,就是将一个复杂庞大的计算任务适当划分为一个个 小任务,任务并行执行,只不过分布式计算会将这些任务 分配到不同的计算节点上,每个计算节点只需要完成自己 的计算任务即可,可以有效分担海量的计算任务。而每个 计算节点也可以并行处理自身的任务,更加充分利用机器 的CPU资源。最后...原创 2020-03-11 09:31:40 · 1227 阅读 · 0 评论 -
云计算与分布式系统课程学习笔记(一)——云计算简介
大数据对于系统架构的需求显式的需求海量计算和存储快速计算隐式的需求数据的快速传输灵活性低成本如何实现这些需求?并行化(并行化的理念存在于计算机方方面面)并行请求(分配给多个计算机)并行线程(分配给多个处理器核心)并行指令(同一时刻有多于一条指令)并行数据(同一时刻有多于1个数据项 )硬件描述(同一时刻使用所有门电路)规模经济(极端规模的并行化:仓库规模的计算机...原创 2020-02-20 17:05:27 · 1143 阅读 · 0 评论 -
云计算与分布式系统课程学习笔记(二)——Linux基本命令的使用与熟悉
(1) jps 【显示当前系统的java进程情况,及其id号】-q只显示pid,不显示class名称,jar文件名和传递给main方法的参数-m输出传递给main方法的参数-l输出主类的完整包名或者jar文件完整路径名-v输出传递给JVM的参数编写一个JSPDemo.java程序进行测试:(2) awk 【把文件逐行的读入,以空格为默认分隔...原创 2020-02-22 17:55:14 · 278 阅读 · 0 评论