云计算
老薛的猫出海抓鱼不在这
哎吆~技术小渣
展开
-
云计算相关学习笔记
Google云计算技术包括:Google文件系统GFS、分布式计算编程模型MapReduce、分布式锁服务Chubby、分布式结构化数据表Bigtable、分布式存储系统Megastore以及大规模分布式监控系统Dapper等。其中GFS提供了海量数据的存储和访问的能力,MapReduce使得海量信息的并行处理变得简单易行,Chubby保证了分布式环境下并发操作的同步问题,Bigtable...原创 2018-11-04 19:40:34 · 658 阅读 · 0 评论 -
chubby中的paxos算法
原创 2018-11-04 19:48:47 · 916 阅读 · 0 评论 -
分布式一致性算法——Paxos(解决同步问题等)
Paxos分析Paxos算法是莱斯利·兰伯特(Leslie Lamport)1990年提出的一种基于消息传递的一致性算法。Paxos算法目前在Google的Chubby、MegaStore、Spanner等系统中得到了应用,Hadoop中的ZooKeeper也使用了Paxos算法,在上面的各个系统中,使用的算法与Lamport提出的原始Paxos并不完全一样,这个以后再慢慢分析。Paxos算法...转载 2018-11-04 19:58:37 · 838 阅读 · 0 评论 -
实验三:HDFS实验&读写HDFS文件&学习使用Java读写HDFS文件
一、实验指导3.1 实验目的1. 会在Linux环境下编写读写HDFS文件的代码;2. 会使用jar命令打包代码;3. 会在master服务器上运行HDFS读写程序;4. 会在Windows上安装Eclipse Hadoop插件;5. 会在Eclipse环境编写读写HDFS文件的代码;6. 会使用Eclipse打包代码;7. 会使用Xftp工具将实验电脑上的文件上传...原创 2019-03-11 23:56:44 · 6691 阅读 · 0 评论 -
实验四 YARN实验:部署YARN集群
shiyab配置实验指导4.1 实验目的了解什么是YARN框架,如何搭建YARN分布式集群,并能够使用YARN集群提交一些简单的任务,理解YARN作为Hadoop生态中的资源管理器的意义。4.2 实验要求搭建YARN集群,并使用YARN集群提交简单的任务。观察任务提交的之后的YARN的执行过程。4.3 实验原理4.3.1 YARN概述YARN是一个资源管理、任务调度...原创 2019-03-17 21:43:00 · 2006 阅读 · 1 评论 -
实验二十三 新建HBase表
实验指导:23.1 实验目的1. 掌握HBase数据模型(逻辑模型及物理模型);2. 掌握如何使用Java代码获得HBase连接,并熟练Java对HBase数据库的基本操作,进一步加深对HBase表概念的理解。23.2 实验要求通过Java代码实现与HBase数据库连接,然后用Java API创建HBase表,向创建的表中写数据,最后将表中数据读取出来并展示。23.3 实验...原创 2019-05-07 23:24:27 · 1288 阅读 · 0 评论 -
实验三十 MapReduce与Spark读写Redis
实验指导:30.1 实验目的1.会使用MapReduce访问Redis数据;2.会使用Spark访问Redis数据。30.2 实验要求1.在master机上,使用MapReduce代码读取Redis数据;2.在master机上,使用Spark代码读取Redis数据。30.3 实验原理假定现有一个大为1000G的大表big.txt和一个大小为10G的小表small.t...原创 2019-05-08 00:58:00 · 1254 阅读 · 1 评论