![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
E_k_in
这个作者很懒,什么都没留下…
展开
-
Google 分布式系统三大论文(一)The Google File System
原文地址:https://blog.csdn.net/u010359965/article/details/49795047The Google File System中文版摘要我们设计并实现了Google文件系统,一个面向分布式数据密集型应用的、可伸缩的分布式文件系统。虽然运行在廉价的日用硬件设备上,但是它依然了提供容错功能,为大量客户机提供了很高的总体性能。虽然与很多之前的分布...转载 2019-03-25 15:57:22 · 2060 阅读 · 0 评论 -
Google分布式系统三大论文(二)Bigtable: A Distributed Storage System for Structured Data
原文地址:https://blog.csdn.net/u010359965/article/details/49795133摘要Bigtable是一个管理结构化数据的分布式存储系统,它被设计用来处理海量数据:分布在数千台通用服务器上的PB级的数据。Google的很多项目将数据存储在Bigtable中,包括Web索引、Google Earth、Google Finance。这些应用对Bigta...转载 2019-03-25 15:59:33 · 578 阅读 · 0 评论 -
Google分布式系统三大论文(三)MapReduce: Simplified Data Processing on Large Clusters
原文地址:https://blog.csdn.net/u010359965/article/details/49795213摘要MapReduce是一个编程模型和一个处理和生成大数据集的相关实现。用户指定一个map函数处理一个key-value对来生成一组中间key-value对;指定一个reduce函数合并所有和同一中间key值相联系的中间value值。许多现实世界中的任务以这个模型展现,...转载 2019-03-25 16:00:40 · 780 阅读 · 0 评论 -
Hadoop集群环境搭建
一:置主机以下配置基于centOS71:修改主机的hostname为master修改 /etc/hostname 文件的内容为 master2: 修改网络配置1:将虚拟机的网路设置为NAT连接:2:进入系统后输入命令“vi /etc/sysconfig/network-scripts/ifcfg-ens33” (可能你的系统配置网络的文件名不叫ifcfg-ens33你可以进...原创 2019-03-23 23:06:07 · 171 阅读 · 0 评论