![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 73
tmlcitmyhome
努力的前提就是不要太羡慕别人
展开
-
分布式,云计算和大数据主流技术
大数据,云计算,分布式领域前沿技术原创 2017-04-19 19:50:27 · 1281 阅读 · 0 评论 -
浅谈Docker入门
什么是Docker?docker是一个开源的引擎,可以轻松的为任何应用创建一个轻量级的,可移植的,自给自足的容器。开发者和系统管理员在笔记本上便已测试通过的容器可以批量地在生产环境中部署,包括VMs(虚拟机),bare metal,OpenStack集群,云端,数据中心和其它的基础应用平台。原创 2017-11-25 15:58:25 · 563 阅读 · 0 评论 -
Google's BigTable
题记:google 的成功除了一个个出色的创意外,还因为有 Jeff Dean 这样的软件架构天才。 欢迎订阅作者微博 ------ 编者官方的 Google Reader blog 中有对BigTable 的解释。这是Google 内部开发的一个用来处理大数据量的系统。这种系统适合处理半结构化翻译 2017-09-23 13:27:31 · 217 阅读 · 0 评论 -
Google File System
Google文件系统 GFS是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 1、设计概览 (1)设计想定 GFS与过去的分布式文件系统有很多相同的目标,但GFS的设计受到了当前及预期的应用方面的工作量及技术环境的驱动,这反映了它与早期的文件系统明显不同的设想。这就翻译 2017-09-23 13:23:38 · 235 阅读 · 0 评论 -
MapReduce:超大机群上的简单数据处理
摘要MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可以用这个模型来表示的现实世界的工作.以这种方式写的程序能自动的在大规模的普通机器上实现并行化.这个运行时系统关心这些细节:分割输入数翻译 2017-09-23 13:21:01 · 231 阅读 · 0 评论 -
构建Docker私有仓库
环境:两个装有Docker的CentOs虚拟机 虚拟机一:10.10.108.76 用户开发机 虚拟机二:10.10.108.74 用作私有仓库此处我们准备了两个虚拟机,分别都安装了Docker,其中76机器用作开发机,74机器用作registry私有仓库机器。环境准备好之后接下来我们就开始搭建私有镜像仓库。1、激活网卡# vi /etc/sysco原创 2017-07-31 21:39:20 · 1309 阅读 · 0 评论 -
构建Memcached Docker容器
如何在构建Memcached Docker容器并用Java进行测试原创 2017-07-08 16:05:01 · 1707 阅读 · 0 评论 -
对Hadoop完全分布式集群下MapReduce日志的提取
MapReduce任务的日志提取原创 2017-06-29 23:56:55 · 429 阅读 · 0 评论 -
Hadoop中关于MapReduce的编程实例(过滤系统日志)
Hadoop入门之MapReduce学习原创 2017-06-17 12:10:35 · 923 阅读 · 0 评论 -
Hbase入门
一.Hbase安装与配置(伪分布式)1.版本和Hadoop版本保持一致2.修改hbase-env.sh3.修改Hbase-site.xml(编辑Hbase打开分布式模式)4.启动HBase及验证二.使用HBase进行相应数据操作1.HBase逻辑结构2.进入HBase并创建表member是表名,member_id,原创 2017-11-26 23:17:11 · 591 阅读 · 0 评论