博客专栏  >  架构设计   >  分布式数据

分布式数据

了解相关的领域,培养自己的兴趣,

关注
0 已关注
17篇博文
  • 分布式算法之取模算法的缺陷

    分布式算法之取模算法的缺陷: 假设有8台服务器,运行中,突然down一台,则求余的底数变成7, 后果: key:0%8 = 0, key:0%7 = 0  hits .... key:6%8...

    2016-09-04 11:13
    295
  • Hadoop--08--WordCount

    import java.io.IOException; import java.util.*; import org.apache.hadoop.fs.Path; import org.a...

    2016-07-29 21:44
    355
  • Hadoop--07--MapReduce高级编程

    . Changing MapReduce jobs  1.1 Chaining MapReduce jobs in a sequence  MapReduce程序能够执行一些复杂数据处理的...

    2016-07-21 09:29
    2292
  • Hadoop--06--MapReduce编程基础

    . WordCount示例及MapReduce程序框架  首先通过一个简单的程序来实际运行一个MapReduce程序,然后通过这个程序我们来哦那个结一下MapReduce编程模型。 下载源...

    2016-07-20 20:02
    1227
  • Hadoop--05--运行WordCount

    1、  启动Hadoop: Start-all.sh 2、 创建file 文件夹,并随便写些内容 Mkdir /hadoop/test.txt 3、  在HDFS上创建输入文件夹目录 inpu...

    2016-07-19 21:20
    1038
  • Hadoop--04--使用java api操作

    1. 概述  2. 文件操作 2.1  上传本地文件到hadoop fs 2.2 在hadoop fs中新建文件,并写入 2.3 删除hadoop fs上的文件 2.4  读取文件 3. ...

    2016-07-19 08:49
    842
  • Hadoop常用命令(三)

    1,hadoop fs –fs [local | ]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xm...

    2016-07-18 22:10
    1505
  • 深入Hadoop HDFS(二)

    1. hdfs架构简介 1.1  hdfs架构挑战 1.2 架构简介 1.3 文件系统命名空间File System Namespace 1.4  数据复制 1.5 元数据持久化 1.6 ...

    2016-07-18 13:18
    676
  • hive文件存储格式

    hive在建表是,可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式 例如: [plain] view plain copy > C...

    2016-07-16 15:54
    1188
  • Linux:MySQL新建用户,授权,删除用户,修改密码

    1.新建用户。   //登录MYSQL   @>mysql -u root -p   @>密码   //创建用户   mysql> insert into mysql.user(Host,U...

    2016-07-06 22:03
    2158
  • ubuntu14.04下Hadoop2.6.0+Hive1.1.1安装

    1.Hive是基于Hadoop构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。其在Hadoop的架构体系中承担了一个SQL解析的过程,它提供了...

    2016-07-06 21:57
    2641
  • ubuntu14.04下hadoop2.6.0安装

    1. 下载ubuntu14.04 i386 地址:http://old-releases.ubuntu.com/releases/14.04.1/ 2.  安装JDK 地址:http://w...

    2016-07-05 20:16
    1249
  • 分布式设计与开发(二)------几种必须了解的分布式算法

    分布式设计与开发中有些疑难问题必须借助一些算法才能解决,比如分布式环境一致性问题,感觉以下分布式算法是必须了解的(随着学习深入有待添加): Paxos算法一致性Hash算法 Paxos算法...

    2016-06-21 20:04
    292
  • 分布式设计与开发(一)------宏观概述

    在IDF05(Intel Developer Forum 2005)上,Intel首席执行官Craig Barrett就取消4GHz芯片计划一事,半开玩笑当众单膝下跪致歉,给广大软件开发者一个明显的信...

    2016-06-21 17:54
    3027
  • 负载均衡服务器

    负载均衡服务器(load-balancing server)是进行负载分配的服务器。通过负载均衡服务器,将服务请求均衡分配到实际执行的服务中,从而保证整个系统的响应速度。     定义 "...

    2016-06-21 20:34
    281
  • Hadoop是什么?

    Hadoop是什么?Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算. Hadoop框架...

    2016-07-03 12:07
    390
  • Hive是什么?

    Hive 定义 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习...

    2016-07-03 12:10
    284

img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部