分布式/大数据
sofia1217
这个家伙很懒,什么都没有留下...
展开
-
HDFS详细介绍
HDFS:(Hadoop Distributed File System)分布式文件系统,提供高吞吐量的应用程序数据访问,对外部客户机而言,HDFS 就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件,等等。但是 HDFS 的架构是基于一组特定的节点构建的,这是由它自身的特点决定的。这些节点包括 NameNode(仅一个),它在 HDFS 内部提供元数据服务;DataNode,它为 HD转载 2015-09-28 19:31:03 · 547 阅读 · 0 评论 -
zk系列-c++下zookeeper使用实例
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务。分布式应用可以使用它来实现诸如:统一命名服务、配置管理、分布式锁服务、集群管理等功能。公司常用到的是Java服务集群的管理。1.函数介绍//create a handle to used communicate with zookeeperzhandle_t *zookeeper_init(const char转载 2015-09-02 14:21:25 · 771 阅读 · 2 评论 -
解读HDFS
是蛮久木有写过关于hadoop的博客了额,虽然最近也看了一些关于linux的基础知识,但似乎把这个东西忘记了,其实时不时回顾一下以前的知识还是蛮有意思的,且行且忆! 我们Hadoop 主要由HDFS和MapReduce 引擎两部分组成。最底部是HDFS,它存储Hadoop 集群中所有存储节点上的文件。HDFS 的上一层是MapReduce 引擎,该引擎由JobTrackers 和T转载 2015-09-29 10:12:27 · 284 阅读 · 0 评论 -
Zookeeper常用命令
ZooKeeper服务命令: 在准备好相应的配置之后,可以直接通过zkServer.sh 这个脚本进行服务的相关操作1. 启动ZK服务: sh bin/zkServer.sh start2. 查看ZK服务状态: sh bin/zkServer.sh status3. 停止ZK服务: sh bin/zkServer.sh stop4. 重启ZK服务:转载 2015-09-02 14:23:08 · 248 阅读 · 0 评论 -
HDFS命令
HDFS文件操作命令1、列出HDFS文件bin/hadoop dfs -ls在HDFS中未带参数的-ls命令没有返回任何值,它默认返回HDFS的“home”目录下的内容,在HDFS中,没有当前目录这一概念,也没有cd命令。2、列HDFS目录下某个文档中的文件bin/hadooop dfs -ls in3、上传文件到转载 2015-09-28 19:30:48 · 462 阅读 · 0 评论 -
Kafka分布式
一、入门 1、简介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kaf转载 2015-12-31 15:21:44 · 317 阅读 · 0 评论 -
HDFS中的NameNode 和 DataNode
主从结构 HDFS是一个 master/slave的架构。HDFS只有一个NameNode,即master。master负责管理文件系统命名空间和client对文件的访问。此外,HDFS有很多DataNode,通常一个机器节点一个DataNode,管理这个节点上的存储。HDFS对外提供一个文件系统名字空间允许用户把数据存为文件的格式 文件按block划分文件拆分成转载 2016-03-02 11:31:17 · 3148 阅读 · 0 评论