关闭

Hbase架构与原理

Hbase架构与原理 HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HB...
阅读(138) 评论(0)

Hbase集群监控

Hbase集群监控Hbase Jmx监控监控每个regionServer的总请求数,readRequestsCount,writeRequestCount,region分裂,region合并,Store数据来源:/jmx?qry=Hadoop:service=HBase,name=RegionServer,sub=Server设计: 1.定时调度Hbase Jmx去捞取数据,数据存放在My...
阅读(77) 评论(0)

kafka使用场景

kafka使用场景消息Kafka被当作传统消息中间件的替代品。消息中间件的使用原因有多种(从数据生产者解耦处理,缓存未处理的消息等)。与大多数消息系统相比,Kafka具有更好的吞吐量,内置的分区,多副本和容错功能,这使其成为大规模消息处理应用程序的良好解决方案。 在我们的经验中,消息的使用通常是相对较低的吞吐量,但可能需要较低的端到端延迟,并且通常需要强大的持久性保证,这些Kafka都能提供。在这...
阅读(64) 评论(0)

Java curator操作zookeeper获取kafka

Java curator操作zookeeper获取kafka Curator是Netflix公司开源的一个Zookeeper客户端,与Zookeeper提供的原生客户端相比,Curator的抽象层次更高,简化了Zookeeper客户端的开发量。 原文地址:http://blogxinxiucan.sh1.newtouch.com/2017/08/01/Java-curator操作zookeepe...
阅读(48) 评论(0)

Docker网络基础:快速指南

Docker网络基础:快速指南原文连接:http://blogxinxiucan.sh1.newtouch.com/2017/07/30/Docker网络基础:快速指南/了解有关扩展网络功能的默认Docker网络设置和选项。网络管理员不再拥有配置物理路由器,交换机和其他LAN / WAN组件的舒适区域。我们现在生活在一个虚拟化世界中,管理员必须挖掘VMware,Microsoft,Red Hat等虚...
阅读(140) 评论(0)

JPA Advanced Mappings(映射)

JPA Advanced Mappings(映射)JPA是一个使用java规范发布的库。因此,它支持所有面向对象的实体持久性概念。原文链接:http://blogxinxiucan.sh1.newtouch.com/2017/07/30/JPA-Advanced-Mappings-映射/继承策略继承是面向对象语言的核心概念,因此我们可以在实体之间使用继承关系或策略。JPA支持三种类型的继承策略,如S...
阅读(54) 评论(0)

Hbase单机安装部署

Hbase单机安装部署http://blogxinxiucan.sh1.newtouch.com/2017/07/27/Hbase单机安装部署/下载HbaseHbase官网下载地址http://www.apache.org/dyn/closer.cgi/hbase/解压tar -zvxf hbase-0.94.27.tar.gz cd hbase-0.94.27配置cd conf/ vi hbase...
阅读(95) 评论(0)

zookeeper单机模式安装

zookeeper单机模式安装下载zookeeperubuntu下直接用命令下载wget http://apache.osuosl.org/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz解压tar -zvxf zookeeper-3.4.10.tar.gzcd zookeeper-3.4.10/ 更改配置文件进入到conf目录下复制zoo_sam...
阅读(60) 评论(0)

Hadoop-Streaming(流)

Hadoop-Streaming(流)Hadoop流是Hadoop发行版附带的一个实用程序。此实用程序允许您使用任何可执行文件或脚本创建和运行Map / Reduce作业作为映射器和/或reducer。原文链接:http://blogxinxiucan.sh1.newtouch.com/2017/07/17/Hadoop-Streaming-流/使用Python的例子对于Hadoop流,我们正在考虑...
阅读(59) 评论(0)

Hadoop - MapReduce

Hadoop - MapReduceMapReduce是一个框架,我们可以编写应用程序,以可靠的方式并行处理大量商品硬件的大量数据。原文链接:http://blogxinxiucan.sh1.newtouch.com/2017/07/17/Hadoop-MapReduce/什么是MapReduce?MapReduce是基于java的分布式计算的处理技术和程序模型。MapReduce算法包含两个重要任...
阅读(106) 评论(0)

Hadoop - 命令参考

Hadoop - 命令参考 在“$ HADOOP_HOME / bin / hadoop fs”中有更多的命令比这里演示的更多,尽管这些基本操作将让您开始。运行./bin/hadoop dfs,没有其他参数将列出可以使用FsShell系统运行的所有命令。此外,如果您遇到困难,$ HADOOP_HOME / bin / hadoop fs -help commandName将显示有关操作的简短使用...
阅读(64) 评论(0)

Hadoop - 命令参考

Hadoop - 命令参考 在“$ HADOOP_HOME / bin / hadoop fs”中有更多的命令比这里演示的更多,尽管这些基本操作将让您开始。运行./bin/hadoop dfs,没有其他参数将列出可以使用FsShell系统运行的所有命令。此外,如果您遇到困难,$ HADOOP_HOME / bin / hadoop fs -help commandName将显示有关操作的简短使用...
阅读(62) 评论(0)

Hadoop - HDFS操作

Hadoop - HDFS操作原文地址:http://blogxinxiucan.sh1.newtouch.com/2017/07/17/Hadoop-HDFS操作/启动HDFS最初,您必须格式化配置的HDFS文件系统,打开namenode(HDFS服务器),然后执行以下命令。$ hadoop namenode -format 格式化HDFS后,启动分布式文件系统。以下命令将启动namenode以...
阅读(72) 评论(0)

Hadoop - HDFS概述

Hadoop - HDFS概述 Hadoop文件系统是使用分布式文件系统设计开发的。它运行在商品硬件上。与其他分布式系统不同,HDFS具有高度的容错能力,并采用低成本硬件设计。 HDFS拥有非常大量的数据,并提供更容易的访问。要存储这么大的数据,这些文件存储在多台机器上。这些文件以冗余的方式存储,以在发生故障的情况下挽救系统免受可能的数据丢失。HDFS还使应用程序可以并行处理。原文链接:http...
阅读(122) 评论(0)

Hadoop - 环境设置

Hadoop - 环境设置 Hadoop由GNU / Linux平台及其风格支持。因此,我们必须安装一个用于设置Hadoop环境的Linux操作系统。如果您的操作系统不是Linux,则可以在其中安装一个Virtualbox软件,并在Virtualbox中安装Linux。 原文地址:http://blogxinxiucan.sh1.newtouch.com/2017/07/17/Hadoop-环境...
阅读(67) 评论(0)
98条 共7页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:44014次
    • 积分:1231
    • 等级:
    • 排名:千里之外
    • 原创:57篇
    • 转载:20篇
    • 译文:21篇
    • 评论:3条
    最新评论