大数据
文章平均质量分 88
MaxCode-1
这个作者很懒,什么都没留下…
展开
-
生产环境Rabbitmq集群安装部署与配置
更多:生产环境Rabbitmq集群安装创建用户创建用户名sudo adduser rabbitmq添加到sudo组里面sudo usermod -a -G sudo rabbitmq切换用户sudo su - rabbtimqcd /datasudo mkdir rabbitmqsudo chown -R rabbitmq:rabbitmq rabbitmq/安装gccsu...原创 2020-03-31 18:10:16 · 2115 阅读 · 0 评论 -
发行说明 - Kafka - 版本1.0.0
发行说明 - Kafka - 版本1.0.0以下是Kafka 1.0.0发行版中解决的JIRA问题的摘要。有关该版本的完整文档,入门指南以及有关该项目的信息,请参阅Kafka项目网站。有关升级的注意事项:在升级群集之前,请仔细阅读此版本的 升级文档。升级说明讨论关于不兼容的重要信息以及突破性变化,性能变化以及可能影响您的Kafka生产部署的任何其他变更。最新版本的文档可以在http://kafka.原创 2017-11-14 17:29:13 · 1966 阅读 · 0 评论 -
redis-订阅与发布
redis-订阅与发布 Redis 通过 PUBLISH 、 SUBSCRIBE 等命令实现了订阅与发布模式, 这个功能提供两种信息机制, 分别是订阅/发布到频道和订阅/发布到模式, 下文先讨论订阅/发布到频道的实现, 再讨论订阅/发布到模式的实现。频道的订阅与信息发送Redis 的 SUBSCRIBE 命令可以让客户端订阅任意数量的频道, 每当有新信息发送到被订阅的频道时, 信息就会被发送给原创 2017-09-21 10:53:39 · 521 阅读 · 0 评论 -
redis-事务
redis事务 Redis 通过 MULTI 、 DISCARD 、 EXEC 和 WATCH 四个命令来实现事务功能, 本章首先讨论使用 MULTI 、 DISCARD 和 EXEC 三个命令实现的一般事务, 然后再来讨论带有 WATCH 的事务的实现。 因为事务的安全性也非常重要, 所以本章最后通过常见的 ACID 性质对 Redis 事务的安全性进行了说明。事务事务提供了一种“原创 2017-09-21 10:52:49 · 357 阅读 · 0 评论 -
redis基本操作命令
redis基本操作命令redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各原创 2017-09-21 10:52:05 · 1646 阅读 · 0 评论 -
kafka使用场景
kafka使用场景消息Kafka被当作传统消息中间件的替代品。消息中间件的使用原因有多种(从数据生产者解耦处理,缓存未处理的消息等)。与大多数消息系统相比,Kafka具有更好的吞吐量,内置的分区,多副本和容错功能,这使其成为大规模消息处理应用程序的良好解决方案。 在我们的经验中,消息的使用通常是相对较低的吞吐量,但可能需要较低的端到端延迟,并且通常需要强大的持久性保证,这些Kafka都能提供。在这原创 2017-08-05 20:07:49 · 480 阅读 · 0 评论 -
Hbase单机安装部署
Hbase单机安装部署http://blogxinxiucan.sh1.newtouch.com/2017/07/27/Hbase单机安装部署/下载HbaseHbase官网下载地址http://www.apache.org/dyn/closer.cgi/hbase/解压tar -zvxf hbase-0.94.27.tar.gzcd hbase-0.94.27配置cd conf/vi hbase原创 2017-07-28 10:49:43 · 2704 阅读 · 0 评论 -
Hbase架构与原理
Hbase架构与原理 HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HB原创 2017-08-11 15:27:15 · 3889 阅读 · 0 评论 -
Hbase集群监控
Hbase集群监控Hbase Jmx监控监控每个regionServer的总请求数,readRequestsCount,writeRequestCount,region分裂,region合并,Store数据来源:/jmx?qry=Hadoop:service=HBase,name=RegionServer,sub=Server设计: 1.定时调度Hbase Jmx去捞取数据,数据存放在My原创 2017-08-10 14:14:36 · 654 阅读 · 0 评论 -
Java curator操作zookeeper获取kafka
Java curator操作zookeeper获取kafka Curator是Netflix公司开源的一个Zookeeper客户端,与Zookeeper提供的原生客户端相比,Curator的抽象层次更高,简化了Zookeeper客户端的开发量。原文地址:http://blogxinxiucan.sh1.newtouch.com/2017/08/01/Java-curator操作zookeepe原创 2017-08-02 10:05:49 · 1018 阅读 · 0 评论 -
Hadoop-Streaming(流)
Hadoop-Streaming(流)Hadoop流是Hadoop发行版附带的一个实用程序。此实用程序允许您使用任何可执行文件或脚本创建和运行Map / Reduce作业作为映射器和/或reducer。原文链接:http://blogxinxiucan.sh1.newtouch.com/2017/07/17/Hadoop-Streaming-流/使用Python的例子对于Hadoop流,我们正在考虑翻译 2017-07-18 21:31:27 · 542 阅读 · 0 评论 -
Hadoop - MapReduce
Hadoop - MapReduceMapReduce是一个框架,我们可以编写应用程序,以可靠的方式并行处理大量商品硬件的大量数据。原文链接:http://blogxinxiucan.sh1.newtouch.com/2017/07/17/Hadoop-MapReduce/什么是MapReduce?MapReduce是基于java的分布式计算的处理技术和程序模型。MapReduce算法包含两个重要任翻译 2017-07-18 21:30:44 · 477 阅读 · 0 评论 -
Hadoop - 命令参考
Hadoop - 命令参考 在“$ HADOOP_HOME / bin / hadoop fs”中有更多的命令比这里演示的更多,尽管这些基本操作将让您开始。运行./bin/hadoop dfs,没有其他参数将列出可以使用FsShell系统运行的所有命令。此外,如果您遇到困难,$ HADOOP_HOME / bin / hadoop fs -help commandName将显示有关操作的简短使用翻译 2017-07-18 21:29:24 · 230 阅读 · 0 评论 -
Hadoop - 命令参考
Hadoop - 命令参考 在“$ HADOOP_HOME / bin / hadoop fs”中有更多的命令比这里演示的更多,尽管这些基本操作将让您开始。运行./bin/hadoop dfs,没有其他参数将列出可以使用FsShell系统运行的所有命令。此外,如果您遇到困难,$ HADOOP_HOME / bin / hadoop fs -help commandName将显示有关操作的简短使用翻译 2017-07-18 21:25:53 · 260 阅读 · 0 评论 -
Hadoop - HDFS操作
Hadoop - HDFS操作原文地址:http://blogxinxiucan.sh1.newtouch.com/2017/07/17/Hadoop-HDFS操作/启动HDFS最初,您必须格式化配置的HDFS文件系统,打开namenode(HDFS服务器),然后执行以下命令。$ hadoop namenode -format 格式化HDFS后,启动分布式文件系统。以下命令将启动namenode以翻译 2017-07-18 21:25:30 · 353 阅读 · 0 评论 -
Hadoop - HDFS概述
Hadoop - HDFS概述 Hadoop文件系统是使用分布式文件系统设计开发的。它运行在商品硬件上。与其他分布式系统不同,HDFS具有高度的容错能力,并采用低成本硬件设计。HDFS拥有非常大量的数据,并提供更容易的访问。要存储这么大的数据,这些文件存储在多台机器上。这些文件以冗余的方式存储,以在发生故障的情况下挽救系统免受可能的数据丢失。HDFS还使应用程序可以并行处理。原文链接:http翻译 2017-07-18 21:24:40 · 362 阅读 · 0 评论 -
Hadoop - 环境设置
Hadoop - 环境设置 Hadoop由GNU / Linux平台及其风格支持。因此,我们必须安装一个用于设置Hadoop环境的Linux操作系统。如果您的操作系统不是Linux,则可以在其中安装一个Virtualbox软件,并在Virtualbox中安装Linux。原文地址:http://blogxinxiucan.sh1.newtouch.com/2017/07/17/Hadoop-环境翻译 2017-07-18 21:21:34 · 343 阅读 · 0 评论 -
Hadoop-介绍
Java - 多线程 Java是一种多线程编程语言,这意味着我们可以使用Java开发多线程程序。多线程程序包含两个或多个可同时运行的部件,每个部件可以同时处理不同的任务,从而最佳地利用可用资源,特别是当您的计算机有多个CPU时。原文地址: http://blogxinxiucan.sh1.newtouch.com/2017/07/16/Java-多线程/根据定义,多任务是当多个进程共享诸如CP翻译 2017-07-18 21:20:53 · 400 阅读 · 0 评论