自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(33)
  • 收藏
  • 关注

原创 zookeeper安装(Linux)

zookeeper安装(Linux)单机模式从Apache官网下载一个zookeeper稳定版本,本次采用的是zookeeper-3.4.9版本。http://apache.fayea.com/zookeeper/zookeeper-3.4.9/解压zookeeper-3.4.9.tar.gz文件到安装目录下:tar -zxvf zookeepre-3.4.9.tar.gzzookeeper要

2017-12-24 17:47:37 210

原创 什么是MongoDB

什么是MongoDB MongoDB是当今应用程序的数据库,使您能够:利用数据和技术来最大限度地提高竞争优势降低关键任务部署的风险加快实现价值的时间大大降低总体拥有成本使用MongoDB,您可以构建传统关系数据库无法实现的应用程序。就是这样。快速,迭代式开发。范围蔓延和不断变化的业务需求不再站在你和项目成功交付之间。灵活的数据模型与动态模式,惯用的驱动程序以及强大的GUI和命令行工具相结合,使开发

2017-12-24 16:39:10 2973

转载 Ubuntu安装MongoDB

Ubuntu安装Mongodb1.导入软件源的公钥sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv EA3129272.为mongodb创建软件源list文件 ubuntu12.04echo "deb http://repo.mongodb.org/apt/ubuntu precise/mongodb-org/3.

2017-12-19 12:02:14 242

翻译 二、清除节点上的gossip状态

清除节点上的gossip状态gossip信息由每个节点在本地保存,以便在节点重启时立即使用,而不必等待gossip通信。步骤如果你需要在gossip状态下纠正一个问题:1.使用nodetool assassinate关闭问题节点。这需要大约35秒才能完成,因此请等待确认节点已被删除。2.如果此方法不能解决问题,请停止客户端应用程序向群集发送写入操作。3.使整个集群脱机:清空每个节点。$ node

2017-12-17 23:14:14 439

翻译 三、压实测试

压实测试write survey mode是Cassandra启动选项,用于测试新的压实和压实策略。在write survey mode节点上测试新的压实和压实策略,并对写入性能差异进行基准测试,而不影响生产群集。write survey mode将节点添加到数据库群集。该节点接受所有的写入流量,就好像它是普通Cassandra集群的一部分,但节点并没有正式加入该ring。还可以使用write su

2017-12-17 22:55:58 273

翻译 一、Cassandra压实

Cassandra压实压实通过减少磁盘和磁盘I / O上的数据量来最大化Cassandra节点的存储容量,特别是对于以读为主的工作负载。Cassandra快速在SSTable索引中查找行的位置并解压缩相关的行块。压缩对于Cassandra 2.2非常重要,但Cassandra 3.0和更高版本使用新的存储引擎,可以自动大幅降低磁盘容量。有关Cassandra 3.0改进的信息,请参阅在存储引擎中放置

2017-12-17 22:38:21 472

翻译 二、配置压实策略

配置压实策略如compaction所述,压实过程会合并keys,columns,清除逻辑删除表,合并SSTables,并在合并的SSTable中创建新的索引。在cassandra.yaml文件中,可以配置以下全局压缩参数:snapshot_before_compactionconcurrent_compactorscompaction_throughput_mb_per_sec**注:**c

2017-12-17 22:12:13 754

翻译 配置memtable阈值

7.7、配置memtable阈值配置memtable阈值可以提高写入性能。Cassandra将memtables刷新到磁盘,并在超过提交日志空间阈值或memtable清除阈值时创建SSTables 。配置cassandra.yaml中每个节点的提交日志空间阈值 。如何调整memtable的阈值取决于数据和写入负载。在这些条件下增加memtable阈值:写入负载在较小的一组数据上包含大量的更新。连

2017-12-17 19:18:05 929 1

翻译 数据缓存

配置数据缓存Cassandra包含集成缓存并在集群周围分发缓存数据。当某个节点关闭时,客户端可以从另一个缓存的数据副本中读取数据。集成架构还有助于排除故障,因为没有独立的缓存层,缓存的数据与数据库中的数据完全匹配。集成的缓存通过将缓存定期保存到磁盘来缓解冷启动问题。Cassandra将内容读回缓存并在重新启动时分发数据。群集不会以冷藏缓存开始。保存的密钥缓存文件包括文件名中的表的ID。键空

2017-12-17 18:47:39 270

翻译 调整Java资源

7.5、调整Java资源调整Java虚拟机(JVM)可以提高性能减少内存消耗。本页面的主题:关于垃圾收集选择一个Java垃圾收集器将G1设置为Java垃圾收集器确定堆大小Cassandra如何使用内存 - 请先阅读以便更好地理解本主题中的设置和建议。调整其他Cassandra服务的JVM参数其他JMX选项关于垃圾收集垃圾收集是Java从内存中删除不再需要的数据的过程。为了获得最佳性能

2017-12-17 18:13:01 458 1

翻译 监测Cassandra群集

7.4、监控Cassandra群集了解Cassandra集群的性能特征对于诊断问题和规划能力至关重要。Cassandra通过Java Management Extensions(JMX)公开一些统计和管理操作。JMX是一种Java技术,提供用于管理和监视Java应用程序的服务工具。可以使用JMX监视或操作Java应用程序公开的任何统计信息或操作作为MBean。在正常操作期间,Cassandra会输出

2017-12-17 16:27:15 1154

翻译 读取修复(三)

7.3.2、读取修复:在读取路径期间修复读取修复可以提高每个读取请求在Cassandra集群的一致性。在读取中,协调器节点向一个副本节点发送数据请求,并将请求消化到其他一致性级别(CL)以上的请求ONE。如果所有节点都返回一致的数据,则协调器将其返回给客户端。有关Cassandra如何处理副本之间不一致的说明,请参阅如何完成读取请求?。在读取修复中,Cassandra发送一个摘要请求给每个不直接涉及

2017-12-17 00:28:05 296

翻译 写入修复(二)

7.3.1、Hinted Handoff:在写入路径中修复有时,数据写入时节点变为无响应状态。无响应的原因是硬件问题、网络问题、重载节点或长时间垃圾回收(GC)暂停。通过design,hinted handoff允许Cassandra继续执行相同数量的写入,即使群集以降低的容量运行。在故障检测器将节点标记为关闭之后,如果在cassandra.yaml文件中启用了 提示的切换,则协调器会在一段时间内保

2017-12-17 00:25:09 273

翻译 修复节点(一)

7.3、修复节点随着时间的推移,由于数据库的分布式特性,副本中的数据可能与其他副本不一致。节点修复可以纠正不一致,以便最终所有节点都具有相同且最新的数据。是每个Cassandra集群定期维护的重要组成部分。Cassandra提供以下修复过程:Hinted Handoff 如果节点无法接收到特定的写入,则写入的协调器节点会将要写入的数据保留为一组提示。当节点恢复在线时,协调器通过提交提示来实现修复

2017-12-16 23:57:19 586

翻译 十一、单令牌节点添加到集群

将单令牌节点添加到群集在单令牌体系结构群集中添加节点的步骤,而不是vnodes。要向群集添加容量,分阶段引入新节点或添加整个数据中心。使用以下方法之一:通过将簇大小加倍来增加容量:分配令牌时,通过加倍(或三倍或四倍)节点数来增加容量并不那么复杂。使用这种方法,现有的节点保留现有的令牌分配,并且新的节点被分配令分号(或三等分)现有的令牌范围的令牌。为非统一数量的节点添加容量:使用此方法增加容量时,

2017-12-16 23:07:47 352

翻译 九、更改keyspace复制策略

更改keyspace复制策略keyspace是使用策略创建的。对于开发工作, SimpleStrategy策略是可以接受的。对于生产工作, NetworkTopologyStrategy必须设置策略。要改变策略,需要两个步骤。数据存在时,更改多个数据中心内节点的分布应该通过添加数据中心,然后将数据添加到新数据中心中的新节点并从旧数据中心中删除节点来完成。步骤1.改变网络感知snitch。2.使用该A

2017-12-16 20:33:51 760

翻译 八、切换snitches

切换snitches由于snitches决定Cassandra如何分配副本,所以切换snitches的过程取决于群集的topology 是否会改变:如果数据尚未插入到群集中,则network topology结构中不会有任何更改。只需要设置snitches。如果数据已插入到群集中,则可能topology已更改,您将需要执行其他步骤。如果数据已经插入到必须保存的群集中,请在不更改topology

2017-12-16 19:34:56 409

翻译 7.2、Cassandra快照备份

关于快照Cassandra通过对存储在数据目录中的所有磁盘数据文件(SSTable文件)进行快照来备份数据。 您可以在系统处于联机状态时拍摄所有keyspace,单个keyapace或单个table的快照。使用并行ssh工具(如pssh),可以快照整个群集。 这提供了最终一致的备份。 尽管在创建快照时没有一个节点与其副本节点保持一致,但恢复的快照使用Cassandra的内置一致性机制恢复一致性。执行

2017-12-12 20:01:06 2823

翻译 六、停用数据中心

停用数据中心正确删除数据中心的步骤不会丢失任何信息。步骤确保没有客户端正在向数据中心的任何节点写入。运行一个完整的修复nodetool repair。这可确保所有数据从正在停用的数据中心传播。更改所有keyspace,使其不再引用正在删除的数据中心。(修改keyspace的属性,删除对应的数据中心和副本数)在要删除数据中心的每个节点上运行nodetool decommission。

2017-12-11 23:54:08 299

翻译 五、将节点从一个机架移动到另一个机架

将节点从一个机架移动到另一个机架一个常见的任务是将节点从一个机架移动到另一个机架。例如,当使用GossipPropertyFileSnitch时,常见的错误是将一个节点放在错误的机架上。要纠正错误,请使用以下过程之一。第一种方法是解除节点 并将其重新添加到正确的机架和数据中心。 这种方法比替代方法需要更长的时间才能完成。数据被移动,退役的节点不再需要了。然后,节点在引导时获取新数据。另

2017-12-11 23:40:14 504

翻译 四、替换正在运行的节点

替换正在运行的节点用新节点替换正在运行的节点的步骤,例如更新到较新硬件或执行主动维护时。注意:要更改普通节点的IP地址,只需更改当前节点的IP,然后重新启动Cassandra。如果更改种子节点的IP地址,则必须更新每个节点的cassandra.yaml文件的seed_provider列表中的 -seeds参数。添加一个节点,然后退役旧节点您必须准备并启动替换节点,将其集成到群集中,然后停用旧节点。程

2017-12-11 23:24:34 446

翻译 三、替换死亡节点

替换死亡节点或死亡种子节点替换因某种原因(例如硬件故障)而死亡的节点的步骤。 vnodes和single-token节点的更换死亡节点的过程相同。更换死亡种子节点需要额外的步骤。程序1.运行nodetool状态以验证节点是否已经死亡(DN)。2.记录死亡节点的数据中心,地址和机架设置; 你会稍后使用这些。3.将替换节点添加到网络并记录其IP地址。4.如果死亡节点是种子节点,请在每个节点上更改群集的

2017-12-11 22:53:11 1104

翻译 Cassandra节点、数据中心、群集操作(目录)

Cassandra节点、数据中心、群集操作将节点添加到现有群集 使用虚拟节点时添加节点的步骤。将数据中心添加到群集 将数据中心添加到现有群集的步骤。替换死亡节点或死亡种子节点 替换因某种原因(例如硬件故障)而死亡的节点的步骤。替换正在运行的节点 两种用新节点替换节点的方法,例如更新到较新硬件或执行主动维护。将节点从一个机架移动到另一个机架停用数据中心 正确删除数据中心的步

2017-12-11 14:21:59 1574

翻译 二、将数据中心添加到集群

将数据中心添加到群集将数据中心添加到现有群集的步骤。如果新数据中心将使用其他数据中心或群集中的现有节点,请确保旧数据不会干扰新群集:将每个节点添加到新的数据中心。参见删除节点。完全删除应用程序目录。 请参阅将数据清除为独立进程或将数据清除为服务 。删除后,从头开始安装Cassandra或DataStax Enterprise 。 1. 为防止客户端过早连接到新的数据中心,并确保读取或写入的一

2017-12-11 14:10:49 1586

翻译 七、删除节点

删除节点如果要删除节点以减小群集的大小,而不是替换死的节点 ,请使用这些说明。注意:如果您未使用虚拟节点 (vnodes),则必须重新平衡群集。修复节点下每个keyspacenodetool repair -h ip_address_of_node keyspace_name使用nodetool状态检查节点是否启动或关闭: nodetool命令显示节点的状态(UN = up,DN = dow

2017-12-11 10:50:51 695

翻译 一、将节点添加到现有集群

将节点添加到现有群集虚拟节点(vnodes)大大简化了将节点添加到现有集群的过程:计算令牌并将其分配给每个节点不再需要。重新平衡集群不再是必要的,因为加入集群的节点承担了偶数部分数据的责任。有关vnodes如何工作的详细说明,请参阅虚拟节点。注意:如果您不使用vnodes,请参阅将单令牌节点添加到群集。程序确保在群集中的所有节点上使用相同版本的Cassandra。请参阅安装Apache Cas

2017-12-11 00:34:56 1713

翻译 配置防火墙端口访问

配置防火墙端口访问以下端口必须打开以允许节点之间的双向通信,包括某些Cassandra端口。相应地在Cassandra群集的节点上配置运行的防火墙。没有如图所示的开放端口,节点将作为独立的数据库服务器,不会加入Cassandra集群。公共端口 端口号 描述 22 SSH端口 Cassandra节点间端口 端口号 描述 7000 Cassandra节点间集群通信 7

2017-12-11 00:10:21 684

翻译 三、初始化多节点集群(多个数据中心)

初始化多节点集群(多个数据中心)本示例介绍了安装跨越两个数据中心的六节点群集。每个节点都配置为使用GossipingPropertyFileSnitch(支持多个机架)和256个虚拟节点(vnodes)。在Cassandra中,“数据中心”与“复制组”是同义的。这两个术语都是指为了复制目的将一组节点配置为一个组。先决条件在启动群集之前,每个节点都必须正确配置。启动群集之前,必须确定...

2017-12-10 23:52:37 1822

翻译 二、初始化多节点群集(单个数据中心)

初始化多节点群集(单个数据中心)本主题包含有关使用单个数据中心部署Cassandra群集的信息。先决条件在启动群集之前,每个节点都必须正确配置。启动群集之前,必须确定或执行以下操作:对Cassandra如何工作有一个很好的理解。至少,请务必阅读了解体系结构,特别是数据复制部分和Cassandra的机架功能。在每个节点上安装Cassandra。为群集选择一个名称。获取每个节点...

2017-12-10 23:35:07 837

翻译 简要的架构

简要的架构Cassandra旨在处理跨多个节点的大数据工作负载,无单点故障。其架构基于这样的理解,即系统和硬件故障可以并且确实发生。Cassandra通过在跨群集中所有节点之间分布数据的同构节点上采用对等分布式系统来解决故障问题。每个节点使用对等八卦通信协议频繁地交换关于本身和群集中的其他节点的状态信息。每个节点上的顺序写入 提交日志捕获写入活动以确保数据持久性。然后将数据编入索引并写入内存结构,称

2017-12-10 23:04:54 200

翻译 Partitioners

Partitioners分区程序确定数据如何分布在集群中的节点(包括副本)上。基本上,分区器是一个函数,用于从其分区键派生表示一个行的标记,通常通过散列。然后每行数据通过标记的值分布在整个集群中。两者Murmur3Partitioner并RandomPartitioner用的令牌,以帮助分配数据给各节点的相等部分和均匀地从整个环或其它分组的所有表,如一个密钥空间分配数据。即使这些表使用不同的分区键(

2017-12-10 22:57:39 374

翻译 数据分配和复制

数据分配和复制在Cassandra中,数据分配和复制一起进行。数据按表进行组织,并由主键标识,主键确定数据存储在哪个节点上。副本是行的副本。当第一次写入数据时,它也被称为副本。影响复制的因素包括:虚拟节点:将数据所有权分配给物理机器。分区程序:将数据分区到集群中。复制策略:确定每行数据的副本。Snitch:定义复制策略用于放置副本的拓扑信息。一致的哈希一致性散列允许跨群集分布数据,以最大限

2017-12-10 22:51:12 658

翻译 一、节间通讯 gossip

节间通讯(gossip)gossip是一种对等通信协议,在这种协议中,节点周期性地交换关于他们自己和他们所知道的其他节点的状态信息。gossip进程每秒运行一次,并与群集中最多三个其他节点交换状态消息。节点交换关于自己和其他节点的信息,所有节点都快速了解集群中所有其他节点。gossip消息具有与其关联的版本,以便在gossip交换期间,旧信息被特定节点的最新状态覆盖。为了防止gossip通信中的问题

2017-12-10 22:42:33 315

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除