自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 cloudera-scm-agent没有正常关闭导致cloudera-scm-agent.pid没有销毁而无法启动Agent

找到该文件,然后删除了,再重启。

2018-05-16 15:16:04 2132 0

转载 卸载 Cloudera Manager 5.1.x.和 相关软件

问题导读:1.不同的安装方式,卸载方法存在什么区别?2.不同的操作系统,卸载 Cloudera Manager Server and 数据库有什么区别?重新安装不完整如果你来到这里,因为你的安装没有完成(例如,如果它是由一个虚拟机超时中断),和你想继续安装,然后重新安装,做到以下几点:删除文件和目...

2018-05-13 18:27:16 200 0

原创 Cloudera Manager5及CDH5在线安装(cloudera-manager-installer.bin)

一、  准备工作 1.    需求条件网速好因为是线上安装,所以要求要有比较大的带宽,特别是并行安装台服务器时。 网络稳一旦网络中断,可能你花费了半天或则一天的时间,就有可能会浪费,然后重装。 内存大最少要求10G以上内存,特别NameNode节点分配的角色较多,占用内存会更多。 2.    安装...

2018-05-13 17:52:40 532 0

原创 安装CDH时候出现主机运行状态不良情况的解决(Agent的集群id与当前Server集群id不匹配造成的)

现象通过Cloudera WEB界面安装Hadoop过程中,在安装Parcel步骤时,一个节点分配激活失败,报错信息显示”主机运行状况不良”,如下图所示。解决删除agent目录下面的cm_guid文件,并重启失败节点的agent服务恢复。寻找cm_guid文件的位置1) 如果cloudera-ma...

2018-05-11 22:55:42 7750 0

原创 Maven创建的web工程抛出The superclass javax.servlet.http.HttpServlet was not found on the Java Build Path

这个错误网上有很多解决方案,个人认为都不够好,先说这个异常的产生。使用Maven创建一个webApp工程的时候,一般是选择Group Id为org.apache.maven.archetypes,Artifact Id为maven-archetype-webapp的模板,如下图,但是这个模板创建好...

2018-04-12 10:56:09 190 0

原创 eclipse下的mybatis插件:MyBatipse

上一篇文章讲的是Mybatis Generator插件(简称MBG)的使用,MBG是用来生成Mapper.xml、Entity类、DAO接口的插件。而本篇文章讲的是另一个Mybatis插件Mybatipse,提供了内容提示和Mybatis的配置文件验证功能。(这两个插件都是MyBatis官方的插件...

2018-04-11 17:42:42 822 0

原创 Mybatis Generator(2)——插件的使用

1、创建数据库和表2、创建一个Maven工程我创建的是一个Maven Module工程,如下图:3、为工程增加Mybatis的maven依赖<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi=&...

2018-04-10 23:55:31 335 0

原创 Mybatis Generator(1)——插件的安装

最近接触了mybatis generator 自动生成实体类和映射文件,觉得这个太方便了,可是发现生成代码需要使用命令行,感觉很不方便。于是知道了有这么个插件,插件用起来就方便多了。之所以没有选择离线安装,是因为我eclipse里面装了很多其他插件,比如还有boot插件,如果覆盖的话担心其他插件受...

2018-04-10 23:52:52 124 0

原创 分隔符文章test

分隔符文章分隔符文章分隔符文章

2018-04-10 23:50:53 192 0

原创 分隔符文章,无意义

分隔符文章,无意义分隔符文章,无意义

2018-04-10 23:46:54 197 0

转载 Nginx开发从入门到精通

http://tengine.taobao.org/book/

2018-04-04 17:11:30 116 0

转载 Redis——2、API的理解和使用——2.5、有序集合

有序集合相对于哈希、列表、集合来说会有一点点陌生,但既然叫有序集合,那么它和集合必然有着联系,它保留了集合不能有重复成员的特性,但不同的是,有序集合中的元素可以排序。但是它和列表使用索引下标作为排序依据不同的是,它给每个元素设置一个分数(score)作为排序的依据。如图2-24所示,该有序集合包含...

2018-04-04 15:57:45 383 0

转载 Redis——2、API的理解和使用——2.5、集合

集合(set)类型也是用来保存多个的字符串元素,但和列表类型不一样的是,集合中不允许有重复元素,并且集合中的元素是无序的,不能通过索引下标获取元素。如图2-22所示,集合user:1:follow包含着"it"、"music"、"his"...

2018-04-03 20:11:49 123 0

转载 Redis——10集群——10.5请求路由(集群客户端)

目前我们已经搭建好Redis集群并且理解了通信和伸缩细节, 但还没有使用客户端去操作集群。 Redis集群对客户端通信协议做了比较大的修改,为了追求性能最大化,并没有采用代理的方式而是采用客户端直连节点的方式。因此对于希望从单机切换到集群环境的应用需要修改客户端代码。本节我们关注集群请求路由的细节...

2018-04-03 19:56:51 1972 0

转载 Redis——10集群—— 10.2搭建集群

介绍完Redis集群分区规则之后, 下面我们开始搭建Redis集群。 搭建集群工作需要以下三个步骤:1) 准备节点。2) 节点握手。3) 分配槽。10.2.1 准备节点Redis集群一般由多个节点组成,节点数量至少为6个才能保证组成完整高可用的集群。每个节点需要开启配置cluster-enable...

2018-04-02 22:22:03 160 0

转载 Redis——10集群—— 10.1Redis集群之数据分布理论

10.1.1 数据分布理论分布式数据库首先要解决把整个数据集按照分区规则映射到多个节点的问题, 即把数据集划分到多个节点上, 每个节点负责整体数据的一个子集。如图10-1所示。需要重点关注的是数据分区规则。 常见的分区规则有哈希分区和顺序分区两种, 表10-1对这两种分区规则进行了对比。     ...

2018-04-02 20:00:53 1893 0

转载 Redis—— 10集群

Redis Cluster是Redis的分布式解决方案,在3.0版本正式推出,有效地解决了Redis分布式方面的需求。当遇到单机内存、并发、 流量等瓶颈时,可以采用Cluster架构方案达到负载均衡的目的。之前,Redis分布式方案一般有两种:·客户端分区方案,优点是分区逻辑可控,缺点是需要自己处...

2018-04-02 19:12:23 115 0

转载 Redis(9.4)—— 哨兵的客户端连接

通过前面的学习,相信读者对Redis Sentinel有了一定的了解,本节将介绍应用方如何正确地连接Redis Sentinel。有人会说这有什么难的,已经知道了主节点的ip地址和端口,用对应编程语言的客户端连接主节点不就可以了吗?但试想一下,如果这样使用客户端,客户端连接Redis Sentin...

2018-04-02 16:46:21 10156 0

转载 Redis(9.3)—— 哨兵API

Sentinel节点是一个特殊的Redis节点,它有自己专属的API,本节将对其进行介绍。为了方便演示,以图9-21进行说明:Sentinel节点集合监控着两组主从模式的Redis数据节点。1.sentinel masters展示所有被监控的主节点状态以及相关的统计信息, 例如:127.0.0.1...

2018-04-02 16:22:15 484 0

转载 Redis(9.2)—— 哨兵的安装和部署

上一节介绍了Redis Sentinel的基本架构,本节将介绍如何安装和部署Redis Sentinel。9.2.1 部署拓扑结构下面将以3个Sentinel节点、1个主节点、2个从节点组成一个Redis Sentinel进行说明,拓扑结构如图9-13所示。具体的物理部署如表9-2所示。9.2.2...

2018-04-02 16:10:33 574 0

转载 Redis(9.1)—— 哨兵的基本概念

9.1 基本概念由于对Redis的许多概念都有不同的名词解释,所以在介绍Redis Sentinel之前,先对几个名词进行说明,这样便于在后面的介绍中达成一致,如表9-1所示。Redis Sentinel是Redis的高可用实现方案,在实际的生产环境中,对提高整个系统的高可用性是非常有帮助的,本节...

2018-04-02 12:20:58 199 0

转载 Redis(9)—— 哨兵

Redis的主从复制模式下,一旦主节点由于故障不能提供服务,需要人工将从节点晋升为主节点,同时还要通知应用方更新主节点地址,对于很多应用场景这种故障处理的方式是无法接受的。可喜的是Redis从2.8开始正式提供了Redis Sentinel(哨兵)架构来解决这个问题,本章会对Redis Senti...

2018-04-02 12:18:34 115 0

转载 Redis(5.2)—— 持久化AOF

AOF(append only file)持久化:以独立日志的方式记录每次写命令,重启时再重新执行AOF文件中的命令达到恢复数据的目的。AOF的主要作用是解决了数据持久化的实时性,目前已经是Redis持久化的主流方式。理解掌握好AOF持久化机制对我们兼顾数据安全性和性能非常有帮助。使用AOF开启A...

2018-04-02 11:55:24 209 0

转载 Redis(6)—— 复制

在分布式系统中为了解决单点问题, 通常会把数据复制多个副本部署到其他机器, 满足故障恢复和负载均衡等需求。 Redis也是如此, 它为我们提供了复制功能, 实现了相同数据的多个Redis副本。 复制功能是高可用Redis的基础, 后面章节的哨兵和集群都是在复制的基础上实现高可用的。 复制也是Red...

2018-04-02 09:57:15 181 0

转载 Redis(5.1)—— 持久化RDB

Redis支持RDB和AOF两种持久化机制, 持久化功能有效地避免因进程退出造成的数据丢失问题, 当下次重启时利用之前持久化的文件即可实现数据恢复。 RDB持久化是把当前进程数据生成快照保存到硬盘的过程, 触发RDB持久化过程分为手动触发和自动触发。触发机制手动触发分别对应save和bgsave命...

2018-03-31 23:35:06 185 0

转载 Redis()—— Pipeline

3.3.1 Pipeline概念Redis客户端执行一条命令分为如下四个过程:1) 发送命令2) 命令排队3) 命令执行4) 返回结果其中1) +4) 称为Round Trip Time( RTT, 往返时间) 。Redis提供了批量操作命令( 例如mget、 mset等) , 有效地节约RTT。...

2018-03-31 22:38:35 1193 0

转载 Redis(7)—— 列表

列表( list) 类型是用来存储多个有序的字符串, 如图2-18所示, a、b、 c、 d、 e五个元素从左到右组成了一个有序的列表, 列表中的每个字符串称为元素( element) , 一个列表最多可以存储2的23次方-1个元素。 在Redis中, 可以对列表两端插入( push) 和弹出( ...

2018-03-31 20:58:12 109 0

转载 Redis(6)—— 哈希

几乎所有的编程语言都提供了哈希( hash) 类型, 它们的叫法可能是哈希、 字典、 关联数组。 在Redis中, 哈希类型是指键值本身又是一个键值对结构, 形如value={{field1, value1}, ...{fieldN, valueN}}, Redis键值对和哈希类型二者的关系可以用...

2018-03-31 18:52:23 89 0

转载 Redis(5)—— 字符串

2.2 字符串字符串类型是Redis最基础的数据结构。 首先键都是字符串类型, 而且其他几种数据结构都是在字符串类型基础上构建的, 所以字符串类型能为其他四种数据结构的学习奠定基础。 如图2-7所示, 字符串类型的值实际可以是字符串( 简单的字符串、 复杂的字符串( 例如JSON、 XML) ) ...

2018-03-31 18:37:41 397 0

转载 Flume-ng HDFS Sink “丢数据”

http://blog.51cto.com/boylook/1308188线上对Flume流入HDFS配置path:p1,每分钟切一个文件,定期从p1从move完成的(rename)文件到外部表进行计算分析,发现有“丢数据”现象:即在p1下经常看到几GB的.tmp文件,查看Flume日志发现当出现...

2018-03-30 12:13:16 616 0

转载 Flume入门——Selector、Chanel等

1、selector(http://blog.csdn.net/looklook5/article/details/40430965)(http://blog.csdn.net/xiao_jun_0820/article/details/38116103#)选择器可以工作在复制 多路复用(路由) ...

2018-03-30 11:49:50 502 0

转载 HDFS之DataNode动态添加与卸载

动态添加一个DataNode集群扩容需要添加新DataNode,通常是在需要增加存储的情况下,虽然有时也是为了增加IO总带宽或减小单台机器失效的影响。在运行中的HDFS集群上增加新的DataNode是一个在线操作或热操作。对于要使用HDFS主机及功能的用户,新主机的IP地址必须添加到include...

2018-03-30 10:26:41 325 0

转载 Hadoop DataNode 节点的动态添加和动态删除

一 , 动态添加 DataNode 节点1 , 前提是 , 需要新加入的 DataNode 节点已经配置好 SSH 无密登录互通 .2 ,  复制存在 DataNode 节点 上的 Hadoop运行目录、hdfs目录及tmp目录至 新的DataNode.3 ,  在新DataNode上启动hado...

2018-03-30 10:23:53 373 0

转载 分布式锁与实现(二)——基于ZooKeeper实现

引言ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper的架构通过冗余服务实现高可...

2018-03-29 20:25:05 81 0

转载 分布式锁与实现(一)——基于Redis实现

https://www.cnblogs.com/liuyang0/p/6744076.html概述目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性(Consistency)、可用性(...

2018-03-29 19:27:21 83 0

转载 Redis分布式锁的正确实现方式

https://www.cnblogs.com/linjiqin/p/8003838.html前言分布式锁一般有三种实现方式:1. 数据库乐观锁;2. 基于Redis的分布式锁;3. 基于ZooKeeper的分布式锁。本篇博客将介绍第二种方式,基于Redis实现分布式锁。虽然网上已经有各种介绍Re...

2018-03-29 16:45:55 453 0

转载 Redis(4)—— 单线程架构

Redis使用了单线程架构和I/O多路复用模型来实现高性能的内存数据库服务, 本节首先通过多个客户端命令调用的例子说明Redis单线程命令处理机制, 接着分析Redis单线程模型为什么性能如此之高, 最终给出为什么理解单线程模型是使用和运维Redis的关键。1.引出单线程模型现在开启了三个redi...

2018-03-29 16:32:11 314 0

原创 Redis(3)—— 数据结构和内部编码

type命令实际返回的就是当前键的数据结构类型, 它们分别是:string( 字符串) 、 hash( 哈希) 、 list( 列表) 、 set( 集合) 、 zset( 有序集合) , 但这些只是Redis对外的数据结构, 如图2-1所示。实际上每种数据结构都有自己底层的内部编码实现, 而且是...

2018-03-29 14:58:44 105 0

原创 Redis(2)—— 全局命令

全局命令Redis有5种数据结构, 它们是键值对中的值, 对于键来说有一些通用的命令。1.查看所有键    keys *    下面插入了3对字符串类型的键值对:    127.0.0.1:6379> set hello world    OK    127.0.0.1:6379&a...

2018-03-29 14:41:01 168 0

转载 Flume 入门--几种不同的Sources

1.flume概念flume是分布式的,可靠的,高可用的,用于对不同来源的大量的日志数据进行有效收集、聚集和移动,并以集中式的数据存储的系统。flume目前是apache的一个顶级项目。flume需要java运行环境,要求java1.6以上,推荐java1.7.将下载好的flume安装包解压到指定...

2018-03-27 15:17:39 295 1

提示
确定要删除当前文章?
取消 删除