theONLY0318-CSDN博客

原创 Redis集群

文章目录1. 简介2. Redis集群节点复制3. Redis集群故障转移4. Redis集群分片4. 何时集群不能对外提供服务5. Redis集群Redirect转向6. Redis集群搭建1. 简介由多个Redis服务器组成的分布式网络服务集群每一个Redis服务器称为节点Node，节点之间会互相通信。两两相连Redis集群无中心节点（无主模型）redis3.x及以上版本支持2. Redis集群节点复制Redis集群的每个节点都有两种角色可选：主节点master node、从节点slav

2021-03-31 21:27:39 225

原创 Redis持久化

文章目录1. 介绍2. RDB3. AOF3.1 AOF写入机制3.2 写入磁盘的策略3.3 AOF重写1. 介绍什么是持久化？将数据从掉电易失的内存存放到能够永久存储的设备上Redis为什么需要持久化？基于内存的缓存服务器，需要吗？内存数据库，需要吗？消息队列，需要吗？Redis持久化方式RDB（Redis DB）hdfs: fsimageAOF（AppendOnlyFile）hdfs : edit logs 关闭的2. RDBRDB是Redis的默

2021-03-31 19:15:30 203

原创 Redis 数据结构

文章目录简介1. Redis key2. string3. list4. hash5. set6. SortedSet简介Redis存储的是键值对key-value数据，key都是字符串类型，value有如下几种数据结构：string字符串（strings），list 列表hash 散列set 集合sorted set 有序集合bitmaps 位图hyperloglogs 基数统计geospatial 地理空间1. Redis keyRedis key 值是二进制安全的，这意味

2021-03-31 18:38:04 177 1

原创 redis介绍

1. 简介Redis是用C语言开发的一个开源的高性能键值对数据库官方提供的测试数据：50个并发执行100000个请求时读的速度是：110000 次每秒，写的速度是：81000 次每秒官网：https://redis.io/中文官网：http://redis.cn/2. 特点开源的（BSD协议），使用ANSI C 编写，基于内存的且支持持久化，高性能的Key-Value的NoSQL数据库单线程运行，省去了线程上下文切换带来的性能开销，效率更高。支持数据结构类型丰富，有字符串（string

2021-03-31 17:27:38 118

原创 Redis bitmap

文章目录1. getbit2. setbit3. bitpos4. 位操作 bitopbitop andbitop orbitop notbitop xor5. bitcount6. 中文字符7. 案例7.1 网站用户的上线次数统计（活跃用户）7.2 按天统计网站活跃用户Redis的位图bitmap【字节数组】bitmap（位图）不是真正的数据类型，它是定义在字符串类型中一个字符串类型的值最多能存储512M字节的内容位上限：2^(9(512)+10(1024)+10(1024)+3(8b=1B))=

2021-03-30 19:00:11 366

原创 HBase 分布式搭建

文章目录1. 环境2. 下载并解压HBase3. 环境变量4. 配置文件4.1 regionservers4.2 backup-masters4.3 hbase-env.sh4.4 hbase-site.xml4.5 HDFS客户端配置4.6 传给其他三台5. 启动与停止5.1 启动5.2 停止6. hbase shell7. WebUI8. HDFS信息1. 环境JDK1.8+Zookeeper集群+Hadoop集群配置四台主机免密钥NodeNameMasterZookeeperRe

2021-03-29 20:48:01 87

原创 Hive搭建

文章目录环境1. Hive三种搭建方式2. Hive下载3. 本地单用户模式（derby）4. 本地多用户模式（mysql）5. 多用户模式5.1 Remote一体5.2 Remote分离环境JDK1.8 + Hadoop2.6.5 HA + Hive 1.2.11. Hive三种搭建方式Hive中metastore的三种方式：内嵌Derby方式使用内嵌的默认元数据数据库Derby，单进程访问Local方式使用其他的关系型数据库，该关系型数据库和hive在同一个节点Remote方式使用

2021-03-28 16:09:21 306

原创 Hadoop Yarn-ResourceManager HA搭建

文章目录1. 配置文件mapred-site.xmlyarn-site.xml2. 启动3. 运行自带wordcount4. 停止模拟环境：四台虚拟机node1、node2、node3、node4node1node2node3node4NameNode-1NameNode-2DataNode-1DataNode-2DataNode-3Zookeeper-1Zookeeper-2Zookeeper-3zkfc-1zkfc-2Jour

2021-03-24 22:24:12 325

原创 Eclipse配置Hadoop开发环境

Eclipse配置Hadoop开发环境1. Windows 环境配置jdk的安装与配置1.1 下载hadoop1.2 配置环境变量1.3 查看命令2. Eclipse配置2.1 安装插件2.2 Eclipse配置1. Windows 环境配置jdk的安装与配置略1.1 下载hadoophttp://archive.apache.org/dist/hadoop/core/选择版本下载，并解压（解压到没有中文的目录）1.2 配置环境变量HADOOP_HOMEhadoop解压目录路径HADO

2021-03-24 21:27:13 461

原创 Hadoop HA 集群搭建

Hadoop HA 集群搭建1. zookeeper集群搭建2. hadoop配置3. HA Hadoop启动4. 测试NameNode active5. zookeeper信息查看6. 停止集群模拟环境：四台虚拟机node1、node2、node3、node4node1node2node3node4NameNode-1NameNode-2DataNode-1DataNode-2DataNode-3Zookeeper-1Zookeeper-2Zook

2021-03-18 20:45:06 356

原创 Zookeeper集群搭建

Zookeeper集群搭建1. 下载压缩包2. 配置环境变量3. 修改配置文件4. 另外两台5. 启动环境：3台安装了jdk的Linux1. 下载压缩包http://archive.apache.org/dist/zookeeper/此处使用zookeeper-3.4.6.tar.gz上传至服务器，并解压至指定目录tar -zxvf zookeeper-3.4.6.tar.gz -C /opt/2. 配置环境变量vim /etc/profile在文件末尾处添加配置export ZOOKE

2021-03-18 20:25:23 140

原创 hdfs分布式搭建

HDFS分布式搭建环境准备1. ssh免密钥设置2. Hadoop安装及配置3. hadoop环境变量4. 格式化hadoop并启动模拟环境：四台虚拟机node1、node2、node3、node4node1node2node3node4NameNodeSecondaryNameNodeDataNode-1DataNode-2DataNode-3/etc/hosts环境准备四台虚拟机 :/etc/hosts192.168.184.61 nod

2021-03-18 18:51:56 122

原创 Centos6.5 yum无法安装

修改/etc/yum.repos.d/CentOS-Base.repo文件将mirrorlist注释掉，baseurl的注释去掉，并将$releasever全部修改为系统当前版本，可用cat /etc/redhat-release查看。此时使用yum进行安装时，可能继续报如下错误：这是因为之前的baseurl已经访问不到repomd.xml文件了，需要修改baseurl的前缀:例如OS：baseurl=https://vault.centos.org/6.5/os/$basearch/其他相.

2021-03-15 20:40:57 319

sinat_35400668的博客