2020年03月_登峰小蚁

11月 06月 05月 04月 03月

转载 0073-jedis哨兵模式下感知主节点变更

文章目录参考1. 哨兵模式的客户端连接2. 存在的不足3. 读写分离3.1 改造JedisSentinelPool3.2 新建slave的工厂3.3 用法3.4 spring集成参考1. 哨兵模式的客户端连接哨兵模式下，客户端不能直接连接master节点，需要连接哨兵集群/** * 原始的jedis * 1. 可以实现主节点的自动切换 * 2. 但是池化对象都是master节点，无法...

2020-03-18 23:03:28 2890

原创 0072-redis哨兵模式下客户端感知主节点切换

文章目录1. 现状2. 原理3. 订阅哨兵的频道3.1 开启客户端订阅频道3.2 变更主节点1. 现状redis使用了哨兵模式以后，可以保持良好的健壮性，主节点宕机以后，哨兵可以做故障转移，使集群继续工作，故障转移后新的主节点需要通知客户端（客户系统），否者客户端就没法感知主节点，不能写入数据。2. 原理哨兵相当于一台只提供了订阅功能的redis服务器，客户端只需要订阅哨兵的指定频道，当发...

2020-03-18 23:00:03 4533

文章目录1. 机器配置2. 一主二从配置2.1 master2.2 slave12.3 slave23. 哨兵配置3.1 centos00103.2 centos00203.3 centos00304. 验证主机转移4.1 干掉centos0010的master节点4.2 centos0020/centos0030升级为主节点4.3 重启centos0010的redis将变为从节点1. 机器配置...

2020-03-18 22:58:28 2409

原创 0070-redis哨兵模式理论

文章目录1. 哨兵模式解决的问题2. 哨兵是什么？3. 哨兵有什么用？4. 哨兵的工作机制5. 主观下线与客观下线6. 哨兵选举领导者7. 故障转移1. 哨兵模式解决的问题在主从复制的模式中，数据的安全性和缓解读数据的压力得以解决，但是无法解决主节点宕机以后需要手动切换的问题，哨兵模式可以解决这个问题，当主机节点出现问题时，哨兵可以自动发现并转移故障，然后通知客户端。2. 哨兵是什么？哨兵...

2020-03-18 22:55:51 2399

原创 0060-redis主从复制的几种模型

文章目录1. 一主一从2. 一主多从3. 树形拓扑4. 主从复制的缺点1. 一主一从最简单的主从模型，主机将数据同步给从机，从机提供查询，另外从机可以开启aof，既能保证效率，又可靠。2. 一主多从一个主机，多个从机，主机提供数据写入，从机提供数据查询3. 树形拓扑一主多从的架构会导致master的数据同步压力过大，所以可以采用树形拓扑的方式，主机只需要同步给其中一台slave...

2020-03-18 22:44:55 2693

原创 0050-redis主从配置

文章目录1. 配置1.1 主机配置1.2 从机配置1.3 状态查看1. 配置1.1 主机配置跟单节点一样，正常启动bind的地址，从节点要可以访问1.2 从机配置redis.conf文件添加replicaof <masterip> <masterport># replicaof centos0010 6379#######################...

2020-03-18 22:40:22 2319

原创 0040-redis持久化策略

文章目录1. RDB(Redis DataBase)2. AOF(Append only File)1. RDB(Redis DataBase)在指定的时间内，操作指定的次数redis会生成一个dump.rdb文件,生成文件位置是./跟redis.conf相同目录。################################ SNAPSHOTTING #################...

2020-03-18 22:25:25 2193

原创 0030-redis单节点配置

文章目录1. bind2. port3. daemonize4. pidfile5. loglevel6. logfile7. databases8. maxmemory9. maxmemory-policy附录1. bind2. portredis服务端口3. daemonize守护线程模式运行4. pidfile进程号文件5. loglevel日志级别6. logfile...

2020-03-18 22:24:28 2368

转载 0020-redis的bind误区

文章目录1. bind的误区2. bind到底是啥3. 127.0.0.1与0.0.0.0参考1. bind的误区一直以为redis配置文件的bind选项是限制当前redis服务可以被bind配置的ip连接，直到有一次搭建redis集群才发现这是错的，配置了两个ip，redis启动直接报错了。2. bind到底是啥bind绑定的地址是redis服务所在主机的网卡的地址，如果其它机子能通过...

2020-03-18 22:23:02 2312

原创 0120-hive3.1.2配置mysql5.7.24

hive3.1.2配置mysql5.7.241. 修改配置文件2. 添加mysql包3. 初始化数据库4. 说明1. 修改配置文件cd confvi hive-site.xml输入以下内容，mysql的连接配置<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="te...

2020-03-15 14:12:18 2794

原创 0110-hive3.1.2配置derby启动

hive配置derby启动1. 下载解压2. 配置2.1 配置hive环境变量（非必需）2.2 hive配置Hadoop位置（非必需）2.3 hive配置文件位置配置（非必需）3. 初始化数据库4. 启动1. 下载解压下载2. 配置hive是将hql翻译成mapreducer程序的一个工具，hive依赖hdfs和yarn2.1 配置hive环境变量（非必需）export HIVE_HO...

2020-03-15 14:08:25 2895 6

原创 0100-Hadoop3.2.0 qjournal HA集群搭建

Hadoop HA搭建1. 原理说明2. 环境准备3. 集群规划3. zookeeper集群搭建4. hadoop集群搭建4.1 Hadoop下载4.2 解压4.3 配置文件4.3.1 配置环境变量4.3.2 hadoo-env.sh配置4.3.3 core-site.xml4.3.4 hdfs-site.xml4.3.5 mapred-site.xml4.3.6 yarn-site.xml4.3...

2020-03-14 19:09:57 2984 1

原创 0020-zookeeper集群搭建

文章目录官方文档1. 修改配置文件2. 新建myid文件3. 启动集群官方文档官方文档1. 修改配置文件# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial # synchronization phase can takeinitLimit=10# ...

2020-03-14 18:13:27 2181

原创 0010-zookeeper环境搭建

文章目录1. 建立zoo.cfg2. 建立data文件3. 启动server1. 建立zoo.cfg在zookeeper安装包中复制zoo_sample.cfg，改名为zoo.cfg修改其中的dataDir配置，如下# The number of milliseconds of each ticktickTime=2000# The number of ticks that the i...

2020-03-14 18:12:41 2187

原创 0090-mapreduce自定义分组

文章目录1. 需求2. 实现步骤2.1 实体类2.2 Mapper程序2.3 自定义Partitioner2.4 Reducer程序2.5 执行job2.6 总结1. 需求mapper将结果发送到Reducer会进行数据分组，默认是分在同一组，有时候会根据不通的业务需求进行分组。注：默认的分组逻辑，(key.hashCode() & Integer.MAX_VALUE)表示用key的...

2020-03-14 17:49:09 2461

原创 0080-mapreduce自定义排序

文章目录1. 需求说明2. 实现步骤2.1 实体类2.2 Mapper类2.3 Reducer类2.4 Job提交类1. 需求说明倒叙排列总流量的大小。map类先将处理结果缓存到本地，此时会根据key进行排序，map结束后将结果送到reducer类处理。所以我们需要做的就是自定义key的比较方式。2. 实现步骤2.1 实体类要实现WritableComparable接口，自定义比较规则...

2020-03-14 17:42:01 2231

原创 0070-mapreduce自定义输出类

文章目录1. 需求背景2. 场景3. 具体实现3.1 自定义输出类3.2 Mapper类3.3 Reducer类3.4 job类-标准写法4. 总结1. 需求背景mapper-reducer程序只能输入键值对，如果需要输出多个字段信息，必须对键或值进行自定义封装。2. 场景// 手机号码上行流量下行流量其他字段13576119010 11 22 aa1 bb11367611901...

2020-03-14 17:31:31 2421

原创 0060-mapreduce程序的三种提交方式

文章目录1. 第一种Hadoop jar2. 第二种Main方法直接运行，提交本地jvm3. 第三种Main方法直接提交到Yarn集群分发1. 第一种Hadoop jar这种方式将写好的mapper reducer程序打包提交到集群中运行，这种方式也是最终的运行方式，但是不方便调试代码逻辑。2. 第二种Main方法直接运行，提交本地jvm起作用的依赖<dependency>...

2020-03-14 17:21:31 2620

原创 0050-mapreduce入门-word count

文章目录1. 说明2. 添加依赖3. 编写代码3.1 Mapper程序3.2 Reducer程序3.3 job类4. 打包5. 执行1. 说明hello javahello jshello hadoophello htmlhello hdfshello mrhello hive用mapper-reduce程序统计上述数据中各单词出现的次数注：map程序首先切分单词，其次遍历...

2020-03-14 16:56:23 2285

原创 0040-hdfs客户端

文章目录1. 添加依赖2. 添加配置3. 编写客户端代码1. 添加依赖<dependencies>  <dependency> <groupId>org.apache.hadoop</groupId> <artifactId...

2020-03-14 00:14:55 2017

原创 0030-hdfs shell操作

文章目录1. 实现原理2. shell操作1. 实现原理hdfs是通过分布式集群来存储文件；文件存储到hdfs集群中去的时候被切分成block，默认是128M；文件的block被放在不同的datanode节点上；hdfs文件系统中的文件与与真实的block之间有映射关系，由namenode管理；每个block在集群中存在多个副本(默认3个)，可以提高数据的可靠性，也可以提高访问的吞吐...

2020-03-14 00:07:03 2332

原创 0020-伪分布式环境搭建

文章目录1. hadoop-env.sh2. core-site.xml3. hdfs-site.xml4. mapred-site.xml5. yarn-site.xml6. 关闭防火墙7. 配置hadoop环境变量8. 格式化文件系统9. 启动hdfs文件系统10. 从节点配置文件11. 启动yarn12. 验证启动1. hadoop-env.shhadoopd的环境变量，改JAVA_HO...

2020-03-13 23:46:21 2226

原创 0010-centos集群环境搭建

文章目录1. vware虚拟机安装2. 虚拟机安装centos2.1 配置固定ip2.2 hostname 修改2.3 拒绝xsheel连接2.4 配置hosts2.5 远程传输命令2.6 配置ssh连接2.7 端口开放2.8 关闭图形界面2.8 关闭防火墙1. vware虚拟机安装2. 虚拟机安装centos2.1 配置固定ip# 编辑下面的yaml文件vi /etc/sysconfi...

2020-03-13 23:43:51 2183

原创 linux-文本处理

文章目录1. wc-文件数据统计2. awk-筛选指定行3. sort-排序，去重4. uniq-删除邻近重复出现的行5. cat-合并文件5.1. 两个文件合并5.2. 两个文件的交集、并集（前提条件：每个文件中不得有重复也可以是多个文件）6. dos文件转为unix1. wc-文件数据统计-l 获取行号-c 获取byte数-w 获取单词数-m 获取字符数例子：wc -...

2020-03-12 13:05:28 2310

原创 linux-服务器维护常用命令

1. ps-查看进程-e 所有进程-f 全格式例子：ps -ef 全格式显示当前所有进程2. grep-文本搜索命令-i 忽略大小写-n 显示行号例子：grep -ni 关键字文件在文件中忽略大小写搜索关键字，显示行号和内容3. 管道符 |A|B|C 将A命令原本输出到屏幕的输出流当作B命令的输入流4. kill-向进程发送信号-9 强制结束某个进程例子：k...

2020-03-12 13:01:50 2431

原创 rpc框架基础原理

文章目录1. 原理图示2. 具体实现2.1 服务端2.2 客户端2.3 数据传输对象2.4 service1. 原理图示引用段海涛老师 8天Hadoop视频课原理图注：将controller，service都发布为服务（同一个jvm中可以直接通过方法调用，不通的jvm中可以通过网络传输数据）；controller和service拥有共同的service接口；controller...

2020-03-11 23:44:47 2340

原创 js图片大小压缩到指定范围

文章目录1. compressUtil.js2. 使用方法1. compressUtil.js/** * 图片压缩类 * @param minSize * @param maxSize * @constructor */var PhotoCompress = function (minSize, maxSize) { var nextQ = 0.5; // 压缩比例 ...

2020-03-11 22:55:12 5619 1