精通分布式存储系列
文章平均质量分 81
深入细致的介绍各项分布式存储技术,助你从小白进阶成为分布式存储技术专家
冰 河
这个作者很懒,什么都没留下…
展开
-
硬核!4.5万字手把手教你搭建MySQL海量数据存储架构!!(全程实战,建议收藏)
MySQL数据库到底能存储多少数据呢?很多小伙伴可能会觉得MySQL数据库存储的数据量不大,不能支撑起大数据量的存储与读写性能。实则不然,只要架构设计得当,MySQL其实完全可以存储海量数据,并且在海量数据的存储下提供良好的读写性能。原创 2021-06-09 14:11:43 · 46794 阅读 · 115 评论 -
新年上班第一天生产环境分布式文件系统崩了!!
新年第一天上班遇到的生产环境事故!!原创 2021-02-22 23:40:18 · 1357 阅读 · 3 评论 -
FastDFS CentOS 8开机自启动
FastDFS 在CentOS 8服务器上没有自启动怎么办?原创 2021-01-28 22:18:50 · 1309 阅读 · 0 评论 -
冰河又一超硬核分布式存储PDF教程免费开源!!
学习分布式存储技术,我只看《跟冰河学习分布式存储技术》原创 2020-09-28 21:17:12 · 759 阅读 · 0 评论 -
【FastDFS】如何整合FastDFS到项目中?其实很简单!!(全程实战,附完整工程源码)
SpringBoot整合FastDFS,我只看这一篇!!原创 2020-09-28 00:12:59 · 1700 阅读 · 1 评论 -
【FastDFS】面试官:如何实现文件的大规模分布式存储?(全程实战)
FastDFS高可用集群,我只看这一篇!!原创 2020-09-26 23:30:00 · 1384 阅读 · 0 评论 -
【FastDFS】小伙伴们说按照我写的方式在CentOS 8服务器上搭建FastDFS环境总报错?
这下在CentOS 8服务器上安装FastDFS不会报错了吧!原创 2020-09-25 20:37:53 · 837 阅读 · 0 评论 -
【FastDFS】如何打造一款高可用的分布式文件系统?这次我明白了!!
写在前面前面我们学习了如何基于两台服务器搭建FastDFS环境,而往往在生产环境中,需要FastDFS做到高可用,那如何基于FastDFS打造一款高可用的分布式文件系统呢?别急,今天,我们就一起来基于FastDFS搭建一套高可用的分布式文件系统。FastDFS 介绍参考: http://www.oschina.net/p/fastdfsFastDFS 是一个开源的分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特原创 2020-07-02 13:55:27 · 5315 阅读 · 1 评论 -
【FastDFS】FastDFS 分布式文件系统的安装与使用,看这一篇就够了!!
写在前面有不少小伙伴在实际工作中,对于如何存储文件(图片、视频、音频等)没有一个很好的解决思路。都明白不能将文件存储在单台服务器的磁盘上,也知道需要将文件进行副本备份。如果自己手动写文件的副本机制,那就太麻烦了,这会涉及冗余副本机制、服务器的调度、副本检测、服务器节点检测、文件副本存放策略、网络环境检测等等一系列的难题。了解Hadoop的小伙伴,会自然而然的想到HDFS,没错,HDFS可以存储文件,也能够将大文件切分成一个个文件块进行存储,还能够根据配置自动提供冗余副本机制,不用我们自己去处理复杂的冗余原创 2020-07-01 23:37:33 · 1408 阅读 · 0 评论 -
docker+fastdfs+nginx 实现分布式大文件存储系统以及视频缓存播放
废话不多说,直接开撸首先是一些准备工作:1.关闭防火墙service iptables stop--- fastdfs虽然在docker部署,但是使用的是主机网络,所以关闭防火墙。2 下载fastdfs镜像docker pull season/fastdfs3cd /varmkdir /fdfs所有的文件存放在/var/fdfs中 目录清晰3....转载 2020-04-19 14:42:24 · 1811 阅读 · 0 评论 -
FastDFS之——Web访问 FastDFS 出现的问题及解决方案
推荐大家结合 Nginx 使用 fastdfs-nginx-module 模块,搭建好fastdfs 系统后 就可以搭建web访问功能了。大体思路有以下两种1.直接安装nginx关于fastdfs集合的扩展模块 fastdfs-nginx-module 或者直接安装apache关于fastdfs集合的扩展模块 fastdfs-apache-module 2.安装web软件后,通过配...原创 2018-07-15 13:58:20 · 11314 阅读 · 1 评论 -
FastDFS之——集群的安装、 配置、 使用
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/72803681一、FastDFS 介绍参考: http://www.oschina.net/p/fastdfsFastDFS 是一个开源的分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别...原创 2017-05-29 20:04:22 · 18132 阅读 · 4 评论 -
FastDFS之——FastDFS 分布式文件系统的安装与使用(单节点)
跟踪服务器: 192.168.50.131 (liuyazhuang131)存储服务器: 192.168.50.132 (liuyazhuang132)环境: CentOS 6.5用户: root数据目录: /fastdfs (注: 数据目录按你的数据盘挂载路径而定)安装包:FastDFS v5.05libfastcommon-master.zip(是从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库)fastdfs-nginx-module_v1.16.tar.gzng原创 2017-05-13 17:56:07 · 1609 阅读 · 0 评论 -
如何实现CentOS服务器的扩容??
CentOS扩容原创 2021-01-12 23:28:52 · 1078 阅读 · 0 评论 -
冰河,能不能讲讲如何实现MySQL数据存储的无限扩容?
实现MySQL数据存储的无线扩容,看这一篇就够了!!原创 2020-12-19 02:01:56 · 1096 阅读 · 1 评论 -
海量数据架构下如何保证Mycat的高可用?
如何实现Mycat的高可用,我只看这一篇!!原创 2020-12-10 23:56:20 · 951 阅读 · 0 评论 -
冰河,能讲讲Mycat如何实现MySQL的读写分离吗?
Mycat实现MySQL读写分离,看这一篇就够了!!原创 2020-12-08 00:37:28 · 1039 阅读 · 0 评论 -
【Mycat】Mycat核心开发者带你轻松掌握Mycat路由转发!!
Mycat核心开发者带你一文看尽Mycat路由转发!!原创 2020-11-11 20:24:04 · 685 阅读 · 0 评论 -
【Mycat】Mycat核心开发者带你看尽Mycat三大核心配置文件
一文看尽Mycat三大核心配置文件!!原创 2020-11-10 21:22:15 · 1100 阅读 · 0 评论 -
【Mycat】作为Mycat核心开发者,怎能不来一波Mycat系列文章?
Mycat核心开发者深度分享Mycat系列文章原创 2020-11-10 00:26:29 · 853 阅读 · 0 评论 -
Mycat之——Mycat的限制
不支持的SQL语句create table like xxxcreate table select xxxselect for updateselect lock in share modeselect into outfile/into var_name不支持跨库多表关联查询、子查询。不支持多表UPDATE或者UPDATE分片键。不支持跨分片的update/dele...原创 2020-03-16 23:53:30 · 1921 阅读 · 0 评论 -
Mycat之——Mycat集群优化
Linux优化配置优化/etc/sysctl.conf文件net.ipv4.ip_forward= 0kernel.sysrq = 0kernel.msgmnb = 65536kernel.msgmax = 65536kernel.shmmax = 68719476736kernel.shmall = 4294967296net.ipv4.tcp_syncookies = 1n...原创 2020-03-16 23:28:13 · 1095 阅读 · 0 评论 -
Mycat之——通过命令行管理Mycat
在《Mycat之——搭建Mycat+Zookeeper+HAProxy+Keepalived+MySQL高可用架构》一文中,我们搭建了Mycat的高可用环境,在高可用环境中,实现了HAProxy的高可用、Mycat的高可用、MySQL的高可用、Zookeeper的高可用和Keepalived的高可用。我们就需要实现Mycat的管理和监控了,不然出了问题,我们是没办法及时发现的。1.Mycat管...原创 2020-03-16 22:43:18 · 3174 阅读 · 0 评论 -
Mycat之——搭建Mycat+Zookeeper+HAProxy+Keepalived+MySQL高可用架构
前言业界对系统的高可用有着基本的要求,简单的说,这些要求可以总结为如下所示。系统架构中不存在单点问题。可以最大限度的保障服务的可用性。一般情况下系统的高可用可以用几个9来评估。所谓的几个9就是系统可以保证对外提供的服务的时间达到总时间的百分比。例如如果需要达到99.99的高可用,则系统全年发生故障的总时间不能超过52分钟。注意:如下文章是有关Mycat的精选博文,大家可以自行...原创 2020-03-15 23:15:41 · 3286 阅读 · 6 评论 -
Mycat之——SQL防火墙
如果说Mycat提供的SQL拦截器是为了事后审计SQL语句的话,那么,Mycat提供的SQL防火墙就是为了事先的预防。为什么需要使用SQL防火墙?对应熟悉MySQL的童鞋来说,我们可以指定用户只能通过某些IP来访问数据库。但是,一旦我们使用了Mycat,所有访问数据库的认证就交由Mycat来进行。之前我们在Mycat的server.xml文件中所配置的那些用户,在所有能够访问到Mycat的主机...原创 2020-03-04 20:47:04 · 1725 阅读 · 0 评论 -
Mycat之——SQL拦截
其实,看到这个标题后,我本人也会提出一个疑问:SQL拦截到底有什么用呢?,接下来,就让我们带着这个疑问来阅读本文。为何需要使用Mycat的SQL拦截功能?首先,我们来列举一个真实的案例场景:我们在实际的工作中,经常会遇到这样一种场景:业务人员突然发现业务数据库中的数据被莫名其妙的修改了,但又不知道是如何修改的。于是,就来求助DBA,想要来查询一下修改数据的SQL语句。通常情况下,DBA只能通过...原创 2020-03-04 20:43:23 · 1813 阅读 · 0 评论 -
Mycat之——实现ER分片
【前言】引出ER分片在《Mycat之——设置全局自增id》一文中,我们为水平分片的数据表设置了全局自增的id值,解决了由于分片后各自数据节点的数据表自增,导致Mycat查询数据时,出现的id值重复的问题。此时,我们继续在Mycat下执行如下SQL语句来关联查询order_master数据表和order_detail数据表的数据。mysql> select * from order_ma...原创 2020-03-04 00:10:54 · 1302 阅读 · 0 评论 -
Mycat之——设置全局自增id
在《Mycat之——实现MySQL的水平分表》一文中,我们将商城数据库的订单数据库中的order_master数据表,根据customer_id字段进行了水平切分,当我们通过Mycat向order_master数据表中插入数据后,再通过Mycat查询order_master数据表中的数据时,发现通过Mycat查询出来的数据中,order_id字段有很多重复的值。这是由于在orderdb01orde...原创 2020-03-01 22:50:43 · 2334 阅读 · 0 评论 -
Mycat之——实现MySQL的水平分表
在《Mycat之——实现MySQL垂直分库》一文中,我们将整个商城数据库分成用户库、商品库和订单库。由于订单数据库中的订单表数据会随着业务的不断增长而增长,最终单表难以承载巨大的数据量,此时,我们就需要在垂直分库的基础上对订单表中的数据进行水平切分。而Mycat对数据表的水平切分提供了多种切分规则和算法,后续,我们会深入介绍这些切分规则和算法。这里,我们直接根据order_master表中的cu...原创 2020-03-01 21:37:29 · 2070 阅读 · 1 评论 -
Mycat之——实现MySQL垂直分库
Mycat之——实现MySQL垂直分库数据库架构演化对于一个早期的商城系统来说,由于业务量不太大,数据承载压力不高,我们可以将所有的数据放在一台MySQL服务器上,此时的数据库架构就类似于下图所示。随着业务量的不断增加,数据库的压力越来越大,此时我们可以将MySQL做成主从复制集群,使用Mycat完成MySQL的读写分离,其中,MySQL主库作为写库,MySQL从库作为读库,此时的数据库架...原创 2020-03-01 15:15:40 · 2303 阅读 · 2 评论 -
Mycat之——Mycat与MySQL 8.x互连
本文教你如何实现Mycat与MySQL 8.x互连,也就是说实现Mycat连接MySQL 8.x数据库,同时,实现使用MySQL 8.x的命令行连接Mycat。1.创建MySQL用户首先,在MySQL8.x中创建Mycat连接MySQL的用户,如下所示。CREATE USER 'mycat'@'192.168.175.%' IDENTIFIED BY 'mycat';ALTER U...原创 2020-02-29 11:58:35 · 5224 阅读 · 6 评论 -
Mycat之——日志报Unknown charsetIndex:224错误
Mycat启动后,不能进行任何数据库的操作,报Unknown charsetIndex:224错误从错误看是因为字符集问题引起的 ,因为我MYSQL服务器默认使用的是utf8mb4,所以修改mycat字符集的配置文件#vi index_to_charset.properties在配置文件最后加入224=utf8mb4,重启服务即正常原创 2017-11-16 09:51:08 · 4093 阅读 · 0 评论 -
Mycat之——多Schema配置
对于Mycat的多Schema配置,有些同学还不是很熟悉,那么这里就直接贴出一个配置文件供大家参考select user() select 1 from dualalter session set nls_date_format='yyyy-mm-dd hh2原创 2017-10-17 20:59:59 · 6665 阅读 · 0 评论 -
Mycat之——取模分片
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/77150670一、简单描述取模分片,就是根据数据表的某一个字段,通常是某一个整数型的字段,对其进行十进制的求模运算,将运算结果作为Mycat的路由结果,具体规则如下:此分片算法根据id进行十进制求模运算,相比固定的分片hash,这种分片算法在批量插入时会增加事务一致性的难...原创 2017-08-13 22:18:12 · 3594 阅读 · 0 评论 -
Mycat之——错误处理总结
1、报错1mysql> INSERT INTO t_order(ID,SN,CREATE_TIME) VALUES(1,'2BJ0001001',NOW()); ERROR 1064 (HY000): For input string: "2BJ0001001"mysql> 报错是因为分片字段是str字符串,所以需要修改分片规则1中type从0改成1,0是数字型分片,1是字符串分片原创 2017-08-13 10:58:49 · 9829 阅读 · 0 评论 -
Mycat之——程序指定分区分片
一、简单描述程序指定分区分片,就是说程序在运行的运行根据规则自动指定数据的分片结果,具体规则如下:此规则是在运行阶段有应用自主决定路由到那个分片。此方法为直接根据字符子串(必须是数字)计算分区号(由应用传递参数,显式指定分区号)。二、实现数据分片1、配置rule.xml在rule.xml中添加如下配置:原创 2017-08-13 10:22:24 · 4330 阅读 · 2 评论 -
Mycat之——枚举分片
一、简单描述今天,我们就一起来看下Mycat中的枚举分片,所谓的枚举分片,就是通过在配置文件中配置可能的枚举id,自己配置分片,本规则适用于特定的场景,比如有些业务需要按照省份或区县来做保存,而全国省份区县固定的,具体使用场景可根据自己具体的业务场景确定。二、实现枚举分片1、配置rule.xml在rule.xml添加如下配置:<!-- mapFile标识配置文原创 2017-08-11 12:48:40 · 1845 阅读 · 0 评论 -
Mycat之——按日期(天)分片
一、简单描述这篇文章就给大家介绍如何用Mycat实现按日期(天)来进行数据分片操作,即满足如下要求:按日期(天)分片:从开始日期算起,按照天数来分片例如,从2017-01-01,每10天一个分片注意事项:需要提前将分片规划好,建好,否则有可能日期超出实际配置分片数二、实现数据分片1、配置rule.xml在rule.xml中添加如下配置:原创 2017-08-09 23:49:06 · 3804 阅读 · 0 评论 -
Mycat之——自定义数字范围分片
一、简单描述自定义数字范围分片,故名思议,就是要自己定义数字的范围来规划每个分片的区域,这就要求我们提前规划好分片字段某个范围属于哪个分片,比如说将第一个500W的数据分片在第一个节点上面,第二个500W的数据分片在第二个节点上,依次类推。二、实施自定义数字范围分片1、配置rule.xml在rule.xml中添加如下配置: id rang-long-custom原创 2017-08-09 20:56:05 · 1925 阅读 · 0 评论 -
Mycat之——读写分离与主从切换案例
一、环境准备软件版本:操作系统:CentOS-6.5-x86_64-bin-DVD1.isoJDK版本:jdk1.7.0_80Mycat版本:Mycat-server-1.5.1-RELEASE-20170717215510-Linux.tar.gz (下载源码自行编译的)MySQL:5.6.32二、安装数据库并配置主从复制1、不同主机安装数据库不同主机安装数据原创 2017-08-08 23:57:22 · 5403 阅读 · 3 评论