数据库
关系及非关系数据库,分布式计算框架等
qqxhb
【内推】【社招】【校招】【实习】【字节跳动】
字节内推,职位类别涵盖研发、产品、运营、设计、市场、销售、职能/支持、教研教学、游戏策划多个方向,具体职位信息可访问内推地址查看。
内推的优势是可以让你的简历被优先筛选哦,欢迎投递!
字节跳动校招内推码: 4PNP6DF
投递链接: https://jobs.toutiao.com/s/eJ161U5
社招:https://job.toutiao.com/s/e1oKkLm
个人公众号:了不起的我和你
展开
-
【开发神器】一键生成代码,让开发更高效!
GORM GEN 是 GORM 框架提供的一个命令行工具,它可以根据数据库表的结构自动生成对应的 Go 语言结构体,并且自动添加必要的标签和方法,如表名、主键、索引、查询等。但是,总体来说,GORM GEN 是一款非常实用的开发工具,可以让开发更高效,让你的项目更成功!某公司的开发团队在使用 GORM GEN后,开发效率提高了 50%,同时代码的可读性和可维护性也得到了大幅度提升。不仅如此,GORM GEN还可以避免手写大量的重复代码,提高代码的可读性和可维护性,同时也可以减少开发人员的出错率。原创 2023-06-18 21:45:24 · 780 阅读 · 0 评论 -
架构核心技术之分布式数据存储
本课时主要包括以下内容:MySQL 复制,有主从复制和主主复制两种;数据分片(或称数据分区),具体为数据分片的原理、分片的方案、分片数据库的扩容;数据库分布式部署的几种方案;NoSQL 中的 CAP 原理,分布式系统的最终一致性及其实现方案。MySQL 数据库复制主从复制MySQL 的主从复制,顾名思义就是将 MySQL 主数据库中的数据复制到从数据库中去。主要目的是实现数据库读写分离——写操作访问主数据库,读操作访问从数据库,从而使数据库具有更强大的访问负载能力,支撑更多的用户访问。如下.原创 2020-07-08 09:24:30 · 739 阅读 · 0 评论 -
各种类型的常见数据库及MYSQL最佳实践
文章目录1. 常见的数据库1.1 关系型数据库1.2 NoSQL1.3 NewSQL2. 其他数据库知识2.1 数据库中间件2.2 数据库的范式2.3 数据库事务3.Mysql详解3.1 基础知识3.2 调优1. 常见的数据库1.1 关系型数据库常用的关系型数据库主要是 Oracle 和 MySQL。Oracle 功能强大,主要缺点就是贵。MySQL 是互联网行业中最流行的数据库,这不仅仅是因为 MySQL 免费,可以说关系数据库场景中你需要的功能,MySQL 都能很好得满足。后面的详解部分会详细介绍原创 2020-07-07 09:19:49 · 516 阅读 · 0 评论 -
Redis和Memcache缓存核心及原理对比最全解析
1. 缓存基础知识1.1 缓存类型缓存是高并发场景下提高热点数据访问性能的一个有效手段,在开发项目时会经常使用到。缓存的类型分为:本地缓存、分布式缓存和多级缓存。本地缓存就是在进程的内存中进行缓存,比如我们的 JVM 堆中,可以用 LRUMap 来实现,也可以使用 Ehcache 这样的工具来实现。本地缓存是内存访问,没有远程交互开销,性能最好,但是受限于单机容量,一般缓存较小且无法扩展。分布式缓存可以很好得解决这个问题。分布式缓存一般都具有良好的水平扩展能力,对较大数据量的场景也能应付自如。缺点原创 2020-07-01 09:17:22 · 431 阅读 · 0 评论 -
Zookeeper客户端Curator的基本操作、分布式锁及领导者选举示例
Zookeeper的基本操作请参考之前博客:Zookeeper节点及客户端基本操作本文只是简单的介绍一些常见的操作,更加详细的教程可以参考官网:http://curator.apache.org/getting-started.html1.创建maven工程、引入curator依赖curator使用sl4j作为日志框架,因此这里引入了logback <dependencies&g...原创 2020-03-26 20:02:06 · 197 阅读 · 0 评论 -
Zookeeper集群模式启动流程源码分析
本文主要介绍zookeeper集群模式的流程,单机版启动流程请参考另一篇博客:Zookeeper单机模式启动流程源码分析1. org.apache.zookeeper.server.quorum.QuorumPeerMain此类main方法会调用initializeAndRun方法,该方法中会判断是集群还是单机模式启动,如果是集群模式则会调用runFromConfig方法。public ...原创 2020-03-25 21:29:59 · 233 阅读 · 0 评论 -
Zookeeper单机模式启动流程源码分析
上篇相关博客:Zookeeper节点及客户端基本操作Zookeeper服务端的三种启动模式1)standalone,单机模式;2)伪分布式模式(单机模拟集群);3)分布式模式(集群模式)。不管哪种模式启动服务,启动类都是org.apache.zookeeper.server.quorum.QuorumPeerMain,本文主要介绍的是单机模式启动流程。以下提到的源码都只是其中部分关键源码,...原创 2020-03-23 14:44:27 · 267 阅读 · 0 评论 -
Zookeeper集群模式下领导者选举原理源码分析
上篇相关文章:Zookeeper节点及客户端基本操作1. Zookeeper选举的基本原理Zookeeper集群模式下才需要选举,Zookeeper入门及单机及集群环境搭建。Zookeeper领导者选择中的四个基本概念;能力:Zookeeper是一个数据库,集群中节点的数据越新就代表此节点能力越强,Zookeeper中可以通事务id(zxid)来表示数据的新旧,zxid越大则该节点的数据...原创 2020-03-21 19:02:40 · 330 阅读 · 0 评论 -
Zookeeper节点及客户端基本操作
上篇相关博文:Zookeeper入门及单机及集群环境搭建1.标题Zookeeper节点1.1 节点类型zookeeper节点默认大小是1M。PERSISTENT 持久化节点: 所谓持久节点,是指在节点创建后,就一直存在,直到 有删除操作来主动清除这个节点。否则不会因为创建该节点的客户端会话失效而消失。PERSISTENT_SEQUENTIAL 持久顺序节点:这类节点的基本特性...原创 2020-03-16 11:37:13 · 1522 阅读 · 0 评论 -
Zookeeper入门及单机及集群环境搭建
1.Zookeeper简介Zookeeper是一个分布式服务框架,以前是Apache Hadoop 的一个子项目,现在是Apache的一个独立顶级项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。2.设计目标ZooKeeper简单。ZooKeeper允许分布式进程通过共享的分层名称空间相互协调,该命名空间的组织...原创 2020-03-13 11:00:24 · 321 阅读 · 0 评论 -
MySQL为什么使用B+做索引以及MyISAM与InnoDB的索引差异
1、Hash索引的效率比树索引效率高,为什么不使用Hash索引?1)Hash索引仅仅能够满足“=”,“IN”和“<=>”查询,不能使用范围查询。由于Hash索引比较的是进行Hash运算之后的Hash值,所以它只能用于等值的过滤,不能用于基于范围的过滤,因为经过相应的Hash算法处理之后的Hash值得大小关系,并不能保证和Hash运算前完全一样。2)Hash索引无法被用来避免数据的...原创 2019-10-30 12:50:14 · 181 阅读 · 0 评论 -
记录 分布式 数据库 解决方案
Mycat数据库分库分表中间件Mycat 是一个开源的分布式数据库系统,但是由于真正的数据库需要存储引擎,而 Mycat 并没有存 储引擎,所以并不是完全意义的分布式数据库系统。mycat是一个数据库中间件,也可以理解为是数据库代理。在架构体系中是位于数据库和应用层之间的一个组件,并且对于应用层是透明的,即数据库 感受不到mycat的存在,认为是直接连接的mysql数据库(实际上是连接的myca...原创 2019-10-16 15:13:47 · 231 阅读 · 0 评论 -
redis的三种集群方式
文章来源redis的三种集群方式redis有三种集群方式:主从复制,哨兵模式和集群。1.主从复制主从复制原理:从服务器连接主服务器,发送SYNC命令;主服务器接收到SYNC命名后,开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令;主服务器BGSAVE执行完后,向所有从服务器发送快照文件,并在发送期间继续记录被执行的写命令;从服务器收到快照文件后丢弃所有旧数...转载 2019-04-06 13:02:40 · 637 阅读 · 0 评论 -
Solr和ES对比
文章来源Solr和ES对比搜索引擎选型调研文档Elasticsearch简介Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索,结构化搜索以及分析,当然你也可以将这三者进行组合。Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎,可以说Lucene是当今最先进,最高...转载 2019-04-07 16:15:43 · 1069 阅读 · 0 评论 -
图数据库——Neo4CRUD语法及资源整理
学习资源官网文档 https://neo4j.com/docs/中文社区 http://neo4j.com.cn/全面的Neo4j使用指南(翻译) https://cloud.tencent.com/developer/article/1336299电影自动问答系统(Springboot、Neo4j、HanLP、Spark) https://blog.csdn.net/appleyk/a...原创 2019-05-05 18:29:14 · 608 阅读 · 0 评论 -
mongodb入门级权威指南
1、 NoSQL简介1.1 什么是NoSQL?NoSQL,指的是非关系型的数据库。NoSQL有时也称作Not Only SQL的缩写,是对不同于传统的关系型数据库的数据库管理系统的统称。NoSQL用于超大规模数据的存储。(例如谷歌或Facebook每天为他们的用户收集万亿比特的数据)。这些类型的数据存储不需要固定的模式,无需多余操作就可以横向扩展。1.2 为什么使用NoSQL ?今天我们...原创 2019-05-25 18:39:05 · 548 阅读 · 0 评论 -
Hadoop ——入门和集群环境搭建
涉及内容 Hadoop的介绍 集群环境搭建准备工作 Linux命令和Shell脚本增强 集群环境搭建大数据概述 大数据: 就是对海量数据进行分析处理,得到一些有价值的信息,然后帮助企业做出判断和决策. 处理流程: 1:获取数据 2:处理数据 3:展示...原创 2019-08-19 19:16:13 · 400 阅读 · 0 评论 -
Hadoop——MapReduce思想架构及入门案例
1、MapReduce 介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”,适用于大量复杂的任务处理场景(大规模数据处理场景)。Map 负责“分”,即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算,彼此间几乎没有依赖关系。Reduce 负责“合”,即对map阶段的结果进行全局汇总。...原创 2019-08-19 14:42:16 · 236 阅读 · 0 评论 -
Hadoop分布式文件系统——HDFS原理及示例(全)
1、HDFS 简介HDFS(Hadoop Distributed File System) 是一个 Apache Software Foundation 项目, 是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的访问接口, 像是访问一个普...原创 2019-08-19 11:43:18 · 833 阅读 · 0 评论 -
多租户SaaS平台的三大数据库方案及数据库设计的五大约束
1 多租户是什么多租户技术(Multi-TenancyTechnology)又称多重租赁技术:是一种软件架构技术,是实现如何在多用户环境下(此处的多用户一般是面向企业用户)共用相同的系统或程序组件,并且可确保各用户间数据的隔离性。简单讲:在一台服务器上运行单个应用实例,它为多个租户(客户)提供服务。从定义中我们可以理解:多租户是一种架构,目的是为了让多用户环境下使用同一套程序,且保证用户间数据隔...原创 2019-08-12 10:18:42 · 1685 阅读 · 0 评论 -
开发人员不得不知的MySQL索引和查询优化
原文:开发人员不得不知的MySQL索引和查询优化本文主要总结了工作中一些常用的操作及不合理的操作,在对慢查询进行优化时收集的一些有用的资料和信息,本文适合有 MySQL 基础的开发人员。1、索引相关1.1 索引基数基数是数据列所包含的不同值的数量,例如,某个数据列包含值 1、3、7、4、7、3,那么它的基数就是 4。索引的基数相对于数据表行数较高(也就是说,列中包含很多不同的值,重复的值...转载 2019-07-24 16:45:31 · 108 阅读 · 0 评论 -
高并发和海量数据下的 9 个 Redis 经典案例剖析!
来源公众号:石杉的架构笔记业务背景这次分享主要是围绕 Redis,分享在平时的日常业务开发中遇到的 9 个经典案例,希望通过此次分享可以帮助大家更好的将 Redis 的高级特性应用到日常的业务开发中来。首先介绍一下业务背景:总用户量大概是 5亿左右,月活 5kw,日活近 2kw 。服务端有 1000 多个 Redis 实例,100+ 集群,每个实例的内存控制在 20g 以下。1. KV 缓...转载 2019-07-09 11:16:57 · 124 阅读 · 0 评论 -
缓存三大问题及解决方案
原文:缓存三大问题及解决方案1. 缓存来由随着互联网系统发展的逐步完善,提高系统的qps,目前的绝大部分系统都增加了缓存机制从而避免请求过多的直接与数据库操作从而造成系统瓶颈,极大的提升了用户体验和系统稳定性。2. 缓存问题虽然使用缓存给系统带来了一定的质的提升,但同时也带来了一些需要注意的问题。2.1 缓存穿透缓存穿透是指查询一个一定不存在的数据,因为缓存中也无该数据的信息,则会直接...转载 2019-07-09 10:15:16 · 100 阅读 · 0 评论 -
分布式事务解决方案及CAP理论超详细
1 问题描述根据上边的自动选课的需求,分析如下:用户支付完成会将支付状态及订单状态保存在订单数据库中,由订单服务去维护订单数据库。而学生选课信息在学习中心数据库,由学习服务去维护学习中心数据库的信息。下图是系统结构图:如何实现两个分布式服务(订单服务、学习服务)共同完成一件事即订单支付成功自动添加学生选课的需求,这里的关键是如何保证两个分布式服务的事务的一致性。尝试解决上边的需求,在...原创 2019-06-22 15:03:17 · 1001 阅读 · 0 评论 -
全文检索-Elasticsearch安装、集群和使用超全解读
1 ElasticSearch 介绍1.1 介绍ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。[来源于百度百科]官...原创 2019-06-15 15:07:39 · 2636 阅读 · 0 评论 -
容器管理Rancher1.x及监控工具入门
1 容器管理工具Rancher1.1 什么是Rancher Rancher是一个开源的企业级全栈化容器部署及管理平台。Rancher为容器提供一揽子基础架构服务:CNI兼容的网络服务、存储服务、主机管理、负载均衡、防护墙……Rancher让上述服务跨越公有云、私有云、虚拟机、物理机环境运行,真正实现一键式应用部署和管理。 https://www.cnrancher.com/1.2...原创 2019-06-14 16:09:12 · 459 阅读 · 0 评论 -
学习——分布式文件系统 fastDFS
1 什么是分布式文件系统1.1 技术应用场景文件太多如何高效存储?用户访问量大如何保证下载速度?这些问题都可以通过分布式文件系统解决。分布式文件系统解决了海量文件存储及传输访问的瓶颈问题,对海量视频的管理、对海量图片的管理等。1.2 什么是分布式文件系统1.2.1 什么是文件系统文件系统是操作系统用于明确存储设备(常见的是磁盘,也有基于NAND Flash的固态硬盘)或分区上的文...原创 2019-06-09 11:47:02 · 504 阅读 · 0 评论 -
FastDFS 安装步骤详解并与Nginx整合
FastDFS 安装使用 CentOS7 虚拟机。1 FastDFS–tracker 安装分别在 192.168.17.125 和 192.168.17.126 上安装 tracker。1.1 下载tracker 和 storage 使 用 相 同 的 安 装 包 , 下 载 地 址 :https://github.com/happyfish100/FastDFS 本教程下载:Fast...原创 2019-06-09 11:44:39 · 274 阅读 · 0 评论 -
MySQL插入emoji表情错误的2种解决方案(测试有效)
【转】MySQL插入emoji表情错误的2种解决方案,Incorrect string value: ‘\xF0\x9F\x98\x84’转载 2019-06-05 17:22:27 · 483 阅读 · 1 评论 -
Hadoop——不得不提的数据仓库Hive架构、安装及操作全解
1. 什么是数仓1.1. 基本概念英文名称为Data Warehouse,可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。它出于分析性报告和决策支持目的而创建。数据仓库本身并不“生产”任何数据,同时自身也不需要“消费”任何的数据,数据来源于外部,并且开放给外部应用,这也是为什么叫“仓库”,而不叫“工厂”的原因1.2...原创 2019-08-20 13:37:26 · 1393 阅读 · 0 评论