数据库及数据仓库
文章平均质量分 91
DougLeaMrConcurrency
内推阿里巴巴、蚂蚁集团,校招社招都可以,有需要推荐的请私聊我。
展开
-
【Java书笔记】:《Redis 深度历险:核心原理和应用实践》分布式锁,延时队列,位图,HyperLogLog,布隆过滤器,漏斗限流,GeoHash,Scan,管道,事务,主从,Redis源码
Redis深度历险:核心原理和应用实践目 录开篇:授人以鱼不若授人以渔——Redis可以用来做什么? 7由Redis面试想到的 7小册的内容范围 8Redis可以做什么? 8小结 9扩展阅读 9基础:万丈高楼平地起——Redis基础数据结构 11Redis安装 11Redis基础数据结构 12string(字符串) 12list(列表) 15hash(字典) 17set(集合) 19容器型数据结构的通用规则 22思 ...原创 2021-02-17 17:46:46 · 1722 阅读 · 3 评论 -
Java解析SQL中的表名:使用Druid解析SQL中的表名,使用Alibaba Druid解析SQL中的数据库类型、字段、表名、条件、聚合类型、排序类型。
在工作中,我们有时候需要根据前端传来的SQL解析出SQL中的表名,使用网上各种通过正则表达式解析SQL的代码不仅麻烦,其中或多或少都会有各种Bug,现在使用Druid解析SQL,能快速解决问题。步骤如下:第一步、pom文件中添加druid依赖: <dependency> <groupId>com.alibaba</groupId> <artifactId>dru原创 2020-12-09 11:16:20 · 9498 阅读 · 3 评论 -
Apache ShardingSphere:ShardingSphere中间件4.x介绍,分库分表读写分离,ShardingSphere-JDBC,Proxy,ShardingSphere事务,XA
Apache ShardingSphere 4.x介绍及应用目录第1章Apache ShardingSphere概述 11.1.ShardingSphere是什么? 11.1.1.来源 21.1.2.定位 21.1.3.产品 21.2.ShardingSphere有什么用? 21.2.1.功能 21.2.2.优势 21.2.3.ShardingSphere产品组件对比 31.2.4.同类产品对比 31.3.谁在用Shar...原创 2020-09-11 11:53:39 · 2572 阅读 · 0 评论 -
Spring事务:Spring声明式事务详解、@Transactional注解源码及使用说明、数据库隔离级别、读未提交,读已提交,可重复读,串行化详细说明
Spring声明式事务的使用SpringAOP的约定会把我们的代码织入约定的流程中。同样地,使用AOP的思维后,执行SQL的代码就可以织入Spring约定的数据库事务的流程中。所以首先需要掌握这个约定。Spring 声明式数据库事务约定在讲解SpringAOP时,只要我们遵循约定,就可以把自己开发的代码织入约定的流程中。为了“擦除”令人厌烦的try..catch..finally.语句,减少那些数据库连接开闭和事务回滚提交的代码,Spring利用其AOP为我们提供了一个数据库事务的约定流程。通过原创 2020-09-04 15:52:10 · 3199 阅读 · 0 评论 -
Json解析:解析json中的子json得到数组,将大包含多个子json的json解析成json集合,使用alibaba.fastjson解析json,获取json串中的数组,并以对象数组的形式返回
在企业大数据项目中,我们经常会遇到这样的需求:给一个单行json,里面包含多个同级别的小json,需要得到所有的小json。比如,大json为:{"Records":[{"name":"a"},{"name":"b"},{"name":"c"},{"name":"d"}]}需要得到json数组:{"name":"a"}{"name":"b"}{"name":"c"}{...原创 2020-01-31 23:41:10 · 1742 阅读 · 0 评论 -
HBase第二天:HBase的API操作,判断表存在、创建删除表、获取表中一行或指定列族数据、向表中插入数据、HBase的wordcount、自定义HBaseMapReduce、Hbase集成Hive
接上篇第5章的5.4:HBase第一天:HBase组件及架构、安装HBase部署集群、HBase的shell操作、HBase数据结构、命名空间、原理、读写流程、flush与合并、hbase-default.xml配置详解第6章 HBase API操作6.1 环境准备6.2 HBaseAPI6.2.1 获取Configuration对象6.2.2 判断表是否存在6.2.3 创...原创 2019-09-04 20:26:20 · 2026 阅读 · 0 评论 -
HBase第三天:HBase优化,HBase高可用,预分区,RowKey设计,内存优化,基础优化,HBase项目谷粒微博,HBase在商业项目中的能力,布隆过滤器,HBase2.x新特性,常见问题
接上篇第6章的6.4.2:HBase第二天:HBase的API操作,判断表存在、创建删除表、获取表中一行或指定列族数据、向表中插入数据、HBase的wordcount、自定义HBaseMapReduce、Hbase集成Hive本文目录第7章 HBase优化7.1 高可用7.2 预分区7.3 RowKey设计7.4 内存优化7.5 基础优化第8章 Hbase实战之谷粒...原创 2019-09-05 21:36:20 · 513 阅读 · 0 评论 -
HBase项目之谷粒微博:创建命名空间,微博内容表,用户关系表,微博收件箱表,发布微博内容,添加关注用户,移除(取关)用户,获取关注的人的微博内容,HBase实战项目
Hbase实战之谷粒微博1 需求分析1) 微博内容的浏览,数据库表设计2) 用户社交体现:关注用户,取关用户3) 拉取关注的人的微博内容2代码实现2.1 代码设计总览:1) 创建命名空间以及表名的定义2) 创建微博内容表3) 创建用户关系表4) 创建用户微博内容接收邮件表5) 发布微博内容6) 添加关注用户7) 移除(取关)用户8) 获取关...原创 2019-09-05 21:42:43 · 951 阅读 · 0 评论 -
企业级数据仓库:数据仓库概述;核心技术框架,数仓理论,数据通道Hive技术框架,HBase设计,系统调度,关系模式范式,ER图,维度建模,星型/雪花/星座模式,数据采集同步,业务数据埋点,数据仓库规范
文章目录第一章 数据仓库概述1.1 数据仓库简介1.1.2 什么是数据仓库?1.1.3 OLTP 与 OLAP1.2 数据仓库技术架构1.3 课程目标第二章 核心技术框架2.1 数据仓库周边技术框架2.1.2 数据采集DataxSqoopDatax 与 Sqoop 的对比数据采集框架综述2.1.3 数据通道KafkaRabbitMQ2.1.4 系统调度Oo...原创 2019-09-20 17:54:33 · 2190 阅读 · 3 评论 -
HBase第一天:HBase组件及架构、安装HBase部署集群、HBase的shell操作、HBase数据结构、命名空间、原理、读写流程、flush与合并、hbase-default.xml配置详解
本文目录第1章 HBase简介1.1 什么是HBase1.2 Hbase特点1.3HBase架构1.3HBase中的角色1.3.1 HMaster1.3.2 RegionServer1.2.3 其他组件第2章 HBase安装2.1 Zookeeper正常部署2.2 Hadoop正常部署2.3 HBase的解压2.4 HBase的配置文件2...原创 2019-09-02 21:34:48 · 1454 阅读 · 0 评论 -
Hive第五天:解决数据倾斜问题、Hive并行优化、严格模式、JVM重用、推测执行、Hive压缩、执行计划(Explain)、Hive实战项目谷粒影音、Hive常见错误及解决方案、yarn内存溢出
接上篇第9章的9.3.10:Hive第四天:Hive函数、Hive压缩配置、Hive文件存储格式、Orc与Parquet、Hive企业级调优、Hive大小表Join、MapJoin、GroupBy、行列过滤去重统计、动态分区调整9.4数据倾斜9.4.1合理设置Map数9.4.2小文件进行合并9.4.3复杂文件增加Map数9.4.4合理设置Reduce数9.5并行执行9.6严格模式...原创 2019-08-29 22:20:56 · 484 阅读 · 0 评论 -
MySQL增强之MySQL架构:MySQL的Linux版安装、MySQL用户与权限管理、MySQL杂项配置、MySQL逻辑架构、MySQL存储引擎
MySQL for Linux版的安装官网下载地址:http://dev.mysql.com/downloads/mysql/检查工作执行安装命令前,先执行查询命令1、CentOS6rpm -qa|grep mysql如果存在mysql-libs的旧版本包如下:请先执行卸载命令:rpm -e --nodeps mysql-libs1、CentOS7rpm -qa|grep...原创 2019-08-11 08:53:35 · 313 阅读 · 0 评论 -
MySQL高级之MySQL索引优化:MySQL性能问题、通用的7种Join查询、索引简介、MySQL索引分类、MySQL性能分析、MySQL查询优化、关联查询与子查询优化、MySQL查询截获分析
性能下降SQL慢 执行时间长 等待时间长数据过多分库分表关联了太多的表,太多joinSQL优化没有充分利用到索引索引建立服务器调优及各个参数设置调整my.cnfSQL预热:常见通用的Join查询1.Join图2.建表SQL CREATE TABLE `t_dept` ( `id` INT(11) NOT NULL AUTO_INCREMENT, `d...原创 2019-08-11 09:07:45 · 1094 阅读 · 0 评论 -
MySQL高级之主从复制与视图:MySQL主从复制、一主一从配置、视图View语法
主从复制1.复制的基本原理1.1复制的基本原理slave会从master读取binlog来进行数据同步1.2 三步骤+原理图MySQL复制过程分成三步:1 master将改变记录到二进制日志(binary log)。这些记录过程叫做二进制日志事件,binary log events;2 slave将master的binary log events拷贝到它的中继日志(relay lo...原创 2019-08-11 20:49:34 · 969 阅读 · 0 评论 -
Hive第一天:Hive入门、优缺点、Hive架构原理、Hive下载安装、Hive元数据配置MySQL、Hive常用命令、Hive属性配置、Hive数据类型、DDL数据定义、Hive对数据库的增删改查
文章目录第1章Hive基本概念1.1什么是Hive.1.2Hive的优缺点.1.2.1优点1.2.2缺点1.3Hive 架构原理。1.4Hive 和数据库比较。1.4.1查询语言。1.4.2数据存储位置。1.4.3数据更新。1.4.4索引1.4.5执行。1.4.6执行延迟。1.4.7可扩展性。1.4.8数据规模。第2章Hive安装2.1Hive 安装地址。2.2...原创 2019-08-25 23:41:14 · 668 阅读 · 1 评论 -
Hive第二天:Hive的创建表、管理表与外部表、分区表、修改表、删除表、Hive的DML数据操作、Hive数据导入导出、inport与export、Hive查询、基本查询、where过滤、分组查询
Hive的创建表、管理表与外部表、分区表、修改表、删除表、Hive的DML数据操作、Hive数据导入导出、inport与export、Hive查询、基本查询、where过滤、分组查询原创 2019-08-26 22:26:57 · 1878 阅读 · 4 评论 -
Hive第三天:Hive的Join语句、Hive数据排序、分区排序、OrderBy全局排序、MR内部排序SortBy、ClusterBy、Hive分桶及抽样查询、行转列与列转行、窗口函数,赋空值
接上篇第6章的6.3.2:Hive第二天:Hive的创建表、管理表与外部表、分区表、修改表、删除表、Hive的DML数据操作、Hive数据导入导出、inport与export、Hive查询、基本查询、where过滤、分组查询6.4Join语句6.4.1等值Join6.4.2表的别名6.4.3内连接6.4.4左外连接6.4.5右外连接6.4.6满外连接6.4.7多表连接6.4.8笛...原创 2019-08-27 21:45:43 · 697 阅读 · 0 评论 -
Hive第四天:Hive函数、Hive压缩配置、Hive文件存储格式、Orc与Parquet、Hive企业级调优、Hive大小表Join、MapJoin、GroupBy、行列过滤去重统计、动态分区调整
接上篇第6章的6.7.4Hive第三天:Hive的Join语句、Hive数据排序、分区排序、OrderBy全局排序、MR内部排序SortBy、ClusterBy、Hive分桶及抽样查询、行转列与列转行、窗口函数,赋空值本文目录6.7.5Rank第7章函数7.1系统内置函数7.2自定义函数7.3自定义UDF函数第8章压缩和存储8.1Hadoop源码编译支持Snappy压...原创 2019-08-28 21:53:53 · 822 阅读 · 1 评论 -
Hive项目之谷粒影音:ETL清洗原数据、Hive统计视频观看数top10、视频类别top、视频观看数top其所属类别、类别流量top、类别热度top、上传视频用户数量top、类别视频观看top
Hive实战之谷粒影音项目数据下载地址: guiliVideo.zip谷粒影音项目视频表、用户表包含内容:两个文件夹User表中的74702条数据video表中5张表,每张表中都有多条数据需求描述统计硅谷影音视频网站的常规指标,各种TopN指标:--统计视频观看数Top10--统计视频类别热度Top10--统计视频观看数Top20所属类别--...原创 2019-08-29 21:47:49 · 2570 阅读 · 2 评论 -
大数据之Redis(下):Redis的主从复制、Redis一主二仆模式、Redis哨兵、Redis故障恢复、Redis集群搭建、Redis集群的Jedis开发、Redis集群启动报错
Redis的主从复制、Redis一主二仆模式、Redis哨兵、Redis故障恢复、Redis集群搭建、Redis集群的Jedis开发、Redis集群启动报错原创 2019-08-09 16:51:10 · 666 阅读 · 0 评论