数据库
文章平均质量分 77
xyzhang2018
这个作者很懒,什么都没留下…
展开
-
大数据 | Spark on K8S 在有赞的实践
随着近几年业务快速发展与迭代,大数据的成本也水涨船高,如何优化成本,建设低成本高效率的底层服务成为了有赞数据基础平台2020年的主旋律。本文主要介绍了随着云原生时代的到来,经历7年发展的有赞离线计算平台如何拥抱云原生,通过容器化改造、弹性伸缩、大数据组件的错峰混部,做到业务成倍增长的情况下成本负增长。首先介绍一下目前有赞离线计算的一些现状。万兆网卡的新集群,机器带宽不再是瓶颈。之前我们完成了一次跨云运营商(UCloud -> Qcloud)的集群迁移。转载 2023-01-25 15:42:32 · 998 阅读 · 0 评论 -
大数据 | 《Riffle:Optimized Shuffle Service for Large-Scale》论文阅读
宽依赖:子task会接受来自多个父task的输出窄依赖:只依赖于一个父taskshuffle是资源密集型操作,从map任务传输到reduce任务的每个数据块都是需要经过数据序列化、磁盘和网络IO以及数据反序列化。spark框架中的task由driver分配,driver将一个job转换成DAG有向无环图,被shuffle分割成几个stage;原创 2023-01-24 15:44:54 · 1421 阅读 · 0 评论 -
大数据 | Spark安装及性能测试
Spark On Yarn集群模式下的安装和基本测试原创 2022-12-08 00:42:33 · 1641 阅读 · 1 评论 -
大数据 | Hadoop性能测试
测试写性能:向HDFS写5个128M的文件,其中5根据集群的规模来测试,集群同时能跑多少个map task执行日志中显示执行时间:2. 读数据测试读性能:执行日志:3. 清除测试数据4. 测试MR性能通过随机数排序来测试性能,测试流程主要分为以下几个步骤参考资料:Hadoop-之性能测试(基准测试)原创 2022-12-03 20:16:03 · 900 阅读 · 0 评论 -
大数据 | Hadoop、Hive、Spark的关系
通俗易懂讲解大数据中Hadoop、Hive、Spark的关系原创 2022-11-30 12:44:13 · 1413 阅读 · 2 评论 -
[DB]-MySQL中datatime和timestamp的区别
原文链接:https://blog.csdn.net/u014696474/article/details/70568733mysql中有三种日期类型:date(年-月-日)create table test(hiredate date);datetime(日期时间类型)create table test(hiredate datetime);timestamp(邮戳类型,保存年-月-日 时-分-秒)create table test(hiredate timestamp);datetime转载 2021-07-27 10:04:56 · 170 阅读 · 0 评论 -
[DB]-Redis的事务和锁机制
1. Redis事务、锁机制1.1 Redis事务的定义 与MySql不同 ,Redis事务是一个单独的隔离操作:事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中,不会被其他客户端发送来的命令请求所打断。Redis事务的主要作用就是串联多个命令防止别的命令插队。1.2 Multi、Exec、discard从输入Multi命令开始,输入的命令都会依次进入命令队列中,但不会执行,直到输入Exec后,Redis会将之前的命令队列中的命令依次执行。组队的过程中可以通过discard来放弃组原创 2021-07-19 15:28:53 · 235 阅读 · 1 评论 -
[DB]-mysql varchar字段大小写不敏感
最近在公司开发的一个字段名称一致性校验需求,测试同学反馈了一个奇怪的bug,记录下解决方案一、现象在数据库中执行查询语句SELECT * FROM a WHERE name = 'aa'SELECT * FROM a WHERE name = 'AA'SELECT * FROM a WHERE name = 'Aa'SELECT * FROM a WHERE name = 'aA'查询得到的结果都是 name = 'aa' 的字段,由于项目采用golang编写,数据库查询使用gorm,因此初原创 2021-07-18 15:41:31 · 291 阅读 · 0 评论 -
[DB]-Redis穿透、雪崩、击穿
缓存一致性读请求,先读缓存,再读数据库写请求,先更新数据库,再写缓存每次更新数据后,需要清楚缓存缓存雪崩原理缓存中大量数据过期,且查询数据量巨大,请求都直接访问数据库,引起数据库压力过大。解决方案均匀设置过期时间:批量向Redis存数据时,把每个Key的失效时间都添加随机值(较大的固定值+较小的随机值),避免同时大面积失效。setRedis(Key,value,time + Math.random() * 10000);Redis集群部署:将热点数据均匀分布在不同的Redis原创 2021-06-10 17:22:58 · 124 阅读 · 1 评论 -
[DB]-Redis基础数据类型及数据结构
1、数据类型Redis中数据类型-《Redis In Action》数据类型可以存储的值操作STRING字符串、整数或浮点数对整个字符串或字符串其中一部分执行操作,对整数和浮点数执行自增自减LIST列表从两端压入弹出元素;对单个或多个元素进行修剪;只保留一个范围内的元素SET无序集合添加获取移出单个元素;检查元素是否存在;计算交并差集;从集合中随机获取元素HASH键值对检查键是否存在ZSET有序集合根据分值范围或成员获取元素;计算键的排名原创 2021-06-10 15:21:39 · 203 阅读 · 0 评论 -
MySQL8安装及配置教程
1. 下载MySQL安装包推荐下载zip文件进行自行配置安装,如果用安装器对日后的卸载很不友好下载地址:https://dev.mysql.com/downloads/mysql/下载完成后解压到指定文件夹中2. 配置环境将解压后的bin文件夹路径添加到系统环境变量->Path中在解压后的MySQL根文件夹下新建my.ini文件,写入基本配置信息[mysql] # 设置mysql客户端默认字符编码形式 default-character-set=utf8mb4 [mysq原创 2021-01-31 00:28:01 · 1719 阅读 · 4 评论 -
IDEA连接Mysql8.0报错Server returns invalid timezonee
报错类型解决方法:在Advanced选项卡中设置时区为Asia/Shanghai测试连接成功:原创 2020-01-19 21:05:24 · 254 阅读 · 0 评论 -
[Java]-JDBC使用手册
JDBC简介JDBC(Java DataBase Connection)是通过Java访问数据库,能够执行SQL语句,由Java语言编写的类和接口组成。基本使用导入mysql-jdbc的jar包property->build path->libaries->add external jars初始化驱动: // 初始化驱动 try { Class.for...原创 2020-01-13 16:49:14 · 272 阅读 · 0 评论 -
[MySQL]-基础操作
刚开始时使用MySQL语句在server的bin文件夹下一直出现以下错误发现是MySQL的服务未启动,启动后运行正常。启动方法:进入计算机管理界面下的服务窗口,找到MySQL服务,启动该服务即可。也可使用命令启动MySQL服务//打开 MySQL 服务sudo service mysql start//使用 root 用户登录mysql -u root -p新建数据库C...原创 2019-12-16 20:44:36 · 85 阅读 · 0 评论