自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)
  • 收藏
  • 关注

原创 MySQL数据同步到另一台MySQL(全量及增量同步)

不同服务器下的MySQL之间数据同步问题

2022-04-16 15:14:59 5056 1

原创 mysql计算除周六周天后2个日期差值

计算当前日期到今年最后一天的差值,并将周六周天删除selectCASE WHEN DATE_FORMAT(CURDATE(),'%w') <= 5 and DATE_FORMAT(last_day( date_format( now( ), '%Y-12-31' ) ),'%w') = 6 then (5 - DATE_FORMAT(CURDATE(),'%w')) + DATE_FORMAT(last_day( date_format( now( ), '%Y-12-31' ) ),'%w'

2021-12-14 16:55:29 989

原创 MySQL知识点汇总(二)

当并发较高或数据量比较大的时候,数据库的瓶颈就会成为制约应用的关键,解决方案有:1.做mysql 主从机读写分离 (主节点master负责写,从节点slave负责读),主从读写分离是用qihoo的atlas。2.对主机进行 双机热备 (当主节点宕机后,自动切换到另一备用节点上),对从节点做集群(读取数据分离到不同的节点上,以减小读数据库的压力)。故障转移是用mha,对数据库主备节点做故障切换则是用keepalived。MySQL的高可扩展和高可用,常见问题MySQL分表和分区的工作原理:对用户而言

2021-08-27 16:37:04 203

原创 mysql主从数据一致性问题及MHA和MGR的架构及底层原理

MySQL的传统主从复制机制MySQL传统的高可用解决方案是通过binlog复制来搭建主从或一主多从的数据库集群。主从之间的复制模式支持异步模式(async replication)和半同步模式(semi-sync replication)。无论哪种模式下,都是主库master提供读写事务的能力,而slave只能提供只读事务的能力。在master上执行的更新事务通过binlog复制的方式传送给slave,slave收到后将事务先写入relay log,然后重放事务,即在slave上重新执行一次事务,从而达

2021-08-25 23:25:29 3126

原创 mysql中limit和offset应用案例

查找employees里最晚入职员工的所有信息:SELECT * from employees ORDER BY hire_date desc limit 1;SELECT * from employees ORDER BY hire_date desc limit 1 offset 0;limit应用:SELECT * from employees where hire_date = ( SELECT hire_date from employees ORDER B.

2021-07-15 23:31:32 187

原创 pycharm连接远程服务器

1.找到菜单栏Tools——>进入Deployment——>选择Configuration;2.点击“+”,选择SFTP;3.新建server;4.进行SSH配置;5.填写主机,用户名和密码;6.填写本地项目及远端服务器项目所在位置,其他的可不填;点击‘OK’退出;7.从菜单栏File,进入Settings;8.找找到Python Interpreter,进入找到Add;9.点击SSH Interpreter,输入主机名和用户名;10.输入密码;11.Inte

2021-06-30 18:58:51 251 1

原创 mysql中时间函数区别,查询今日数据、近七天数据和近一个月数据

now()函数:返回当前的日期+时间例:SELECT now();curdate()函数: 返回系统当前日期例:SELECT CURDATE();curtime()函数, 返回系统当前时间例:SELECT CURTIME();sysdate() 函数:返回系统当前日期和时间例:SELECT SYSDATE();DATE_SUB()函数:日期减去指定时间间隔例:DATE_SUB(日期参数date,INTERVAL 7 second/minute/hour/day/week/month/

2020-12-07 17:25:42 419

原创 Linux 常用操作日常总结

beeline -u jdbc:hive2://数据库名:10000; 启动hiveshow databases ; 查看所有数据库show databases like ‘a.*’; 正则匹配数据库名use 数据库名; 进入/切换数据

2020-12-03 17:30:21 185

原创 mysql自定义函数,从地区字段中提取地级市字段

mysql自定义函数,从地区字段中提取地级市字段,其中地区字段中部分包含省、县级市、街道、市区等脏数据,以河北省提取地级市字段为例,以下为提取数据中的部分示例数据:保定市莲池区建华大街774号河北省保定市莲池区华电路 736 号高碑店市世纪大街67号华贸广场永年县公安局秦皇岛经济技术开发区石家庄市长安区建设北大街11号石家庄市文化广电和旅游局自定义函数如下:CREATE DEFINER FUNCTION `get_region_HB`(region_HB VARCHAR(255)) RETU

2020-10-26 09:48:34 1437

原创 mysql自定义函数,删除多个[ ]里面的内容

例:[淘宝][冬装] 冬天季节,阳退阴生,生气闭蓄,万物开始收藏。“秋收冬藏”,万物在冬季闭藏,冬季是享受丰收、休养生息的季节。[羽绒服]通过mysql自定义函数,删除[ ]及里面的内容,此处可以使用replace函数进行替换。自定义格式:CREATE DEFINER FUNCTION `自定义函数名`(自定义参数名 参数类型) RETURNS 返回值类型 CHARSET utf8mb4BEGIN sql语句 END自定义函数如下:CREATE DEFINER FUNCTION `d

2020-10-22 23:23:06 316

原创 mysql:本表只保留一个月数据,将一个月之前的数据导入历史表,并采用azkaban进行定时调度

业务场景解析:1.将本表中一个月前的数据导入历史表中;2.将本表中一个月前的数据删除;3.采用azkaban设定任务定时调度。例:A表为原始表,包含所有的数据,B表为新建历史表,现在我们业务需求为A表只需保留一个月的数据查询,其他数据导入历史表做后期数据分析,利用azkaban进行定时调度,确保A表数据始终是近一个月的数据,历史数据同步到B表。MySQL:1.先创建一个存储过程,存储过程是一组为了完成特定功能的SQL语句集合,经编译后存储在服务器端的数据库中,利用存储过程可以加速SQL语句的执行

2020-10-17 17:22:56 1911

原创 Hbase中rowkey设计原则

Hbase中rowkey设计原则1.rowkey长度原则:(rowkey不宜过长)建议不要超过16个字节(若rowkey长度过长,memorystore会将部分缓存数据存入内存降低内存利用率,降低检索效率,HFile进行数据持久化时也会极大影响存储效率);2.rowkey散列原则:设计目标:将数据均匀的分布在每个RegionServer,实现负载均衡,避免出现热点问题热点问题解决:加盐:在rowkey高几位随机生成一些字符串hash取值:对rowkey取哈希值保证唯一性反转:对rowkey

2020-10-17 16:12:51 1039

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除