自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(61)
  • 收藏
  • 关注

原创 在 62 进制中进行 ID 与 MID 的互转

在 62 进制中进行 ID 与 MID 的互转

2024-06-21 10:13:44 295

原创 大数据开发之 Impala SQL基本用法

Impala SQL是一种基于SQL的查询语言,用于查询分布式数据处理软件Apache Impala中存储的数据。

2023-05-23 09:05:45 815

原创 大数据开发之 Impala介绍

impala是cloudera提供的一款高效率的sql查询工具,提供实时的查询效果,其sql查询比sparkSQL还要更加快速。

2023-05-22 14:17:24 980

原创 如何优化MySQL参数:达到性能最佳状态

优化MySQL参数的目标是使MySQL尽可能地使用系统资源,如内存、CPU和磁盘等,以提高其性能水平。这样可以让MySQL更加快速和稳定地处理大量的事务求。

2023-05-18 09:35:51 2785

原创 简谈一下MySQL的延时从库

MySQL 延时从库 用于减轻主库的负担,以及处理那些对延迟敏感的任务。

2023-05-15 09:12:03 261

原创 Hive数据清洗中常见的几个函数

在Hive中,数据清洗是一个重要的任务之一,通常涉及到对数据进行过滤、修改和转换等操作,以使其更易于使用和分析。常用的数据清洗技术包括:数据去重、空值填充、数据格式化、数据类型转换、数据分区等。

2023-05-12 10:09:22 3899

原创 浅述Oracle和Mysql两种库分别在join时大表的归宿

因此,将大表放在JOIN语句的末尾,会使MySQL可以先执行小表上的JOIN操作,减少JOIN的数据量,达到更高的效率。突然想起这么一个问题,Oracle 和 Mysql 在各自关联大表的时候,要想性能高点,大表放的位置是不是一样的,针对这个问题,我查找了一些资料,并确定的该问题的结果。,那么将该表放在JOIN操作的末端也未必是最优的,因为在WHERE语句执行时,需要先扫描该表来获取符合条件的行集合,然后再参与后面的JOIN操作。中,查询优化器会针对每个JOIN操作进行优化,生成对应的执行计划。

2023-05-11 10:49:35 876

原创 浅谈MySQL索引以及执行计划

这里若想优化 分两步 ①新建索引(原来的索引需要删除) 顺序为 add index idx(a,c,d,b) ②修改语句:select * from table where a=1 and c=3 and d = 4 and b>2;1.只要我们将来的查询,所有索引列都是<等值>查询条件下,无关排列顺序(跟mysql版本有关,之前版本要按照建索引的顺序查询才能走索引。(2) 在一张表中,聚集索引只能有一个,一般是主键(没有主键则选择唯一键,没有唯一键则会在底层默认生成一个)对于辅助索引来讲,!

2023-05-06 09:37:44 1535

原创 MySQL-用户和权限管理操作

MySQL的用户和权限管理操作

2022-12-12 10:19:11 358

原创 MySQL数据库管理员用户密码忘记了怎么办?

MySQL数据库管理员用户密码忘记了怎么办?

2022-11-15 10:15:47 784 1

原创 浅谈 AnalyticDB SQL 优化

数据库性能优化需要从多个方面进行综合考虑。例如系统资源是否充足、资源模型的设计(高性能vs大存储)、表的设计以及规划、SQL改写和优化等等,本文只要介绍ADBsql的优化。

2022-07-26 10:05:07 738

原创 Postgresql数据库注释删除

Postgresql数据库注释删除1.删除表注释:select n.nspname,relname as tabname,obj_description(relfilenode,'pg_class') as comment ,concat_ws('','COMMENT ON TABLE "',nspname,'"."',relname,'" is '''';') from pg_class c LEFT JOIN pg_catalog.pg_namespace n ON n.oid = c

2021-08-10 09:54:54 667 1

原创 Shell-练习1

Shell-练习1练习1:获取系统所有用户名并输出#!/bin/bashindex=1for user in `cat /etc/passwd | cut -d ":" -f 1`do echo "this is $index user: $user" index=$(($index + 1))done练习2:根据系统时间计算今天或明天#计算今年echo "今年是 $(date +%Y) 年"#计算明年echo "明年是 $(($(date +%Y) + 1)) 年

2021-08-09 15:19:04 89

原创 Shell-字符串操作练习

Shell-字符串操作练习需求:变量 str=" If you steel yourself to do something, you will find nothing is impossible"执行脚本后,打印输出str 字符串变量,并给用户以下选项① 打印字符串变量str 的长度②删除字符串中所有的 you③替换第一个you 为 it④替换全部you 为 it用户输入1、2、3、4,可以执行相对应的功能,输入q或Q则退出交互模式第一步先定义一个函数,用来打印列表信息funct

2021-08-02 13:40:32 156

原创 Shell-字符串操作

Shell-字符串操作1.计算字符串长度方法①:${#string}方法②:expr length "$string"2.获取子串在字符串中的索引位置expr index $string $substring #string指字符串,substring表示字符串中的子串3.获取子串的长度注意:这里指的是获取字符的位置,比如asd,会分成a,s,d三个字符先找到谁就先输出谁的位置子串必须从头开始,否则会一直为0expr match $string substr 4

2021-07-30 09:08:41 199

原创 Shell-变量替换

Shell-变量替换变量替换规则语法说明${变量名#匹配规则}从变量开头进行规则匹配,将符合最短的数据删除${变量名##匹配规则}从变量开头进行规则匹配,将符合最长的数据删除${变量名%匹配规则}从变量尾部进行规则匹配,将符合最短的数据删除${变量名%%匹配规则}从变量尾部进行规则匹配,将符合最长的数据删除${变量名/旧字符串/新字符串}变量内容符合旧字符串,则第一个旧字符串会被新字符串替换${变量名//旧字符串/新字符串}变量内容符合旧字

2021-07-29 09:21:37 464

原创 MySQL-DDL操作

MySQL-DDL操作服务器下的操作1:使用SHOW语句找出在服务器上当前存在的数据库:mysql> SHOW DATABASES; 2、创建一个数据库OSmysql> CREATE DATABASE OS; 3:选择你所创建的数据库mysql> USE OS; # 回车键出现Database changed 时表示操作成功4:查看现在的数据库中存在什么表mysql> SHOW TABLES; 5:创建一个数据库表mysql> CRE

2021-07-29 08:37:09 148

原创 MySQL-远程登录报错

记一次MySQL报错2-远程连接报错信息:MySQL数据库用户:yunwei报错内容:1130 - Host ‘192.168.8.8’ is not allowed to connect to this MySQL server解决方法:1.linux进入mysql 数据库的命令界面2.执行 sql 语句查看主机和用户名:mysql> select host,user from user;3.将其中的一个记录的host 值改成 “%”。(表示可以允许任何地方登陆,这

2021-07-23 10:06:32 240 1

原创 MySQL-备份还原

MySQL数据库备份还原还原方法1.还原全部数据库:mysql命令行:mysql> source 备份文件路径系统命令行:# mysql -uroot -pXXXXX < 备份文件路径2.还原打个数据库:mysql命令行:mysql> use 库名mysql> source 备份文件路径系统命令行:# mysql -uroot -pXXXXX 库名 < 备份文件路径3.还原单个数据库的多个表(已经做好的表备份备份,需要指定数

2021-07-23 09:27:31 104

原创 Shell练习-创建mysql自动备份脚本

Shell练习-创建mysql数据库定时备份任务需求: 每天凌晨1点钟备份一次数据库数据库备份详细方法可以看这一篇文章:MySQL-mysqldump备份方法创建脚本文件并进入编辑cd /u01/atouch 8.shvim 8.sh脚本内容如下#!/bin/bashecho "开始备份数据库!"filename="mysql_"`date +'%Y%m%d%H%M%S'`".sql"mysqldump -uroot -pXXXXXX -A > /root/$filename

2021-07-22 16:26:16 125

原创 Shell练习-自定义创建和删除用户

Shell练习-自定义创建和删除用户要求: 创建自定义指令“user”,可以直接执行,要求该指令具备以下语法和功能① # user -add 用户名 [添加用户名]② # user -del 用户名 [删除用户及其家目录]首先脚本创建文件# touch 7.sh然后编辑该文件#!/bin/bashif [ $1 = '-add' ]then useradd $2else userdel -r $2fi编辑完之后赋执行权限# chmod u

2021-07-22 10:43:08 355

原创 Shell运算符-文件测试运算符

文件测试运算符文件测试运算符用于检测 unix/linux 文件的各种属性各种属性用法:操作符说明举例-b file检测文件是否是块设备文件,如果是,则返回 true[ -b $ file ] 返回 false-c file检测文件是否是字符设备文件,如果是,则返回 true[ -c $ file ] 返回 false-d file检测文件是否是目录,如果是,则返回 true[ -d $ file ] 返回 false-f file检测文件是否是

2021-07-21 11:29:34 272

翻译 Timescale-减压块

Timescale-减压块环境:PostgreSQL数据库V2.x版本减压如果您需要在压缩块中回填或更新数据,您应该先解压缩该块。将数据插入压缩块比将数据插入未压缩块更费时费力,因此,如果您需要回填大量数据,那么减压该块也是一个好主意。注意: 在规划压缩策略时,如果需要,请确保留出足够的额外存储容量用于减压块 。这些是解压块准备插入或回填数据的主要步骤:暂时关闭任何现有的压缩策略。这可以阻止策略尝试压缩您当前正在处理的块。解压块。执行插入或回填。重新启用压缩策略。这将重新压

2021-07-20 09:52:19 178

原创 MySQL-mysqldump备份方法

mysqldump备份前言: mysqldump 是 MySQL 系统自带的逻辑备份工具,主要用于转储数据库。 是最常用的 MySQL数据库备份方法。mysqldump 的各种使用方法:# 备份全部数据库mysqldump -uroot -pxxxxxx --single-transaction -R -E --all-databases > /tmp/all_database.sql# 要求记录 binlog 位点信息 可用于搭建从库mysqldump -uroot -pxxxxxx

2021-07-20 09:11:30 614

翻译 Timescale-手动压缩

Timescale-手动压缩环境:PostgreSQL数据库V2.x版本手动压缩在大多数情况下,自动压缩策略就足够了。但是,如果您想要对压缩进行更多控制,您也可以手动压缩特定块。注意:压缩会更改磁盘上的数据,因此在开始之前始终备份!手动压缩块在开始之前,您需要压缩块列表。在此示例中,我们使用一种称为超表的超表,并压缩这些大于三天的块1.选择块进行压缩①在 psql 提示下,选择表中超过三天的所有块SELECT show_chunks('example', older_than

2021-07-19 10:40:33 386

翻译 Timescale-压缩

Timescale-压缩环境:PostgreSQL数据库V2.x版本压缩启用压缩后,TimescaleDB 将存储在许多行中的数据转换为数组。这意味着,它不使用大量行来存储数据,而是将相同的数据存储在单行中。由于单行占用的磁盘空间比许多行少,因此会减少所需的磁盘空间量,还可以加快一些查询速度。作为简化示例,您可能有一个表,从下面开始如下:IDTIME0012021-07-170022021-07-180032021-07-19应用压缩时,数据转

2021-07-19 10:30:27 863

原创 Linux之网络相关命令

Linux之网络相关命令1.ping作用:检测当前主机与目标主机之间的连通性(不是100%准确,有的服务器是禁ping的)用法:# ping 主机地址(ip地址,主机名,域名) 改名了可以跨平台,windows下也可以。2.netstat作用:表示查看网络的链接信息用法:# netstat -tnip -t:tcp协议,-n:将字母转化成数字,-l:列出状态为监听,-p:显示进程信息# netstat -an-a:表示全部,-n:将字母转化成数字3.tracero

2021-07-16 12:22:28 95

原创 PostgreSQL之Timescale-超表

PostgreSQL之Timescale-超表超表时间刻度数据库中的超表设计为易于管理,且对熟悉标准 PostgreSQL 表的用户具有可预测性。按照这些路线,SQL 在时间刻度数据库中创建、更改或删除(超)表的命令与 PostgreSQL 中的命令相同。尽管超表由许多相互关联的"块"表组成,但向超表盘发出的命令会自动将更改传播到属于该超表的所有块。1.超标的创建① 创建标准表CREATE TABLE table ( time TIMESTAMPTZ NOT NULL, loca

2021-07-13 16:33:56 3203 1

原创 linux之cron/crontab(计划任务)

linux之cron/crontab(计划任务)cron/crontab作用: 设置好任务可以在指定时间点去执行语法# crontab 选项常用选项:-l:list,列出指定用户的计划任务列表-e:edit,编辑指定用户的计划任务列表-u:user,指定的用户,如果不指定,则表示当前用户-r:remove,删除指定用户的计划任务列表1.列出计划任务列表# crontab -l2.编辑计划任务# crontab -e计划任务的规则语法格式:以行为单位,一行则为一个计划

2021-07-13 10:02:24 301 1

原创 linux之rpm管理

linux之RPM管理RPM作用: 类似于 windows 上电脑管家中的 软件管理,主要作用是对linux 服务器上的软件包进行对应的管理操作。管理分为:查询,卸载,安装。1.查询某个软件的安装情况# rpm -qa|grep 关键词-q:查询,query-a:全部,all2.卸载某个软件# rpm -e 软件名称 #不含依赖关系时的卸载# rpm -e 软件名称 --nodeps #包含依赖关系时的卸载3.安装某个软件安装之前先找到安装包(软件包的获得方式:①官网

2021-07-12 15:52:16 103

原创 linux之防火墙

linux之防火墙服务防火墙服务作用:防范一些网络攻击。有软件防火墙和硬件防火墙,这里介绍的是软件防火墙,防火墙选择让请求通过,来保证网络安全性。在centos6.x中防火墙叫:iptables(7.x中叫 filewalld)1.查看iptables服务 是否开机启动# chkconfig --list|grep iptables2.iptables服务启动/重启/关闭# service iptables start/restart/stop# /etc/init.d/iptab

2021-07-12 15:10:27 150

原创 linux之ntp服务

linux之ntp服务ntp服务**作用:**npt 主要用于对计算机时间的同步管理操作时间对服务器来说是很重要的,一般很多网站都需要读取服务器时间来记录相关信息,如果时间不准,则可能造成较大影响。同步服务器的两种方法:1.一次性同步时间(同步上游服务器时间)# ntpdate 时间服务器的域名或ip地址ip地址查看可以访问:http://www.ntp.org.cn/pool2.设置时间同步的服务服务名:ntpd启动 ntpd 服务# service htpd start或者

2021-07-12 14:21:51 525

原创 Linux文本编辑命令-VIM个人各全局配置文件

Linux文本编辑命令-VIM个人各全局配置文件vimvim是一款编译器vim配置:在文件打开的时候在末行模式下输入的配置(临时的)个人配置文件 ("/.vimrc" 不一定有,如果没有可以自行新建一个)全局配置文件 (vim自带 /etc/vimrc)个人配置文件新建好个人配置文件之后进入编辑在配置文件中进行配置比如显示行号:set nu,配置好之后vim打开文件后会一直显示全局配置文件" 设定默认解码" 设定默认解码set fenc=utf-8set f

2021-07-08 13:41:11 998

原创 Linux文本编辑命令-编辑模式下常用操作

Linux文本编辑命令-编辑模式下常用操作编辑模式进入方式: i 在光标所在字符前插入​ a 在光标所在字符后插入​ o 在光标所在行的下面另起一新行插入​ I 在光标所在行的行首开始插入,如果行首有空格则在空格之后插入​ A 在光标所在行的行尾开始插入​ O 在光标所在行的上面另起一行开始插入​ S 删除光标所在行并开始插入退出方式:按下esc...

2021-07-08 10:23:21 192

原创 Linux文本编辑命令-末行模式下常用操作

Linux文本编辑命令-末行模式下常用操作末行模式进入方式:由命令模式进入,按下":" 即可进入退出方式:a.按下 esc​ b.连按2下esc​ c.删除末行全部输入字符1.保存操作输入: “:w” 保存输入: “:w 路径” 另存为2.退出操作输入: “:q” 退出文件3.保存并退出操作输入: “:wq” 保存并退出文件4.强制(

2021-07-08 10:08:01 2250

原创 Postgresql之表继承

Postgresql之表继承继承是来自面向对象的数据库的概念。让我们创建两个表:一个表TABLE8和一个表TABLE9,并创建视图取两者合并的数据CREATE TABLE TABLE8 ( --创建表TABLE8 id varchar, name varchar, age int, state char(2));CREATE TABLE TABLE9 ( --创建表TABLE9 id varchar, name varchar, age int);CRE

2021-07-07 16:48:18 898

原创 Linux文本编辑命令-命令模式下常用操作

Linux文本编辑命令-命令模式下常用操作命令模式注意:该模式是打开文件的第一个看到的模式。1.光标移动光标移动到行首 :shift + 6 或 ^光标移动到行尾 :shift + 4 或 $光标移动到首行 :gg光标移动到尾行 :G向上翻屏:ctrl + b 或 PgUp向下翻屏:ctrl + f 或 PgDn2.复制操作复制光标所在行:yy粘贴:在想要粘贴的地方 p以光标所在行为准(包含当前行),向下复制指定的行数:数字 + yy可视化复制:ctrl

2021-07-07 16:16:44 2097

原创 MySQL报错-1

MySQL报错-1error: The server quit without updating PID file(…)转载于:https://javawind.net/p141原因分几种:1.错误日志目录不存在解决方法:使用“chown” “chmod”命令赋mysql 所有者及权限。2.可能是/home/data/mysql 文件夹没有写的权限解决方法 :给予权限,执行 “chown -R mysql:mysql /home/data/mysql” “chmod -R 755 /hom

2021-06-30 09:57:15 933

原创 Python之if 语句练习

Python之if 语句练习1.用if 简单排序a = 14.5b = 20c = 14.4if a > b and a > c: if b > c: print(a,b,c) else: print(a,c,b)elif b > c and b > a: if a > c: print(b,a,c) else: print(a,c,b)elif c >

2021-06-30 09:37:44 524

原创 MySQL查看及杀掉链接方法

MySQL查看及杀掉链接方法MySQL 数据库前言:在数据库运维过程中,我们时常会关注数据库的链接情况,比如总共有多少链接、有多少活跃链接、有没有执行时间过长的链接等。数据库的各种异常也能通过链接情况间接反应出来,特别是数据库出现死锁或严重卡顿的时候,我们首先应该查看数据库是否有异常链接,并杀掉这些异常链接。本篇文章将主要介绍如何查看数据库链接及如何杀掉异常链接的方法。1.查看数据库链接查看数据库链接最常用的语句就是 show processlist 了,这条语句可以查看数据库中存在的线程状态

2021-06-30 08:00:13 191

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除