MySQL数据库
文章平均质量分 93
abothli
拥有五年的开发工作经验,曾从事过开发,分析,算法,人工智能,机器学习,运维的相关开发工作。
展开
-
安装MySQL初始化mysql数据库时提示缺少Datadumper模块解决方法
初始化默认数据库运行此命令:/usr/local/mysql/scripts/mysql_install_db--user=mysql --basedir=/usr/local/mysql/ 出现错误: FATALERROR: please install the following Perl modules before executing/usr/local/mysql/scr...原创 2018-07-01 02:03:48 · 513 阅读 · 0 评论 -
centos7安装mariadb
1、安装MariaDB安装命令yum -y install mariadb mariadb-server安装完成MariaDB,首先启动MariaDBsystemctl start mariadb设置开机启动systemctl enable mariadb接下来进行MariaDB的相关简单配置mysql_secure_installation首先是设置密...原创 2018-10-18 11:46:56 · 144 阅读 · 0 评论 -
mysql误删数据后快速回滚
binlog2sql快速回滚首先,确认你的MySQL server开启了binlog,设置了以下参数:[mysqld]server-id = 1log_bin = /var/log/mysql/mysql-bin.logmax_binlog_size = 1000Mbinlog-format = row如果没有开启binlog,也没有预先生成回滚SQL,那真的无法快速回滚了。...原创 2018-10-18 11:49:17 · 11489 阅读 · 1 评论 -
mysql快速备份脚本
mysqldump常用于MySQL数据库逻辑备份。 1、各种用法说明 A. 最简单的用法:mysqldump -uroot -pPassword [database name] > [dump file] 上述命令将指定数据库备份到某dump文件(转储文件)中,比如:mysqldump -uroot -p123 test > te...原创 2018-10-18 11:50:38 · 2741 阅读 · 0 评论 -
如何备份mysql数据
MySQL备份数据的方式在MySQl中我们备份数据一般有几种方式 热备份 温备份 冷备份 热备份指的是当数据库进行备份时, 数据库的读写操作均不是受影响 温备份指的是当数据库进行备份时, 数据库的读操作可以执行, 但是不能执行写操作 冷备份指的是当数据库进行备份时, 数据库不能进行读写操作, 即数据库要下线 MySQL中进行不同方式的备份还要考虑存储...原创 2018-10-16 17:19:49 · 226 阅读 · 0 评论 -
实时抽取mysql的数据工具----canal(一)
1、准备:github:https://github.com/alibaba/canal里面有包括canal的文档,server端 client端的 例子 源码包等等。2、canal概述:canal是应阿里巴巴存在杭州和美国的双机房部署,存在跨机房同步的业务需求而提出的。早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主...原创 2018-11-29 14:47:49 · 2521 阅读 · 0 评论 -
canal的搭建以及操作
一、环境介绍canal是阿里开源的中间件,主要用于同步mysql数据库变更。具体参见:https://github.com/alibaba/canal/releases搭建环境:vmware centos7 部署mysql和canalwindows开发canal client,自动捕获mysql数据库变更二、Centos安装Mysql1、尝试用yum安装mysqlwg...原创 2018-11-29 14:50:29 · 2944 阅读 · 0 评论 -
canal报错com.alibaba.druid.sql.parser.ParserException: syntax error, error in :'XX') …
1 问题使用canal 1.0.25,启动canal服务端时或更新数据库数据时,canal服务端报错。报错如下:com.alibaba.druid.sql.parser.ParserException: syntax error, error in :'XX') …2 分析引起这个问题的原因是创建表的SQL语句中有“)”。根本原因是canal依赖的druid版本的问题。3 解决措...原创 2018-11-29 14:51:39 · 12016 阅读 · 0 评论 -
Mysql 查看连接数,状态 最大并发数
-- show variables like '%max_connections%'; 查看最大连接数set global max_connections=1000 重新设置 mysql> show status like 'Threads%';+-------------------+-------+| Variable_name | Value |+---...原创 2018-12-04 18:59:25 · 819 阅读 · 0 评论 -
mysql优化
说明:根据调查发现以上服务器线程缓存thread_cache_size没有进行设置,或者设置过小,这个值表示可以重新利用保存在缓存中线程的数量,当断开连接时如果缓存中还有空间,那么客户端的线程将被放到缓存中,如果线程重新被请求,那么请求将从缓存中读取,如果缓存中是空的或者是新的请求,那么这个线程将被重新创建,如果有很多新的线程,增加这个值可以改善系统性能.通过比较 Connections 和 T...原创 2018-12-04 19:00:23 · 192 阅读 · 1 评论 -
实时抽取mysql数据工具之maxwell
利用Maxwell组件实时监听mysql的binlog日志,并且把解析的json格式数据发送到kafka窗口供实时消费文档主题:如何使用Maxwell实时监听Mysql的binlog日志,并且把解析的json格式数据发送到kafka窗口具体步骤一:在linux环境下安装部署好mysql1 开启binlogsudo vi /etc/my.cnf2 mysql的binlog格式...原创 2018-12-12 15:20:08 · 1475 阅读 · 0 评论 -
canal实时抽取mysql数据发送到kafka
基本说明canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有:kafka: https://github.com/apache/kafka RocketMQ : https://github.com/apache/rocketmq 环境版本操作系统:CentOS release 6.6 (Fina...原创 2018-12-06 10:50:48 · 11936 阅读 · 5 评论 -
binlog的详细介绍
写在前面的话1、推荐用mixed,默认使用statement,基于上下文 set session/global binlog_format=mixed;2、二进制日记录了数据库执行更改的操作,如Insert,Update,Delete等。不包括Select等不影响数据库记录的操作3、MySQL记录的日志有三种模式:STATEMENT、ROW、MIXED4、二进制主要的功能有:复制...原创 2018-12-27 14:35:42 · 3717 阅读 · 0 评论 -
centos7中mysql更改数据目录
一、配置mysql首先启动mysqlservice mysqld start设置密码及安全规则mysql_secure_installation这一步骤我只修改了密码,其它安全规则根据需求修改修改配置文件(这里我修改的为/home目录下)datadir=/home/mysqlsocket=/home/mysql/mysql.sock # For advice ...原创 2018-10-03 02:57:41 · 995 阅读 · 0 评论 -
设置mysql最大连接数
方法一:进入MYSQL安装目录 打开MYSQL配置文件 my.ini 或 my.cnf查找 max_connections=100 修改为 max_connections=1000 服务里重起MYSQL即可方法二:MySQL的最大连接数默认是100客户端登录:mysql -uusername -ppassword设置新的最大连接数为200:mysql> set GLOBAL max_...原创 2018-09-04 13:47:05 · 216 阅读 · 0 评论 -
Linux下mysql导入导出sql文件
linux下一、导出数据库用mysqldump命令(注意mysql的安装路径,即此命令的路径):1、导出数据和表结构:mysqldump -u用户名 -p密码 数据库名 > 数据库名.sql#/usr/local/mysql/bin/ mysqldump -uroot -p abc > abc.sql敲回车后会提示输入密码2、只导出表结构mysqldump -u用户名 -p密码 -...原创 2018-07-01 02:02:42 · 3076 阅读 · 0 评论 -
MySQL数据库导入导出
导出:mysqldump -uroot -p assisblock > assistblock.sql导入:mysql -uroot -p assist_data < assist_data.sql原创 2018-07-01 02:03:06 · 250 阅读 · 0 评论 -
MySQL源码安装
一、scr 屏幕输出日志【方便查看执行过程中有没有错】二、【必须依赖包】rm -rf /etc/yum.repos.d/*cat <<EOF > /etc/yum.repos.d/base.repo[Base]name=basebaseurl=file:///mnt/Serverenabled=1gpgcheck=0gpgkey=file:///et...原创 2018-07-06 02:15:41 · 155 阅读 · 0 评论 -
基于hive的MySQL安装
挂载镜像,利用Yum安装mysql1.安装mysqlvi /etc/yum.repos.d/rhel-debuginfo.repo[Server]name=rhel_yumbaseurl=file:///mnt/Serverenabled=1gpgcheck=1gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release...原创 2018-07-07 00:30:12 · 259 阅读 · 0 评论 -
oracle查询sql语句
Oracle查询语句 select*from scott.emp ;1.--dense_rank()分析函数(查找每个部门工资最高前三名员工信息)select*from(selectdeptno,ename,sal,dense_rank()over(partitionby deptno orderby sal desc) a fromscott.emp)where a<=3orderbyde...原创 2018-07-08 00:01:48 · 24151 阅读 · 0 评论 -
centos7用yum安装mysql
一般在linux下安装mysql 的步骤如下:安装前看是否安装过mysql,yum list installed mysql*如果有就用yum remove卸载mysql查看yum库下是否有mysql-serveryum list | grep mysql 或 yum -y list mysql*如果没有(一般在centos7下没有)wget http://repo.m...原创 2018-08-09 10:23:06 · 160 阅读 · 0 评论 -
centos7上快速安装mysql
Centos7通过yum安装最新MySQL一:去官网查看最新安装包https://dev.mysql.com/downloads/repo/yum/二:下载MySQL源安装包wget http://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm安装MySql源yum -y install mys...原创 2018-08-14 12:05:23 · 28742 阅读 · 9 评论 -
sqoop从mysql到hive实现定时增量导入
1、 第一次全量抽取,并创建hive表#keberos认证kinit -kt hdfs.keytab hdfs#从oracle导数据到hivesqoop import --connectjdbc:oracle:thin:@xx.xx.xx.xx:1521:xx\ --username xxx--password xxx\ --t...原创 2018-08-27 13:46:39 · 2855 阅读 · 0 评论 -
sqoop从mysql到hive导入时分隔符问题
核心参数–check-column 用来指定一些列,这些列在增量导入时用来检查这些数据是否作为增量数据进行导入,和关系型数据库中的自增字段及时间戳类似. 注意:这些被指定的列的类型不能使任意字符类型,如char、varchar等类型都是不可以的,同时–check-column可以去指定多个列 –incremental 用来指定增量导入的模式,两种模式分别为Append和Lastm...原创 2018-08-27 13:50:28 · 3254 阅读 · 0 评论 -
写一个sqoop增量导入的shell脚本
每隔2分钟,就往hive中增量导入数据。#!/bin/shexport SQOOP_HOME=/usr/share/sqoop-1.4.4hostname="192.168.1.199"user="root"password="root"database="test"table="tags"curr_max=0function db_to_hive(){ ${S...原创 2018-08-27 13:53:22 · 3135 阅读 · 0 评论 -
从mysql用sqoop导入到hive的具体步骤
需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段 数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下 bin/sqoop import \--connect jdbc:mysql://172.16.71.27:3306/baba...原创 2018-08-27 13:56:01 · 1931 阅读 · 0 评论 -
mysql给用户授权
MySQL 赋予用户权限命令的简单格式可概括为:grant 权限 on 数据库对象 to 用户 (授权后记得刷新权限:flush privileges;)一、grant 普通数据用户,查询、插入、更新、删除 数据库中所有表数据的权利。grant select on testdb.* to common_user@'%'grant insert on testdb.* to common_...原创 2018-12-27 14:43:16 · 1628 阅读 · 0 评论