数据库
文章平均质量分 83
落叶翩翩
这个作者很懒,什么都没留下…
展开
-
用户画像的生产
用户特征的提取即用户画像的生产过程,大致可以分为以下几步:用户建模 ,指确定提取的用户特征维度,和需要使用到的数据源。 数据收集 ,通过数据收集工具,如Flume或自己写的脚本程序,把需要使用的数据统一存放到Hadoop集群,骆驼mysql。 数据清理 ,数据清理的过程通常位于Hadoop集群,也有可能与数据收集同时进行,这一步的主要工作,是把收集到各种来源、杂乱无章的数据进行字段提取,得...转载 2018-09-26 15:30:01 · 534 阅读 · 0 评论 -
MySQL 5.6 生产环境标准配置
auto_increment_increment = 1auto_increment_offset = 1back_log = 3000binlog_cache_size = 2097152binlog_checksum = CRC32binlog_row_image = fullbinlog_stmt_cache_size = 32768character_set_s原创 2016-12-03 15:07:36 · 3886 阅读 · 0 评论 -
sql优化那些事
SELECT *FROM ( SELECT product_goods.sku AS sku, yoursister.* FROM product_goods LEFT JOIN ( SELECT eoo.*, pccc. NAME AS cate_one_name FROM ( SELECT eo.*,原创 2016-11-18 10:20:11 · 381 阅读 · 0 评论 -
SQL中JOIN和UNION区别、用法及示例
1.JOIN和UNION区别join 是两张表做交连后里面条件相同的部分记录产生一个记录集,union是产生的两个记录集(字段要一样的)并在一起,成为一个新的记录集 。JOIN用于按照ON条件联接两个表,主要有四种:INNER JOIN:内部联接两个表中的记录,仅当至少有一个同属于两表的行符合联接条件时,内联接才返回行。我理解的是只要记录不符合ON条件,就不会显示在结果集内。转载 2016-08-02 14:01:51 · 1054 阅读 · 0 评论 -
mysql 重置max_allowed_packet解决办法
mysql> show variables like '%max_a%';+--------------------------+------------+| Variable_name | Value |+--------------------------+------------+| max_allowed_packet | 107原创 2016-06-24 14:38:21 · 3706 阅读 · 0 评论 -
mysql打开速度很慢
最近在Linux服务器上安装MySql5后,本地使用客户端连MySql速度超慢,本地程序连接也超慢。解决方法:在配置文件my.cnf的[mysqld]下加入skip-name-resolve。原因是默认安装的MySql开启了DNS的反向解析。如果禁用的话就不能在MySQL的授权表中使用主机名了而只能用ip格式。附:How MySQL uses DNSWhen a new thr转载 2015-12-19 21:22:14 · 1550 阅读 · 0 评论 -
一分钟教你知道乐观锁和悲观锁的区别
悲观锁(Pessimistic Lock), 顾名思义,就是很悲观,每次去拿数据的时候都认为别人会修改,所以每次在拿数据的时候都会上锁,这样别人想拿这个数据就会block直到它拿到锁。传统的关系型数据库里边就用到了很多这种锁机制,比如行锁,表锁等,读锁,写锁等,都是在做操作之前先上锁。乐观锁(Optimistic Lock), 顾名思义,就是很乐观,每次去拿数据的时候都认为别人不会修改转载 2015-11-19 10:59:19 · 472 阅读 · 0 评论 -
Redis 客户端Jedis使用(一)
一、下载jedis 代码jedis 代码地址:https://github.com/xetorthio/jedis再次感受到开源的强大。呵呵,大家有时间可以看看源码。二、项目中如何使用Jedis使用现在大家都喜欢用maven作为项目管理利器,那我只说明一下Maven如何使用jedis,只需要添加以下依赖就可以。 dependency>转载 2015-10-07 12:44:51 · 634 阅读 · 0 评论 -
CentOS 6.5 下安装 Redis 2.8.7
wget http://download.redis.io/redis-stable.tar.gztar xvzf redis-stable.tar.gzcd redis-stablemake 前面3步应该没有问题,主要的问题是执行make的时候,出现了异常。异常一:make[2]: cc: Command not found异常原因转载 2015-10-07 12:14:46 · 490 阅读 · 0 评论 -
[原]敏捷开发项目中升级mysql数据库,谈谈结构、数据比对,navicat for mysql + dbForge Data Compare for MySQL 足矣!
在公司项目中,我有幸负责制作“升级脚本”。升级脚本,无疑两步,先结构比对,再初始数据比对。一、结构比对结构比对比较简单,使用navicat for mysql 工具,“工具”-“结构同步”,选择好“源”、“目标”、“比对选项”后,点击“比对”。(假如需要将数据库v4升级到v5)比对完毕,将结构同步的sql语句全选复制出来,如下图:二、数据同步右击“全选勾选”转载 2015-08-25 14:50:00 · 1835 阅读 · 0 评论 -
mysql备份与恢复心得
mysql备份与还原命令 1.备份命令(最后不要加分号) mysqldump -u 用户名 -p 数据库名 >d:\\文件名.sql mysqldump -u root -p db_fightLandlor>d:\\db_fightLandlor.sql 2.还原命令 source d:\\db_fightLandlor.sql原创 2012-07-17 01:31:21 · 1088 阅读 · 1 评论 -
linux下手工启动oracle centos下手动启动oracle
一、在Linux下启动Oracle登录到CentOS,切换到oracle用户权限# su – oracle接着输入:$ sqlplus "/as sysdba"原本的画面会变为SQL>接着请输入SQL> startup就可以正常的启动数据库了。另外停止数据库的指令如下:SQL> shutdown immediate原创 2015-03-03 10:32:25 · 626 阅读 · 0 评论 -
MYSQL explain详解
explain显示了MySQL如何使用索引来处理select语句以及连接表。可以帮助选择更好的索引和写出更优化的查询语句。先解析一条sql语句,看出现什么内容EXPLAINSELECTs.uid,s.username,s.name,f.email,f.mobile,f.phone,f.postalcode,f.addressFROM uchome_space ASs,uchome_转载 2017-04-23 09:59:38 · 997 阅读 · 0 评论 -
mysql服务器cpu使用率过高100%
cpu消耗过大有慢sql造成,慢sql包括全表扫描,扫描数据量太大,内存排序,磁盘排序,锁争用等;mysql>show processlist;查看所有连接现象sql执行状态为:sending data,copying to tmp table,copying to tmp table on disk,sorting result,using filesort,locked;就有问题了转载 2017-04-24 11:17:50 · 14254 阅读 · 0 评论 -
生产线上mysql占CPU过高排查实战
前两天,一位编辑跑过来跟我们说,我们的内容管理系统打开非常慢,不知道怎么回事,开始,以为是后台统计的问题,编程兄弟们就立刻查看,没想到没什么事,之后就找到我,叫我看下是怎么回事,我上去一看,不用说了,ssh工具连接上,top一看 根据以上的显示结果,MySQL占CPU挺高的,于是我重启下mysql 服务,再次查看结果,CPU的占用还是没有降下来 快速登陆mysql,查转载 2017-04-24 12:13:14 · 755 阅读 · 0 评论 -
Mysql查询正在运行的事务以及杀掉它
查询 正在执行的事务:SELECT * FROM information_schema.INNODB_TRX根据这个事务的线程ID(trx_mysql_thread_id):可以使用mysql命令:kill 线程id 杀掉线程到information_schema库下面,查看下面这个表: innodb_trx ## 当前运行的所有事务 innodb_locks ## 当前出现的锁 i...转载 2018-04-26 20:54:17 · 7208 阅读 · 0 评论 -
MySQL中B+Tree索引原理
转自:http://blog.csdn.net/u013235478/article/details/50625677B+树索引是B+树在数据库中的一种实现,是最常见也是数据库中使用最为频繁的一种索引。B+树中的B代表平衡(balance),而不是二叉(binary),因为B+树是从最早的平衡二叉树演化而来的。在讲B+树之前必须先了解二叉查找树、平衡二叉树(AV转载 2018-02-25 14:05:49 · 261 阅读 · 0 评论 -
sql优化最佳实践
orders_p op LEFT JOIN orders_b o ON op.orders_id = o.id LEFT JOIN orders_u u ON o.id = u.order_id LEFT JOIN orders_a a ON o.id = a.order_id LEFT JOIN orders_t t ON o.id = t.order_id LEFT JOI转载 2017-12-14 09:43:05 · 1549 阅读 · 1 评论 -
MySQL innodb waiting for table level lock 问题解决
场景某客户告知数据库(MySQL5.6)发生锁,数据无法增删改,已严重影响业务。问题排查登录数据库检查数据库状态如下table level lock???都是innodb存储引擎这种状态不该出现啊。会不会是人为加了锁?果然。查看innodb的状态发现有一个事务持有大量的锁。kill掉该事物,数据库状态正常。通过时间戳推算得知在该时刻进行了一个转载 2017-09-01 09:26:50 · 8539 阅读 · 0 评论 -
Mysql 优化——分析表读写和sql效率问题
上次我们说到MySQL的一些sql查询方面的优化,包括查看explain执行计划,分析索引等等。 今天我们分享一些 分析mysql表读写、索引等等操作的sql语句。闲话不多说,直接上代码:-- 反映表的读写压力SELECT file_name AS file, count_read, sum_number_of_bytes_read AS转载 2017-08-26 21:33:55 · 560 阅读 · 0 评论 -
mysql java开发注意事项
1、时间 必须用timestamp字段、不能用datetime字段,否则遇到时区问题原创 2017-08-26 20:50:32 · 444 阅读 · 0 评论 -
like查询如何有索引效果
一.like查询与索引 在oracle里的一个超级大的表中,我们的where条件的列有建索引的话,会走索引唯一扫描INDEX UNIQUE SCAN。如select * from table where code = 'Cod25',而如下这些语句哪些会走索引呢?Sql代码 select * from table where code like 'Cod转载 2017-08-26 20:42:39 · 15767 阅读 · 0 评论 -
MySQL-死锁查询
1、查询是否锁表show OPEN TABLES where In_use > 0;查询到相对应的进程 === 然后 kill id2、查询进程 show processlist补充:查看正在锁的事务SELECT * FROM INFORMATION_SCHEMA.INNODB_LOCKS; 查看等待锁的转载 2017-08-15 14:52:54 · 327 阅读 · 0 评论 -
MySQL之explain 的type列 & Extra列
explain 可以分析 select 语句的执行,即MySQL 的“执行计划。一、type 列MySQL 在表里找到所需行的方式。包括(由左至右,由最差到最好):| All | index | range | ref | eq_ref | const,system | null |ALL(所有)全表扫描,MySQL 从头到尾扫描整张表查找行。m转载 2017-08-18 14:20:57 · 374 阅读 · 0 评论 -
mysql 性能排查3板斧
1、show PROFILEs2、show PROFILE FOR QUERY 67;原创 2017-08-18 10:13:28 · 389 阅读 · 0 评论 -
mysql常用监控脚本命令整理
#/bin/sh #检测mysql server是否正常提供服务mysqladmin -u sky -ppwd -h localhostping #获取mysql当前的几个状态值mysqladmin -u sky -ppwd -h localhost status #获取数据库当前的连接信息 mysqladmin -u sky -ppw转载 2017-06-20 18:05:48 · 1576 阅读 · 0 评论 -
Mysql 查看连接数,状态
命令: show processlist;如果是root帐号,你能看到所有用户的当前连接。如果是其它普通帐号,只能看到自己占用的连接。 show processlist;只列出前100条,如果想全列出请使用show full processlist;mysql> show processlist; 命令: show status;命令:show status转载 2014-07-21 12:08:26 · 756 阅读 · 0 评论 -
linux下mysql数据库定时备份
1、编写数据库备份脚本#!/bin/bash date_str=`date +%Y年%m月%d号%H时%M分`/usr/local/mysql/bin/mysqldump -h192.168.0.100 -uroot -proot wellcare>/opt/db_backup/wellcare_备份_$date_str.sql2、编写定时任务contab -e写入:#每原创 2013-11-18 11:43:28 · 1017 阅读 · 0 评论 -
ssh免密码登录视频教程
ssh免密码登录:应用场景1、数据库双机备份2、hadoop10.**.**.52(公网服务器)10.**.**.51(数据库服务器在内网)完成51机器数据库双机备份单机备份后需要把备份文件传到52这台机器上首先登录511、生成公钥/私钥对 ssh-keygen -t rsa(连续三次回车,即在本地生成了公钥和私钥,不设置密码)原创 2014-07-06 21:32:41 · 876 阅读 · 0 评论 -
一道sql面试题
一商场的销售记帐单表1商品 单价电视机 2000手机 1000……表2时间 售货员 商品 件数2012-2-8 10:50 李明 手机 12012-2-8 10:50 王红 电视机 2……以下问题全部单次查询出结果求全公司每月的销售额求全公司每人每月的销售额求全公司每月最大的单人销售额求每月销售额最大的售货员select co原创 2013-04-18 10:11:53 · 974 阅读 · 3 评论 -
sql server 2000错误记录及解决方案
Exception in thread "main" com.microsoft.sqlserver.jdbc.SQLServerException: The TCP/IP connection to the host xx.111.134.54, port 1433 has failed. Error: Connection timed out: connect. Please verify t原创 2013-04-03 11:47:22 · 1791 阅读 · 0 评论 -
鄙人sql server维护记录
鄙人是java软件工程师,但是因为工作的需要,集成sql server的系统 还原数据库时,先创建数据库,出现问题的话,就点击高级什么的改下路径(记得是改成一个存在的路径就行了)就ok sa用户登录不上时,用windows管理员身份登录,然后安全性--》登录--》sa属性,修改密码就好了原创 2013-04-03 14:24:47 · 766 阅读 · 0 评论 -
一道面试题:请写sql查询出,成绩小于60的同学的姓名和平均分,并按平均分排序
给出如下3张表,stu表、sc表和course表:/*Navicat MySQL Data TransferSource Server : db_fightLandlorSource Server Version : 50520Source Host : localhost:3306Source Database原创 2013-02-22 22:36:05 · 18796 阅读 · 0 评论 -
提高sql效率的基本原则
提高效率主要有:(1)充分利用外键,以提高表连接速度(2)尽可能使用自然链接,尽量避免使用外连接(3)尽可能将记录少的表放在连接的左边,以减少先处理的记录数(4)尽可能先选择,后连接,以减少处理的数据量(5)有可能的时候建立视图,充分使用数据库自身的优化功能这些都是基本的原则,很多数据库系统提供了特殊功能来提高效率,建议你要认真学学MSsql的管理和调优一般情况下很嫩一次就转载 2013-02-25 08:21:20 · 959 阅读 · 0 评论 -
什么是左连接、右连接和全连接、内连接?
数据库查询分为 单表查询、连接查询、嵌套查询、集合查询其中连接查询指涉及两个及以上表的查询,有等值连接、非等值连接、自然连接、自身连接、外连接五种等值连接和非等值连接指where子句的查询条件(由比较运算符连接起来的条件,比较运算符有= >= < != 等)比如:select student.*,sc.* from student,sc where student.sno=sc.sno转载 2013-02-22 22:41:01 · 1307 阅读 · 0 评论 -
Linux下mysql中文乱码解决方案
中文存入 mysql 数据库出现的乱码,从 JSP 页面读取 mysql 中文数据出现乱码,以及在 sell 环境下查看数据库表中文数据出现乱码。为了解决中文乱码问题,首先是采用同一字符集。本人采用的是Gbk.1. 安装mysql后首先修改配置文件 /etc/my.cnf(注:可能安装的目录不同,通过搜索my.cnf这个文件就可以方便地找到my.cnf这个目录)。找转载 2013-01-05 10:48:29 · 733 阅读 · 0 评论 -
oracle服务简介
OracleServiceORCL:oracle运行必须开启的服务(最核心的服务) OracleOraDb11g_home1TNSListener:程序开发必须的服务(jdbc,odbc,hibernate必须开启此项服务) OracleDBConsoleorcl:oracle网页管理时必须开启的服务(例如:http://loacalhost:1521/em),原创 2013-01-03 17:13:17 · 626 阅读 · 0 评论 -
sql 多表查询浅析及鄙人经验分享
1、数据库设计时碰到一对多时把外键字段(列)放到一方表中,不要放到多方表中,不然数据会产生宂于;不要在提取一个表了哦,麻烦。2、多对多时如果之在其中的一个表中建立外键显然不行(这不就一对多了吗),在两个表中都建立外键,这当然可以了,不过又照成数据很大的宂余,显然不可取,需要在提取一张表。3、编写复杂的查询sql时不要在纸上画,画迪卡尔积,如果这样的话你画数据会画的崩溃的!我的做法是原创 2013-01-03 17:39:06 · 659 阅读 · 0 评论 -
hibernate双向关联注意
数据库中2两张表一张user表,一张pay表department的外键在user表中做主键则:用eclipse的自动翻转工具生成的配置文件如下"http://hibernate.sourceforge.net/hibernate-mapping-3.0.dtd"> Mapping file autogenerated by MyEclipse Persiste原创 2012-12-03 15:51:21 · 756 阅读 · 0 评论 -
mysql乱码,开发中遇到的问题
1.mysql遇到乱码 解决办法:show variables like 'collation_%'; 查看,编码是否和程序中数据的编码一样,如果不一样,则有两种解决办法: A。 B。set names 'GBK' alter database pa原创 2012-10-31 23:48:15 · 936 阅读 · 0 评论