2017年06月_siwluxuefeng

12月 11月 10月 09月 08月 07月 06月 05月 04月 01月

转载 mysql之存储过程，函数，游标

转载：http://www.jb51.net/article/70677.htm存储过程和函数是在数据库中定义一些SQL语句的集合，然后直接调用这些存储过程和函数来执行已经定义好的SQL语句。存储过程和函数可以避免开发人员重复的编写相同的SQL语句。而且，存储过程和函数是在MySQL服务器中存储和执行的，可以减少客户端和服务器端的数据传输。一、存储过程1.1、基本语法CRE

2017-06-28 10:53:47 492

原创 mysql之外键约束

外键约束1.外键通常要求在每次修改数据时，都要在另外一张表中执行一次查询操作。虽然InnoDB强制外键使用索引，但还是无法消除这种约束检查带来的开销。如果外键列选择性很低，会造成一个非常大且选择性很低的索引。2.如果想确保两个相关表始终数据一致，使用外键比在程序中检查一致性效率要高。3.外键维护是逐行进行的，这样的更新比批量删除和更新慢很多。4.如果只用外键做约束，通常在程序里

2017-06-27 21:26:07 296

原创 mysql之视图

视图1.视图是指计算机数据库中的视图，是一个虚拟表，不存放任何数据，其内容由查询定义。同真实的表一样，视图包含一系列带有名称的列和行数据。但是，视图并不在数据库中以存储的数据值集形式存在。行和列数据来自由定义视图的查询所引用的表，并且在引用视图时动态生成。2.不能对视图使用触发器，也不能使用drop table命令删除视图；3.可更新视图是指可通过更新这个视图来更新视图涉及的相关表。只

2017-06-27 21:24:38 280

原创 mysql之分区

1.对用户来说，分区是一个独立的逻辑表，但底层由多个物理字表组成。每个分区表都有一个使用#分隔命名的表文件。2.mysql中，索引也是按照分区的字表定义，而没有全局索引。oracle可以定义索引和表是否进行分区。3.mysql在创建表时使用partition by 字句定义每个分区存放的数据。执行查询时，优化器根据分区定义过滤那些没有我们需要的分区，这样查询就无需扫描所有分区。crea

2017-06-27 20:22:55 293

原创 python-迭代器demo

#迭代器是是一个定义了__iter__()方法的类。__init__,__iter__,__next__,起始和结束都是一对下划线,这些方法不是直接调用的，当使用类或实例的某些语法时，python会自动调用它们。class Fib: def __init__(self,max): #调用Fib(max)会创建该类的一个真实的实例，并以max作为参数调用__init__()方法。__init_

2017-06-23 17:09:36 292

原创 mysql 查询优化笔记

查询的生命周期：从客户端，到服务器，然后在服务器上进行解析，生成执行计划，执行，并返回结果给客户端。其中“执行”是生命周期中最重要的阶段，大量的检索数据到存储引擎的调用以及调用后的数据处理，包括分组排序等。慢查询优化：1.确认程序是否需要检索大量超过需要的数据多余的数据会给mysql服务器带来额外负担，并增加网络开销，另外也会消耗服务器的CPU和内存。常见的问题有：a.

2017-06-19 12:10:16 548

转载正则表达式不以

转载地址：https://gxnotes.com/article/41270.html问题描述我找不到正确的正则表达式来匹配任何不以某种条件结尾的字符串。例如，我不想匹配以a结尾的任何内容。这匹配bab1这不符合aba我知道正则表达式应该结束于$来标记结束，尽管我不知道应该怎么做。编辑：原来的问题似乎不是我的例子。那么，如何

2017-06-16 20:14:50 638

原创正则表达式符号笔记

mysql自带的匹配模式已经可以满足我们大多的业务需求，然而正则肯定是更加灵活与方便，所以必要的时候还是可以使用。最后，这里附录上正则的符号表：5. 全部符号解释字符描述\将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如，'n' 匹配字符 "n"。'\n' 匹配一个换行符。序列 '\\' 匹配

2017-06-16 20:03:40 386

原创 hive sql解决关联条件中不等值连接问题及累计值的计算

工作中写的sql，本次的sql可以拓展出一些新内容，留下笔记with a as (select interface ,case when action is NUll then 'null' else action end as action , request_time*1000 as request_time ,count(request_time) as pv

2017-06-16 19:59:02 3189 1

原创 python-正则匹配在python中使用小练习

#!/usr/bin/python# encoding: utf8import redef plural(noun): if re.search('[sxz]$',noun): return re.sub('$','es',noun) elif re.search('[^aeioudgkprt]h$',noun): return re.sub('$','es',noun) el

2017-06-14 21:02:33 626

原创 hive sql 注意事项

如果是按时间分区的表，查询时一定要使用分区限制，如果没有分区限制，会从该表的所有数据里面遍历。注意sql中or的使用，or 这个逻辑必须单独括起来，否则可能引起无分区限制，下面举个例子，想查询到的是gd或gx的某天的数据。Select x from t where ds=d1 and province=’gd’ or province=’gx’该语句会从所有的分区里面查询！也没有

2017-06-13 10:35:57 667

原创 python-打开文件与读写文件

#!/usr/bin/python# encoding: utf8#with 语句不只是针对文件而言的，它是一个用来创建运行时环境的通用框架（genericframework）,告诉对象它们正在进入和离开一个运行时环境。print '\u9fa5'print '\u003f'#创建文件并写入内容with open('test.txt',mode='w') as a_file: a

2017-06-08 21:39:32 640

原创 postgresql随笔

1,.cast(cast(b.f_date as text) as date )+ 3652.本机按照postresql默认用户名密码用户名：postgres密码：postgres数据库：postgres

2017-06-05 19:04:46 529

原创数据库范式笔记

--设计范式指的是可高效的方便扩充数据库的准则，但实际中也只是作为参考。实际工作中，设计原则：根据业务尽可能的减少多表查询。第一范式：（单表）数据表中的每一个字段都不可再分，即都使用标准数据类型，如以下不符合：create table member(编号 number,姓名 varchar2(200),联系方式 varchar2(200));对于联系方

2017-06-04 02:38:03 466

原创 python-从文件读取json数据写到数据库

#!/bin/env python#coding=utf-8import sysimport urllib2import jsonimport datetimeimport pymysql as MySQLdbimport timefrom itertools import islice reload(sys)sys.setdefaultencoding('utf-8')

2017-06-01 20:13:07 3709