- 博客(71)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Pandas知识点梳理（二）
接上一篇博客，接下来重点介绍一下Dataframe三、DataFrame使用DataFrame是一种二维的数据结构，非常接近于excel。它的竖行称之为 columns，横行跟前面的 Series 一样，称之为 index，也就是说可以通过 columns 和 index 来确定一个主句的位置。1、导入import pandas as pd2、建立DataFramedf1=pd.Dat...
2019-02-13 09:20:07
280
原创 Pandas知识点梳理（一）
一、pandas简介Pandas 是基于NumPy 的一个数据分析包，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。Pandas的数据结构（Series及DataFrame）Series：一维数组，与Numpy中的一维array类似。二者与Python基...
2019-02-12 14:35:28
376
原创 datetime知识点梳理
datetime模块中包含以下类：类名 功能说明date 日期对象,常用的属性有year, month, daytime 时间对象datetime 日期时间对象,常用的属性有hour, minute, second, microseconddatetime_CAPI 日期时间对象C语言接口timedelta 时间间隔，即两个时间点之间的长度tzinfo 时区信息对象一、date类...
2019-02-12 11:02:44
383
原创 Numpy知识点梳理（二）
接上一篇博客，接下来介绍一下数组的操作二、数组基本操作创建数组：1、直接创建np.arraya = np.array([[1,2,3],[4,5,6]])2、将现有的数据类型转换成数组 np.asarrayx = [1,2,3]a = np.asarray(x)切片、索引a = np.array([[1,2,3],[3,4,5],[4,5,6]])print (a[2,1])...
2019-01-31 20:48:04
1206
原创 Numpy知识点梳理（一）
NumPy是使用Python进行科学计算的基础包。它的核心内容：一个强大的N维数组对象，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。NumPy 最重要的一个特点是其 N 维数组对象 ndarray，它是一系列同类型数据的集合，以 0 下标为开始进行集合中元素的索引。ndarray 对象是用于存放同类型元素的多维数组。ndarray 中的每个元素在内存中都有相同存储...
2019-01-30 17:19:37
189
原创 python面向对象
Python是一门面向对象的语言，正因为如此，在Python中创建一个类和对象是很容易的。几个概念定义：类(Class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。方法：类中定义的函数。类变量：类变量在整个实例化的对象中是公用的。类变量定义在类中且在函数体之外。类变量通常不作为实例变量使用。数据成员：类变量或者实例变量用于处理...
2019-01-27 11:49:07
156
原创 python数据结构
今天来介绍两种最常用的python数据结构列表：1、基础方法list.append(x) 把一个元素添加到列表的结尾，相当于 a[len(a):] = [x]。list.extend(L) 通过添加指定列表的所有元素来扩充列表，相当于 a[len(a):] = L。list.insert(i, x) 在指定位置插入一个元素。第一个参数是准备插入到其前面的那个元素的索引，例如 a.inse...
2019-01-26 10:34:28
160
原创 python函数常见问题总结
常见的几个python函数问题总结1、传递参数对象类型首先要看参数的类型，有可变类型和不可变类型。比如列表就是可变类型，元组就是不可变类型。当参数为不可变类型时def ChangeInt( b ):b = 10print(b) #10b = 2ChangeInt(b)print( b ) #2当参数为可变类型时def ChangeInt( b ):b[0]=...
2019-01-25 17:36:02
561
原创 python迭代器
迭代器听起来十分神秘，其实他的实质就是一个循环遍历。迭代器是一个可以记住遍历的位置的对象。迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束。迭代器只能往前不会后退。（python的基本数据类型都可以统称为集合）常用的列表、元组、字典都可以创建迭代器，iter() 和 next()这两个方法与迭代器息息相关。假如我们想取出一个列表中的全部元素可以通过简单的循环做到：list...
2019-01-25 17:08:51
104
原创 Mysql主从复制代码
主从复制第一步创建用户和组groupadd mysql 创建mysql组useradd -r -g mysql -s /bin/false mysql 创建用户mysql并设定为系统用户放在mysql组中，shell脚本放在/bin/false路径下第二步解压安装文件mysql-5.7.19-linux-glibc2.12-x86_64.tar 为下载好的mysql压缩包tar xvf...
2018-12-16 09:55:02
1513
原创 mysql主从复制
mysql主从复制形式：一主一从、主主复制、一主多从、多主一从、联级复制原理：1、从库向主库发出请求2、主库启动dump thread线程，向从库推二进制文件（binary log)3、从库发出IO thread线程，接受binary log，并转变成relay log(中继日志）4、从库启动SQL thread线程，把relay log做恢复两个文件：binary log、rel...
2018-12-15 15:49:48
93
原创 MySQL以及INNODB一些核心概念
MySQL核心技术（Checkpoint技术、InsertBuffer技术、DoubleWrite技术）Checkpoint技术Checkpoint（检查点）解决的问题：1.缩短数据库的恢复时间；2.缓冲池不够用时，将脏页刷新到磁盘；3.重做日志不可用时，刷新脏页。MySQL 循环写入redo日志文件，日志文件中的数据是影响记录的编码。日志文件中的记录使用LSN来标识，LSN单增。O...
2018-12-15 10:57:15
226
原创 五张图描述MySQL体系结构
MySQL是目前用户量最多的数据库服务器，今天来研究一下Mysql的结构体系。如下图所示：可以看出总共分为三层：上述三层也可宏观的按下面这个图进行分类：在Mysql中最核心的是存储层，目前最流行的是INNODB，接下来看下INNODB的结构主要分为线程和缓冲池以及数据文件构成，三者的运行机制如图：...
2018-12-15 10:48:49
898
原创 mysql基本操作
登录数据库mysql -uroot -p -P3306(常用）mysql -h locallhost -uroot -pmysql -P 3306 test -e"status";-h 主机名或IP，-u 用户名，-p 密码 ，-P 端口号，test 默认登录数据库，-e 默认执行status查询语句status 查看当前使用库系统自带库：performance_schema 监控库...
2018-12-15 10:29:29
132
原创 CENTOS下二进制安装MySQL(多实例）
二进制安装（多实例）第一步创建用户和组groupadd mysql 创建mysql组useradd -r -g mysql -s /bin/false mysql 创建用户mysql并设定为系统用户放在mysql组中，shell脚本放在/bin/false路径下第二步解压安装文件mysql-5.7.19-linux-glibc2.12-x86_64.tar 为下载好的mysql压缩包t...
2018-12-15 10:17:07
190
原创 CENTOS下二进制安装Mysql(单实例）
二进制安装（单实例）第一步创建用户和组groupadd mysql 创建mysql组useradd -r -g mysql -s /bin/false mysql 创建用户mysql并设定为系统用户放在mysql组中，shell脚本放在/bin/false路径下第二步解压安装文件mysql-5.7.19-linux-glibc2.12-x86_64.tar 为下载好的mysql压缩包t...
2018-12-15 10:08:12
174
原创 undo与redo
很多人分不清ORACLE中的REDO与UNDO，今天通过一条DML语句来将两者进行一步一步的剖析。UNDO与REDO的一些特征如下：下面通过一个具体的DML语句来查看ORACLE中是如何来工作的1、发出一条SQL，将数据读到内存2、把回滚段的数据也读到内存3、把数据块拷贝到回滚段4、产生UNDO的REDO5、原始数据修改6、原始数据块产生REDO...
2018-12-04 20:26:14
219
原创 UNDO
UNDO产生数据备份，为了回滚用UNDO作用1、 数据的回滚2、一致性读3、表的闪回（事务，查询的闪回…)4、失败会话的恢复UNDO放在UNDO表空间，与其他表空间一样,UNDO表空间中有回滚段。show parameter undoUndo表空间的损坏如果有活动的事务，需要恢复Undo表空间，如果没有备份，将导致数据库损坏。如果没有活动事务，可以重建一个undo表空间。...
2018-12-04 20:07:36
283
原创 REDO
REDO——重做日志所有关系型数据库都有重做日志定义：所有数据的改变都会发生重做日志用途：1、恢复数据 2、日志挖掘 3、流REDO有两种一种是UNDO产生的REDO，一种是数据块本身产生的REDO。数据库的每个改动都会发生重做日志写入数据块缓冲前，先写入重做日志——内存写入数据文件之前，先写入日志文件——数据文件重做日志速度快，只要日志写入，那么数据就不会丢失了。发生CO...
2018-12-04 20:05:57
192
原创 oracle数据库存储结构
Oracle DB 在逻辑上将数据存储在表空间中，在物理上将数据存储在数据文件中。表空间：– 只能属于一个数据库– 包括一个或多个数据文件– 可进一步划分为逻辑存储单元数据文件：– 只能属于一个表空间库和一个数据库– 是存储方案对象数据的库资料档案创建表空间create tablespace user_dataloggingdatafile ‘u01\app\oracl...
2018-11-28 19:26:58
354
原创 seaborn画图
import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport matplotlib as mplimport seaborn as snssns.barplot(x = ‘Quarter’,y = ‘GDP’,hue=‘Industry_Type’,data=Industry_GDP,color=‘b...
2018-11-20 12:19:02
422
原创 python一般画图方法
import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport matplotlib as mpl显示中文mpl.rcParams[‘font.sans-serif’] = [‘SimHei’]mpl.rcParams[‘axes.unicode_minus’] = Falsea[‘b’]= pd....
2018-11-15 20:10:06
442
原创 python基础数据分析
单样本T检验——一个连续变量与一个数值的显著性关系sm.stats.DescrStatsW(a[b].ttest_mean(0.1)) 0.1为参数双样本T检验——一个分类变量(二分类)与一个连续变量的显著性关系方差齐性检查a1 = creditcard_exp[a[b]==0][c]a2 = creditcard_exp[a[b]==1][c]levene = stats.leve...
2018-11-11 10:03:11
391
原创 python数据处理
重复值print(any(a.duplicated()))a.drop_dupliactes()缺失值print(any(a.isnull()))a.dropna()a.b.fillna(a.b.mean()/median()/mode()[0])异常值P1=a[b].mean()+2a[b].std()/a[b].quantile(0.75)P2=a[b].mean()-2a[...
2018-11-11 10:02:27
195
原创 python函数
defreturndef avg(x):mean_x = sum(x) / len(x)return mean_xa=avg([23, 24, 13, 34, 56, 78])全局变量与局部变量全局变量是在整个py文件中声明，全局范围内都可以访问局部变量是在某个函数中声明的，只能在该函数中调用它total = 0def sum(para1,para2):total = par...
2018-11-06 19:34:01
156
原创 python程序结构
顺承结构逻辑行就是一个完整的代码物理行就是在解析器中输入的行数多个逻辑行过短时，可以转化为一个物理行x = 1;y = 2;z = 3print(x, y, z)x = 1;y = 2;z = 3print(x, y, z)分支结构score = int(input(‘please input your score:’))if score < 60:print(‘成...
2018-11-06 19:02:56
128
原创 python数据结构
创建列表a = [1, ‘2’, 3, 4]b = list([1, 2, 3])索引和切片a[0] # 访问第一个元素a[-1] # 访问最后一个元素a[:2] # 第一个到第二个元素，开始位置包含，第三个不包含a[0:] #全输出a[::] #全输出a[::3] # 第一位和第四位 步长为3a[::-1] # 倒序列表操作a = [1, 2, 3]b ...
2018-11-05 18:45:58
836
原创 python数据类型
Python中,单引号，双引号和三引号包围的都是字符串，如下所示：a = ‘spam egg’b = “spam egg”c = ‘’‘spam egg’’’print( ‘a 类型是 %s’ % type(a))print( ‘b 类型是 %s’ % type(b))print( ‘c 类型是 %s’ % type©)type为内置函数字符串的一些格式化输出换行符\n转义字...
2018-11-05 18:43:02
192
原创 触发器
触发器类似于过程和函数，都具有程序主体部分（声明段、可执行段、异常处理段），但是与手工调用过程或函数不同的是，所有触发器都是依靠事件执行的。DML触发器主要由DML语句进行出发，当用户执行了增加（INSERT）、修改（UPDATE）、DELETE（删除）操作的时候，就会触发操作。CREATE [OR REPLACE] TRIGGER 触发器名称[BEFORE | AFTER][INSERT |...
2018-11-02 19:57:50
170
原创 子程序
Oracle为了方便管理这些代码块，往往会将其封装到一个特定的结构体之中，这样的结构体在Oracle之中就被称为子程序在Oracle中子程序分为两种：过程、函数过程定义语法CREATE [OR REPLACE] PROCEDURE 过程名称([参数名称 [参数模式]NOCOPY 数据类型 [,参数名称 [参数模式] NOCOPY 数据类型 , ….]])[AUTHID [DEFINER | ...
2018-11-01 20:38:18
2154
原创 监听
监听的物理存放位置cd /u01/app/oracle/product/11.2.0/dbhome_1/network/admin里面的listener.ora是监听文件动态注册：PMON主动推送实例信息给监听器想要远程访问数据库必须要静态注册静态注册：把数据库信息写入到监听器的配置文件建立静态监听cd /u01/app/oracle/product/11.2.0/dbhome_1/...
2018-10-31 21:47:13
151
原创 后台进程
后台进程DBWR 数据库写进程数据文件写进程把高速缓冲区的数据块写到数据文件中DBWn写的条件:● 发生检查点● 脏缓存到达限制（1/4满）● 没有自由的缓存● 超时发生● RAC ping请求（8i）● 表空间离线● 表空间只读● 热备份表空间开始动作● 表被删除或者截断LGWR 日志写进程把redo log buffer 写入 redo log files ...
2018-10-31 18:13:36
273
原创 oracle逻辑框架
一 、oracle由实例和数据库组成1、实例分为内存和进程1.1 内存分为SGA和PGASGA(系统全局区) 共享Database buffer cache数据库高速缓冲区，把磁盘内容放到内存来读取从磁盘读叫物理读，从内存读叫逻辑读LRU算法——最近最少使用原则在sqlplus中输入show parameter cache 查看大小redo log buffer 日志缓冲区 ...
2018-10-30 19:24:25
179
原创 游标—cursor
游标使用SQL编写查询语句时，所有的查询结果会直接显示给用户，但是在很多情况下，用户需要对返回结果中的每一条数据分别进行操作，则这个时候普通的查询语句就无法使用了，那么就可以通过结果集（由查询语句返回完整的行集合叫做结果集）来接收，之后就可以利用游标来进行操作可以指定某一个结果集中的特定行位置，或者直接修改当前位置中的数据等，可以以编程的方式来访问数据库。游标分为以下两种类型：静态游标：结果...
2018-10-29 19:28:39
442
原创 索引表
定义索引表TYPE 类型名称 IS TABLE OF 数据类型 [NOT NULL]INDEX BY [PLS_INTEGER | BINARY_INTEGER |VARCHAR2(长度)] ;DECLARETYPE info_index IS TABLE OF VARCHAR(20)INDEX BY PLS_INTEGER ;v_info info_index ;BEGINv_...
2018-10-25 18:48:12
257
2
原创 记录类型
定义记录类型TYPE 类型名称 IS RECORD (成员名称数据类型 [[NOT NULL] [:= 默认值] 表达式] ,…成员名称数据类型 [[NOT NULL] [:= 默认值] 表达式]) ;用户自己操作记录类型数据DECLARETYPE dept_type IS RECORD (deptno dept.deptno%TYPE := 80, – 定义默认值dname dept...
2018-10-25 18:47:47
776
原创 内部程序块及异常
内部程序块DECLAREv_x NUMBER := 30 ; – 此为全局变量BEGINDECLAREv_x VARCHAR2(40) := ‘VDATA’ ; – 此为局部变量，只能在内部程序块中使用v_y NUMBER := 20 ;BEGINDBMS_OUTPUT.put_line('内部程序块输出：v_x = ’ || v_x) ;DBMS_OUTPUT.put_line...
2018-10-25 18:45:09
198
原创 循环及循环内部的限制
循环结构之中有三个重要的组成部分：第一个是循环的初始条件、第二个就是每次循环的判断条件、第三个是循环条件的修改，在PL/SQL程序之中，循环结构一共定义了两种：LOOP循环、WHILE… LOOP循环、FOR循环LOOP循环LOOP循环执行的语句块 ;EXIT WHEN 循环结束条件 ;循环结束条件修改 ;END LOOP;WHILE… LOOP循环WHILE (循环结束条件) ...
2018-10-25 18:42:48
249
原创 分支语句if、case...when
分支语句主要有两类种：IF语句、CASE语句。这两种语句都是需要进行条件的判断。IF语句IF 判断条件 THEN满足条件时执行语句 ;END IF ;IF…ELSE语句IF 判断条件 THEN满足条件时执行的语句 ;ELSE不满足条件时执行的语句 ;END IF ;IF…ELSEIF…ELSE语句IF 判断条件1 THEN满足条件1时执行的语句 ;ELSIF 判断条件2 ...
2018-10-24 19:22:43
569
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人