- 博客(71)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Pandas知识点梳理（二）
接上一篇博客，接下来重点介绍一下Dataframe 三、DataFrame使用 DataFrame是一种二维的数据结构，非常接近于excel。它的竖行称之为 columns，横行跟前面的 Series 一样，称之为 index，也就是说可以通过 columns 和 index 来确定一个主句的位置。 1、导入 import pandas as pd 2、建立DataFrame df1=pd.Dat...
2019-02-13 09:20:07
294
原创 Pandas知识点梳理（一）
一、pandas简介 Pandas 是基于NumPy 的一个数据分析包，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。 Pandas的数据结构（Series及DataFrame） Series：一维数组，与Numpy中的一维array类似。二者与Python基...
2019-02-12 14:35:28
387
原创 datetime知识点梳理
datetime模块中包含以下类： 类名 功能说明 date 日期对象,常用的属性有year, month, day time 时间对象 datetime 日期时间对象,常用的属性有hour, minute, second, microsecond datetime_CAPI 日期时间对象C语言接口 timedelta 时间间隔，即两个时间点之间的长度 tzinfo 时区信息对象 一、date类 ...
2019-02-12 11:02:44
391
原创 Numpy知识点梳理（二）
接上一篇博客，接下来介绍一下数组的操作 二、数组基本操作 创建数组： 1、直接创建np.array a = np.array([[1,2,3],[4,5,6]]) 2、将现有的数据类型转换成数组 np.asarray x = [1,2,3] a = np.asarray(x) 切片、索引 a = np.array([[1,2,3],[3,4,5],[4,5,6]]) print (a[2,1])...
2019-01-31 20:48:04
1243
原创 Numpy知识点梳理（一）
NumPy是使用Python进行科学计算的基础包。 它的核心内容：一个强大的N维数组对象，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。 NumPy 最重要的一个特点是其 N 维数组对象 ndarray，它是一系列同类型数据的集合，以 0 下标为开始进行集合中元素的索引。 ndarray 对象是用于存放同类型元素的多维数组。 ndarray 中的每个元素在内存中都有相同存储...
2019-01-30 17:19:37
194
原创 python面向对象
Python是一门面向对象的语言，正因为如此，在Python中创建一个类和对象是很容易的。 几个概念定义： 类(Class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。 方法：类中定义的函数。 类变量：类变量在整个实例化的对象中是公用的。类变量定义在类中且在函数体之外。类变量通常不作为实例变量使用。 数据成员：类变量或者实例变量用于处理...
2019-01-27 11:49:07
159
原创 python数据结构
今天来介绍两种最常用的python数据结构 列表： 1、基础方法 list.append(x) 把一个元素添加到列表的结尾，相当于 a[len(a):] = [x]。 list.extend(L) 通过添加指定列表的所有元素来扩充列表，相当于 a[len(a):] = L。 list.insert(i, x) 在指定位置插入一个元素。第一个参数是准备插入到其前面的那个元素的索引，例如 a.inse...
2019-01-26 10:34:28
167
原创 python函数常见问题总结
常见的几个python函数问题总结 1、传递参数对象类型 首先要看参数的类型，有可变类型和不可变类型。比如列表就是可变类型，元组就是不可变类型。 当参数为不可变类型时 def ChangeInt( b ): b = 10 print(b) #10 b = 2 ChangeInt(b) print( b ) #2 当参数为可变类型时 def ChangeInt( b ): b[0]=...
2019-01-25 17:36:02
571
原创 python迭代器
迭代器听起来十分神秘，其实他的实质就是一个循环遍历。 迭代器是一个可以记住遍历的位置的对象。 迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束。迭代器只能往前不会后退。（python的基本数据类型都可以统称为集合） 常用的列表、元组、字典都可以创建迭代器，iter() 和 next()这两个方法与迭代器息息相关。 假如我们想取出一个列表中的全部元素可以通过简单的循环做到： list...
2019-01-25 17:08:51
107
原创 Mysql主从复制代码
主从复制 第一步创建用户和组 groupadd mysql 创建mysql组 useradd -r -g mysql -s /bin/false mysql 创建用户mysql并设定为系统用户放在mysql组中，shell脚本放在/bin/false路径下 第二步解压安装文件 mysql-5.7.19-linux-glibc2.12-x86_64.tar 为下载好的mysql压缩包 tar xvf...
2018-12-16 09:55:02
1515
原创 mysql主从复制
mysql主从复制形式： 一主一从、主主复制、一主多从、多主一从、联级复制 原理： 1、从库向主库发出请求 2、主库启动dump thread线程，向从库推二进制文件（binary log) 3、从库发出IO thread线程，接受binary log，并转变成relay log(中继日志） 4、从库启动SQL thread线程，把relay log做恢复 两个文件：binary log、rel...
2018-12-15 15:49:48
96
原创 MySQL以及INNODB一些核心概念
MySQL核心技术（Checkpoint技术、InsertBuffer技术、DoubleWrite技术） Checkpoint技术 Checkpoint（检查点）解决的问题： 1.缩短数据库的恢复时间； 2.缓冲池不够用时，将脏页刷新到磁盘； 3.重做日志不可用时，刷新脏页。 MySQL 循环写入redo日志文件，日志文件中的数据是影响记录的编码。日志文件中的记录使用LSN来标识，LSN单增。 O...
2018-12-15 10:57:15
231
原创 五张图描述MySQL体系结构
MySQL是目前用户量最多的数据库服务器，今天来研究一下Mysql的结构体系。 如下图所示： 可以看出总共分为三层： 上述三层也可宏观的按下面这个图进行分类： 在Mysql中最核心的是存储层，目前最流行的是INNODB，接下来看下INNODB的结构 主要分为线程和缓冲池以及数据文件构成，三者的运行机制如图： ...
2018-12-15 10:48:49
905
原创 mysql基本操作
登录数据库 mysql -uroot -p -P3306(常用） mysql -h locallhost -uroot -pmysql -P 3306 test -e"status"; -h 主机名或IP，-u 用户名，-p 密码 ，-P 端口号，test 默认登录数据库，-e 默认执行status查询语句 status 查看当前使用库 系统自带库： performance_schema 监控库 ...
2018-12-15 10:29:29
135
原创 CENTOS下二进制安装MySQL(多实例）
二进制安装（多实例） 第一步创建用户和组 groupadd mysql 创建mysql组 useradd -r -g mysql -s /bin/false mysql 创建用户mysql并设定为系统用户放在mysql组中，shell脚本放在/bin/false路径下 第二步解压安装文件 mysql-5.7.19-linux-glibc2.12-x86_64.tar 为下载好的mysql压缩包 t...
2018-12-15 10:17:07
196
原创 CENTOS下二进制安装Mysql(单实例）
二进制安装（单实例） 第一步创建用户和组 groupadd mysql 创建mysql组 useradd -r -g mysql -s /bin/false mysql 创建用户mysql并设定为系统用户放在mysql组中，shell脚本放在/bin/false路径下 第二步解压安装文件 mysql-5.7.19-linux-glibc2.12-x86_64.tar 为下载好的mysql压缩包 t...
2018-12-15 10:08:12
176
原创 undo与redo
很多人分不清ORACLE中的REDO与UNDO，今天通过一条DML语句来将两者进行一步一步的剖析。 UNDO与REDO的一些特征如下： 下面通过一个具体的DML语句来查看ORACLE中是如何来工作的 1、发出一条SQL，将数据读到内存 2、把回滚段的数据也读到内存 3、把数据块拷贝到回滚段 4、产生UNDO的REDO 5、原始数据修改 6、原始数据块产生REDO ...
2018-12-04 20:26:14
226
原创 UNDO
UNDO产生数据备份，为了回滚用 UNDO作用 1、 数据的回滚 2、一致性读 3、表的闪回（事务，查询的闪回…) 4、失败会话的恢复 UNDO放在UNDO表空间，与其他表空间一样,UNDO表空间中有回滚段。 show parameter undo Undo表空间的损坏 如果有活动的事务，需要恢复Undo表空间，如果没有备份，将导致数据库损坏。 如果没有活动事务，可以重建一个undo表空间。 ...
2018-12-04 20:07:36
289
原创 REDO
REDO——重做日志 所有关系型数据库都有重做日志 定义：所有数据的改变都会发生重做日志 用途：1、恢复数据 2、日志挖掘 3、流 REDO有两种一种是UNDO产生的REDO，一种是数据块本身产生的REDO。 数据库的每个改动都会发生重做日志 写入数据块缓冲前，先写入重做日志——内存 写入数据文件之前，先写入日志文件——数据文件 重做日志速度快，只要日志写入，那么数据就不会丢失了。 发生CO...
2018-12-04 20:05:57
200
原创 oracle数据库存储结构
Oracle DB 在逻辑上将数据存储在表空间中，在物理上将数据存储在数据文件中。 表空间： – 只能属于一个数据库 – 包括一个或多个数据文件 – 可进一步划分为逻辑存储单元 数据文件： – 只能属于一个表空间库和一个数据库 – 是存储方案对象数据的库资料档案 创建表空间 create tablespace user_data logging datafile ‘u01\app\oracl...
2018-11-28 19:26:58
363
原创 seaborn画图
import pandas as pd import numpy as np import matplotlib.pyplot as plt import matplotlib as mpl import seaborn as sns sns.barplot(x = ‘Quarter’,y = ‘GDP’,hue=‘Industry_Type’,data=Industry_GDP,color=‘b...
2018-11-20 12:19:02
429
原创 python一般画图方法
import pandas as pd import numpy as np import matplotlib.pyplot as plt import matplotlib as mpl 显示中文 mpl.rcParams[‘font.sans-serif’] = [‘SimHei’] mpl.rcParams[‘axes.unicode_minus’] = False a[‘b’]= pd....
2018-11-15 20:10:06
447
原创 python基础数据分析
单样本T检验——一个连续变量与一个数值的显著性关系 sm.stats.DescrStatsW(a[b].ttest_mean(0.1)) 0.1为参数 双样本T检验——一个分类变量(二分类)与一个连续变量的显著性关系 方差齐性检查 a1 = creditcard_exp[a[b]==0][c] a2 = creditcard_exp[a[b]==1][c] levene = stats.leve...
2018-11-11 10:03:11
402
原创 python数据处理
重复值 print(any(a.duplicated())) a.drop_dupliactes() 缺失值 print(any(a.isnull())) a.dropna() a.b.fillna(a.b.mean()/median()/mode()[0]) 异常值 P1=a[b].mean()+2a[b].std()/a[b].quantile(0.75) P2=a[b].mean()-2a[...
2018-11-11 10:02:27
204
原创 python函数
def return def avg(x): mean_x = sum(x) / len(x) return mean_x a=avg([23, 24, 13, 34, 56, 78]) 全局变量与局部变量 全局变量是在整个py文件中声明，全局范围内都可以访问 局部变量是在某个函数中声明的，只能在该函数中调用它 total = 0 def sum(para1,para2): total = par...
2018-11-06 19:34:01
161
原创 python程序结构
顺承结构 逻辑行就是一个完整的代码 物理行就是在解析器中输入的行数 多个逻辑行过短时，可以转化为一个物理行 x = 1; y = 2; z = 3 print(x, y, z) x = 1;y = 2;z = 3 print(x, y, z) 分支结构 score = int(input(‘please input your score:’)) if score < 60: print(‘成...
2018-11-06 19:02:56
130
原创 python数据结构
创建列表 a = [1, ‘2’, 3, 4] b = list([1, 2, 3]) 索引和切片 a[0] # 访问第一个元素 a[-1] # 访问最后一个元素 a[:2] # 第一个到第二个元素，开始位置包含，第三个不包含 a[0:] #全输出 a[::] #全输出 a[::3] # 第一位和第四位 步长为3 a[::-1] # 倒序 列表操作 a = [1, 2, 3] b ...
2018-11-05 18:45:58
841
原创 python数据类型
Python中,单引号，双引号和三引号包围的都是字符串， 如下所示： a = ‘spam egg’ b = “spam egg” c = ‘’‘spam egg’’’ print( ‘a 类型是 %s’ % type(a)) print( ‘b 类型是 %s’ % type(b)) print( ‘c 类型是 %s’ % type©) type为内置函数 字符串的一些格式化输出 换行符\n 转义字...
2018-11-05 18:43:02
195
原创 触发器
触发器类似于过程和函数，都具有程序主体部分（声明段、可执行段、异常处理段），但是与手工调用过程或函数不同的是，所有触发器都是依靠事件执行的。 DML触发器主要由DML语句进行出发，当用户执行了增加（INSERT）、修改（UPDATE）、DELETE（删除）操作的时候，就会触发操作。 CREATE [OR REPLACE] TRIGGER 触发器名称[BEFORE | AFTER][INSERT |...
2018-11-02 19:57:50
173
原创 子程序
Oracle为了方便管理这些代码块，往往会将其封装到一个特定的结构体之中，这样的结构体在Oracle之中就被称为子程序 在Oracle中子程序分为两种：过程、函数 过程定义语法 CREATE [OR REPLACE] PROCEDURE 过程名称([参数名称 [参数模式]NOCOPY 数据类型 [,参数名称 [参数模式] NOCOPY 数据类型 , ….]])[AUTHID [DEFINER | ...
2018-11-01 20:38:18
2162
原创 监听
监听的物理存放位置 cd /u01/app/oracle/product/11.2.0/dbhome_1/network/admin 里面的listener.ora是监听文件 动态注册：PMON主动推送实例信息给监听器 想要远程访问数据库必须要静态注册 静态注册：把数据库信息写入到监听器的配置文件 建立静态监听 cd /u01/app/oracle/product/11.2.0/dbhome_1/...
2018-10-31 21:47:13
157
原创 后台进程
后台进程 DBWR 数据库写进程 数据文件写进程把高速缓冲区的数据块写到数据文件中 DBWn写的条件: ● 发生检查点 ● 脏缓存到达限制（1/4满） ● 没有自由的缓存 ● 超时发生 ● RAC ping请求（8i） ● 表空间离线 ● 表空间只读 ● 热备份表空间开始动作 ● 表被删除或者截断 LGWR 日志写进程 把redo log buffer 写入 redo log files ...
2018-10-31 18:13:36
282
原创 oracle逻辑框架
一 、oracle由实例和数据库组成 1、实例分为内存和进程 1.1 内存分为SGA和PGA SGA(系统全局区) 共享 Database buffer cache 数据库高速缓冲区，把磁盘内容放到内存来读取 从磁盘读叫物理读，从内存读叫逻辑读 LRU算法——最近最少使用原则 在sqlplus中输入 show parameter cache 查看大小 redo log buffer 日志缓冲区 ...
2018-10-30 19:24:25
184
原创 游标—cursor
游标 使用SQL编写查询语句时，所有的查询结果会直接显示给用户，但是在很多情况下，用户需要对返回结果中的每一条数据分别进行操作，则这个时候普通的查询语句就无法使用了，那么就可以通过结果集（由查询语句返回完整的行集合叫做结果集）来接收，之后就可以利用游标来进行操作可以指定某一个结果集中的特定行位置，或者直接修改当前位置中的数据等，可以以编程的方式来访问数据库。 游标分为以下两种类型： 静态游标：结果...
2018-10-29 19:28:39
457
原创 索引表
定义索引表 TYPE 类型名称 IS TABLE OF 数据类型 [NOT NULL] INDEX BY [PLS_INTEGER | BINARY_INTEGER | VARCHAR2(长度)] ; DECLARE TYPE info_index IS TABLE OF VARCHAR(20) INDEX BY PLS_INTEGER ; v_info info_index ; BEGIN v_...
2018-10-25 18:48:12
259
2
原创 记录类型
定义记录类型 TYPE 类型名称 IS RECORD (成员名称数据类型 [[NOT NULL] [:= 默认值] 表达式] ,…成员名称数据类型 [[NOT NULL] [:= 默认值] 表达式]) ; 用户自己操作记录类型数据 DECLARE TYPE dept_type IS RECORD ( deptno dept.deptno%TYPE := 80, – 定义默认值 dname dept...
2018-10-25 18:47:47
780
原创 内部程序块及异常
内部程序块 DECLARE v_x NUMBER := 30 ; – 此为全局变量 BEGIN DECLARE v_x VARCHAR2(40) := ‘VDATA’ ; – 此为局部变量，只能在内部程序块中使用 v_y NUMBER := 20 ; BEGIN DBMS_OUTPUT.put_line('内部程序块输出：v_x = ’ || v_x) ; DBMS_OUTPUT.put_line...
2018-10-25 18:45:09
204
原创 循环及循环内部的限制
循环结构之中有三个重要的组成部分： 第一个是循环的初始条件、第二个就是每次循环的判断条件、第三个是循环条件的修改，在PL/SQL程序之中，循环结构一共定义了两种：LOOP循环、WHILE… LOOP循环、FOR循环 LOOP循环 LOOP 循环执行的语句块 ; EXIT WHEN 循环结束条件 ; 循环结束条件修改 ; END LOOP; WHILE… LOOP循环 WHILE (循环结束条件) ...
2018-10-25 18:42:48
255
原创 分支语句if、case...when
分支语句主要有两类种：IF语句、CASE语句。这两种语句都是需要进行条件的判断。 IF语句 IF 判断条件 THEN 满足条件时执行语句 ; END IF ; IF…ELSE语句 IF 判断条件 THEN 满足条件时执行的语句 ; ELSE不满足条件时执行的语句 ; END IF ; IF…ELSEIF…ELSE语句 IF 判断条件1 THEN 满足条件1时执行的语句 ; ELSIF 判断条件2 ...
2018-10-24 19:22:43
599
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人