Tracey_Chen-CSDN博客

原创 pandas基础03

索引器1、索引器表的列索引：通过列名从表中取出一列，需要指定列名：import pandasdata=pandas.read_csv('/Users/liubingfeng/Desktop/test.csv')print(data.head())print(data['long'].head()) long lat start_time_format end_time_format0 116.864643 38.310846 2020/11/23 6:35

2020-12-22 23:58:38 112 1

原创 pandas基础02

一、文件读取与写入1、文件读取pandas的文件读数功能较多，可以读多种格式的数据：一般情况下会读取csv,excel,txt文件。读取本地文件：file=pandas.read_csv('/Users/l/Desktop/sample.csv')print(file.head())读取txt文件：df=pd.read_table('/Users/l/Desktop/result3.txt',sep='\t',names=['ap_categories','ssid','bssid

2020-12-22 23:23:15 122

原创 pandas基础01

1、列表推导式与条件赋值L=[]def my_func(x): return 2*xfor i in range(10): L.append(my_func(i))L[0, 2, 4, 6, 8, 10, 12, 14, 16, 18][my_func(i) for i in range(10)]#列表推导式[0, 2, 4, 6, 8, 10, 12, 14, 16, 18]列表推导式多层嵌套[m+n for m in [1,2,3] for n in [4,5

2020-12-16 19:34:29 132

原创 task04 线性代数

线性代数Numpy 定义了 matrix 类型，使用该 matrix 类型创建的是矩阵对象，它们的加减乘除运算缺省采用矩阵方式计算，因此用法和Matlab十分类似。但是由于 NumPy 中同时存在 ndarray 和 matrix 对象，因此用户很容易将两者弄混。这有违 Python 的“显式优于隐式”的原则，因此官方并不推荐在程序中使用 matrix。在这里，我们用 ndarray 来介绍。矩阵和向量积矩阵的定义、矩阵的加法、矩阵的数乘、矩阵的转置与二维数组完全一致，不再进行说明，但矩阵的乘法有不同

2020-11-28 20:02:41 70

原创 numpy(下)输入输出

numpy 二进制文件save()、savez()和load()函数以 numpy 专用的二进制类型（npy、npz）保存和读取数据，这三个函数会自动处理ndim、dtype、shape等信息:np.random.seed(1)x=np.random.uniform(0,1,[3,5])outfile=r'./data_test.npy'np.save(outfile,x)y=np.load(outfile)print(y)[[4.17022005e-01 7.20324493e-01 1

2020-11-23 20:17:23 222

原创 TASK05 排序搜索计数及集合操作

一、排序参数axis=0，按列排列，axis=1，按行排列。np.random.seed(20201031)a=np.random.rand(3,3)*10a=np.around(a,2)print(a)b=np.sort(a,axis=1)print(b)c=np.sort(a,axis=0)print(c)d=np.sort(a)print(d)[[6.87 1.3 5.09] [3.39 1.71 7.47] [9.22 5.48 4.55]][[1.3 5.09

2020-10-31 21:28:37 68

原创 Task 04数组的计算

一、向量化和广播两个数组的维度不同，但是它们的后缘维度相等。b=np.arange(10)print(b,b.shape)c=np.ones((2,10))print(c,c.shape)[2 3 4 5 6 7 8 9][0 1 2 3 4 5 6 7 8 9] (10,)[[1. 1. 1. 1. 1. 1. 1. 1. 1. 1.] [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]] (2, 10)[[ 1. 2. 3. 4. 5. 6. 7. 8.

2020-10-28 22:54:08 89

原创 TASK03 改变数组形状

更改形状在对数组进行操作时，为了满足格式和计算的要求通常会改变其形状。numpy.ndarray.shape表示数组的维度，返回一个元组，这个元组的长度就是维度的数目，即 ndim 属性(秩)。a=np.array([1,2,3,4,5,6,7,8])print(a)a.shape=(2,4)print(a)[1 2 3 4 5 6 7 8][[1 2 3 4] [5 6 7 8]]x=np.array([[1,2,3,4,5,6], [7,8,9,10,11

2020-10-25 23:04:53 118

原创 TASK02 索引、切片与迭代

索引：1.整数索引获取数组的单个元素，多维数组的子数组。x=np.array([1,2,3,4,5,6])print(x[3])4x=np.array([[1,2,3,4,5,6], [7,8,9,10,11,12], [13,14,15,16,17,18], [19,20,21,22,23,24], [25,26,27,28,29,30]])print(x)print(x[2],x[2][1]

2020-10-23 23:03:50 98

原创 TASK01 numpy基础（数据类型及数组创建）

1、常量import numpy as npprint(np.nan == np.nan) # Falseprint(np.nan != np.nan) 两个numpy.nan是不相等的ar=np.array([1,2,3,np.nan])print(ar)print(np.isnan(ar))[ 1. 2. 3. nan][False False False True]2、数据类型常见数据类型Python 原生的数据类型相对较少， bool、int、float、str

2020-10-20 23:06:52 76

原创 task04金融风控建模调参

1、对数据进行特征选择：features=[f for f in data.columns if f not in ['id','issueDate','isDefault']]# numercial_fea=list(data.select_dtypes(exclude=['object']).columns)# cotegory_fea=list(filter(lambda x:x not in numercial_fea,list(data.columns)))## print(num

2020-09-24 20:30:15 224

原创 task03 特征工程

目的：对于特征进行进一步分析，并对于数据进行处理。1、查看分类变量中包含的类型数cate_feature=['grade','subGrade','employmentTitle','homeOwnership', 'verificationStatus','purpose','regionCode','postCode', 'applicationType','initialListStatus','title','policyCode']

2020-09-21 22:43:09 90

原创 task2 金融风控数据处理

目的：1、了解整个数据集的基本情况（缺失值，异常值），对数据集进行验证是否可以进行接下来的机器学习或者深度学习建模.2、了解变量间的相互关系、变量与预测值之间的存在关系。数据类型：特征变量：变量名解释：id 为贷款清单分配的唯一信用证标识loanAmnt 贷款金额term 贷款期限（year）interestRate 贷款利率installment 分期付款金额grade 贷款等级subGrade 贷款等级之子级employmentTitle 就业职称employmen

2020-09-18 22:22:23 186

原创 Datawhale金融风控 Task1 赛题理解

**赛题目的：**了解金融风控中的一些业务背景，解决实际问题，帮助竞赛新人赛题背景：以金融风控中的个人信贷为背景**目标结果：**根据贷款申请人的数据信息，预测其是否有违约的可能，以此判断是否通过此项贷款1、注册阿里云，报名比赛，下载数据2、比赛数据情况分析：总数据量超过120w，包含47列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取80万条作为训练集，20万条作为测试集A，20万条作为测试集B，同时会对employmentTitle、purpose、postCode和ti

2020-09-15 22:59:39 343

原创 python基础学习task09

文件与文件系统打开文件open(file, mode=‘r’, buffering=None, encoding=None, errors=None, newline=None, closefd=True) Open file and return a stream. Raise OSError upon failure.file: 必需，文件路径（相对或者绝对路径）。mode: 可选，文件打开模式buffering: 设置缓冲encoding: 一般使用utf8errors: 报错级别n.

2020-08-08 20:06:18 234

原创 python 基础练习task08

模块在前面我们脚本是用 Python 解释器来编程，如果你从 Python 解释器退出再进入，那么你定义的所有的方法和变量就都消失了。为此 Python 提供了一个办法，把这些定义存放在文件中，为一些脚本或者交互式的解释器实例使用，这个文件被称为模块（Module）。模块是一个包含所有你定义的函数和变量的文件，其后缀名是.py。模块可以被别的程序引入，以使用该模块中的函数等功能。这也是使用 Python 标准库的方法。什么是模块容器 -> 数据的封装函数 -> 语句的封装类 -&

2020-08-07 22:10:34 157

原创 python基础学习task07（类，对象、魔法方法）

类与对象对象 = 属性 + 方法对象是类的实例。换句话说，类主要定义对象的结构，然后我们以类为模板创建对象。类不但包含方法定义，而且还包含所有实例共享的数据。封装：信息隐蔽技术我们可以使用关键字 class 定义 Python 类，关键字后面紧跟类的名称、分号和类的实现。举例：class Turtle: color='green' weight=10 legs=4 shell=True mouth='大嘴' def climb(self):

2020-08-05 21:17:01 123

原创 python基础task06

python中的lambda函数用法例1:传入多个参数的lambda函数def sum(x,y): return x+y用lambda来实现：p = lambda x,y:x+yprint(p(4,6))例2：传入一个参数的lambda函数a=lambda x:x*xprint(a(3)) # 注意：这里直接a(3)可以执行，但没有输出的，前面的print不能少例3：多个参数的lambda形式：a = lambda x,y,z:(x+8)*y-zprint(a

2020-08-03 00:01:52 56

原创 python编程基础02

一、字典可变类型与不可变类型序列是以连续的整数为索引，与此不同的是，字典以"关键字"为索引，关键字可以是任意不可变类型，通常用字符串或数值。字典是 Python 唯一的一个映射类型，字符串、元组、列表属于序列类型。那么如何快速判断一个数据类型 X 是不是可变类型的呢？两种方法：麻烦方法：用 id(X) 函数，对 X 进行某种操作，比较操作前后的 id，如果不一样，则 X 不可变，如果一样，则 X 可变。便捷方法：用 hash(X)，只要不报错，证明 X 可被哈希，即不可变，反过来不可被哈希，即

2020-07-31 22:53:33 831

原创 python基础学习第四天(列表、元组和字符串)

列表、元组和字符串一、列表简单数据类型：int 整型float 浮点型bool 布尔型容器数据类型：list 列表tuple 元组dict 字典set 集合str 字符串1、列表定义：[元素1，元素2，，，，元素n]2、列表的创建a=[1,2,3,4,5,6,7]print(type(a))b=['t','r','a','c','e','y']print(b,type(b))结果为：<class 'list'>['t', 'r', 'a', 'c',

2020-07-28 22:46:42 321

原创 python基础学习第三天(

python异常处理python在运行代码的过程中常常会出现报错，对于报错时出现的提示，需要了解其大致意思，以便于快速修改调试代码。今天学习常见的python异常，以后每遇到一个异常都记下来，久而久之便能熟悉。异常：就是运行期检测到的错误。计算机语言针对可能出现的错误定义了异常类型，某种错误引发对应的异常时，异常处理程序将被启动，从而恢复程序的正常运行。python标准异常总结：1、BaseException：所有异常的基类2、Exception：常规异常的基类3、StandardErro

2020-07-24 22:38:11 73

原创 python编程基础第二天

位运算和条件循环结构昨天忘了学位运算，今天补上。位运算有些复杂，但是搞懂计算原理也比较容易。所以尽量去算就好了，难点不能放过！！！1、位运算原码、反码、补码原码是对数字进行二进制转换，1=1，10=2，11=3，100=4，101=5，110=6，111=7，1000=8.符号位，最高位为符号位，0...

2020-07-23 22:56:07 115

原创 python编程基础第一天

python编程基础学习笔记python基础说了好久要系统学一遍，现在终于有时间了，希望每一个基础知识点都能扎实掌握。1、变量、运算符、数据类型定义变量，输出变量，运算：a=3b=4print(a)print(b)print(a+b)print(a-b)print(a*b)print(a/b)print(a//b)print(a%b)print(a**b)a=3b=4print(a)print(b)print(a+b)print(a-b)print(a*b)

2020-07-23 10:48:38 293

Tracey的博客