- 博客(34)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 java开发之移动应用
1、配置Android开发环境2、开发Android app应用配置Android开发环境下载安装Android studio开发工具（google翻墙下载）配置sdk开发包：菜单栏tools-sdkmanager配置模拟器:菜单栏tools-项目管理工具:gradle scripts(自带一些包)...
2020-02-16 15:47:20
1059
原创 Java开发之Web应用流程
1、配置web环境2、开发web应用配置web环境：下载eclipse企业版-下载Tomcat-在eclipse中配置Tomcat。1、百度-eclipse-eclipse ide for enterprise java developers.下载2、百度-tomcat-下载3、配置：eclipse-preference-server-runtime environment...
2020-02-16 15:26:47
168
原创 Java核心技术应用
1、了解java桌面应用2、了解java web应用3、了解java移动开发应用桌面应用-AWT演示（库）-Swing库java桌面应用有两套API AWT和swingawt（抽象窗口工具类）发布较早，只能在windows平台下运行swing在java1.2后发布，可以实现跨平台（以j开头）。实例：java实现一个计算器...
2020-02-16 15:06:22
1255
原创 Java基础语法
基础语法内存和变量：程序=输入+处理+输出变量是给保存在内存中的数据起个名字，方便后续操作变量的三要素：类型、名称和取值变量分为：局部变量、实例变量和类变量//eclipse ide-新建工程-建包-建Demo01.javapackage com.csdn;public class Demo01{//类名首字母大写,且与文件名一致 static voi...
2020-02-14 03:26:09
203
原创 Java语言简介
1、了解Java的发展历史1.1了解Java语言1.1.1Java的起源1.1.2Java建立在C和C++基础之上1.1.3Java语言的优点和缺点1.2了解Java语言的应用领域Web应用(重点) 桌面应用 Java移动开发（Android）（重点）1.3掌握Java语言的发展过程1991，sun公司成立Green项目1.4和Java相关的几件事情SUN...
2020-02-13 17:14:49
129
原创 总结：数据清洗步骤
数据获取，使用read_csv或者read_excel 数据探索，使用shape,describe或者info函数 行列操作 ，使用loc或者iloc函数 数据整合，对不同数据源进行整理 数据类型转换，对不同字段数据类型进行转换 分组汇总，对数据进行各个维度的计算 处理重复值、缺失值和异常值以及数据离散化...
2020-02-10 00:12:44
36731
原创 23.数据预处理之数据离散化处理
数据离散化就是分箱 一般常用分箱方法是等频分箱或者等宽分箱 一般使用pd.cut或者pd.qcut函数pandas.cut(x,bins,right=True,labels)x:数据bins:离散化的数据，或者切分的区间labels:离散化后各个类别的标签right:是否包含区间右边的值#等宽分箱df['age_bin']=pd.cut(df['age_new'],5,lab...
2020-02-10 00:03:29
802
原创 22.数据预处理之异常值处理
指那些偏离正常范围的值，不是错误值 异常值出现频率较低，但又会对实际项目分析造成偏差 异常值一般用过箱线图法(分位差法)或者分布图(标注差法)来判断 异常值往往采取盖帽法或者数据离散化#正态分部法#对价格做异常值处理x_bar=df['Price'].mean()#均值x_std=df['Price'].std()#标准差#返回一个值false或Trueany(...
2020-02-09 22:47:48
37709
原创 21.数据预处理之缺失值处理
缺失值首先需要根据实际情况定义 可以采取直接删除法 有时候需要使用替换法或者插值法 常用的替换法有均值替换、前向、后向替换和常数替换df.age.fillna(df.age.mean())df.age.fillna(df.age.median())df.fillna(20)#实操df.apply(lambda x: sum(x.isnull())/len(x),axis=0)...
2020-02-09 22:40:36
546
原创 20.数据预处理之重复值处理
数据清洗一般是现从重复值和缺失值开始处理的 重复值一般采用删除法来处理 但有些重复值不能删除，例如订单明细数据或交易明细数据等#使用duplicated()方法判断数据是否重复df[df.duplicated()]np.sum(df.duplicated())df.drop_duplicates()df.drop_duplicates(subset=['appname','size...
2020-02-09 22:03:10
37664
原创 19.数据统计之透视图与交叉表
在数据分析中，数据透视表是常见的工具之一，需要根据行或列对数据进行各个维度数据的汇总，在pandas中，提供了相关函数解决此类问题。pivot_table(data,index,columns,values,aggfunc,fill_value,margins,margins_name=)Index:行分组键columns:列分组键values:分组的字段，只能为数值型变量ag...
2020-02-09 18:28:14
36405
原创 18.数据统计之分组对象与apply函数
函数apply即可用于分组对象，也可以作用于dataframe数据 Groupby.apply(func) 需要注意axis=0和axis=1的区别loan_info.apply(np.sum,axis=0)#相当于计算每列的均值loan_info['sum']=loan_info.apply(np.sum,axis=1)#相当于计算每行的总和loan_info[['dkje','ye...
2020-02-09 17:44:20
35959
原创 17.数据统计之聚合函数使用
对分组对象使用agg聚合函数 Groupby.agg(func) 针对不同的变量使用不同的统计方法grouped.agg([np.mean,np.max]).head(20)grouped.agg({'ye':np.mean,'dkje':np.max})loan_info[['dkje','ye','yqje']].agg([np.sum,np.mean])#按weekday字段...
2020-02-09 17:15:20
39575
原创 16.数据统计之数据分组方法
数据分组运算：分组计算根据某个或者某几个字段对数据集进行分组，然后运用特定的函数，得到结果。使用groupby方法进行分组计算，得到分组对象GroupBy 语法为df.groupby(by=) 分组对象GroupBy可以运用描述性统计方法，如count、mean、median、max和min等import pandas as pdimport numpy as ...
2020-02-09 16:54:12
5022
原创 15.数据转换之字符串数据处理
pandas中提供了字符串的函数，但只对字符型变量进行使用 通过str方法访问相关属性 可以使用字符串的相关方法进行数据处理函数名称 说明 contain() 返回表示各str是否含有指定模式的字符串 replace() 替换字符串 lower() 返回字符串的副本，其中所有字母都转换为小写 upper() 返回字符串的副本，其中所有字母都转换为...
2020-02-09 15:57:16
36095
原创 14.数据转换之高阶函数数据处理
在dataframe中使用apply方法，调用自定义函数对数据进行处理 函数apply，axis=0表示对行进行操作，axis=1表示对列进行操作 可以使用astype函数对数据进行转换 可以使用map函数进行数据转换f1=lambda x:str(x).strip() and str(x).replace(',','')farmer_loan['贷款余额']=farmer_loan[...
2020-02-09 15:24:31
35728
原创 13.数据转换之python日期格式处理
前言原因：在做数据清洗的时候，往往会遇到数据格式不一致的情况，因此需要数据转换。常见的数据转换：日期格式数据处理 字符串数据处理 高级函数数据处理日期格式数据处理Pandas使用to_datatime()方法将文本格式转换为日期格式 dataframe数据类型如果为datatime64,可以使用dt方法取出年月日等 对于时间差数据，可以使用timedelta函数将其转换为...
2020-02-09 13:14:05
19471
原创 用Dreamweaver CS6搭建本地web网页服务器
在用Dreamweaver CS6 制作网页时，我们常要自己搭建站点来查看和调试自己的网页，一方面初学者查看和调试方便，另外可以更方便快捷将制作的网页放到站点中，为后期真实的开发提供便利。工具/原料Dreamweaver CS6 Internet Information Services (IIS)管理器 浏览器1、在win10环境下打开控制面板下的“系统和安全”，紧接着打开“管理工...
2020-02-09 12:17:44
3441
7
原创 12.数据清洗之数据表处理之层次化索引
在一个轴上拥有两个或者两个以上的索引 使用loc语句进行访问 loc里面接受tuple，如loc[(a,b),:] 0 1 1 1 1 1 0 列名0 0 5 6 3 1 3 1 列名1 索引0 索引1 ...
2020-02-08 23:20:20
274
原创 11.数据清洗之数据表处理之数据整理
定义: 在数据清洗过程中，很多时候需要将不用的数据整合在一起，方便后续的分析，这个过程也叫数据合并合并方法： 常见的合并方法有堆叠和按主键进行合并，堆叠又分为横向堆叠（不常见）和纵向堆叠（常见），按主键合并类似于sql里面的关联操作。横向堆叠将两张表或多张表在X轴方向，即横向拼接在一起纵向堆叠将两张表或多张表在Y轴方向，即纵向拼接在一起注意使用c...
2020-02-08 22:56:43
752
原创 10.数据清洗之数据表处理之数据修改和查找
#在数据中，可以使用rename修改列名称或者行索引名称#使用loc方法修改数据#使用loc方法查找符合条件的数据#条件与条件之间用&或者|连接，分别代表‘且’和‘或’#使用between和isin选择满足条件的行#所有数据按照str格式读取df1=pd.read_csv('1.csv',encoding='utf-8',dtype=str)df1.head(10...
2020-02-08 22:23:30
420
原创 9.数据清洗之数据表处理之数据增加和删除
在数据中，直接添加列使用df.insert方法在数据中添加一列掌握drop(labels,axis,inplace=True)的用法labels表示删除的是数据，axis表示坐标轴，inplace=True表示是否对源数据生效axis=0按行操作，axis=1按列操作使用del函数直接删除其中一列del basic['数据']basic.drop(labels=['敬老...
2020-02-08 21:46:24
520
原创 7、数据清洗之数据库文件读写
前言：#使用sqlalchemy建立连接#需要知道数据库的相关参数，如数据库的IP地址、用户名和密码等#通过pandas中read_sql函数读入,读取完以后就dataframe格式#通过dataframe的to_sql方法保存#sql='select' * from meal_order_info' #选择数据库中表名称#df1=pd.read_sql(sql,c...
2020-02-08 20:43:09
333
原创 8、数据清洗之数据表处理之数据筛选方法
在数据中，选择需要的行或者列方法方法一：基础索引方式，就是直接引用方法二：ioc[行索引名称或者条件，列索引名称或者标签]iloc[行索引位置，列索引位置]#注意，区分ioc和ilocimport pandas as pdimport numpy as npimport osos.chdir(r'your path')df=pd.read_csv('your...
2020-02-08 16:36:14
846
原创 6.数据清洗之excel文件读写
说明：*使用read_excel读取，读取后的结果为dataframe格式*读取excel文件和csv文件参数大致一致，但要考虑工作表sheet页*参数较多，可以自行控制，但很多时候用默认参数*读取excel时，注意编码，常用编码为utf-8、gbk、gbk2312和gb18030等*使用to_excel方法快速保存为xlsx格式————————————————#有...
2020-02-08 16:19:40
18680
原创 5.数据清洗之CSV文件读写
说明：*csv与txt文件读写方式是一样的*pandas内置10多种数据源读取函数，常见的就是csv和excel*使用read_csv方法读取，文件名称尽量是英文*参数较多，可以自行控制，但很多时候用默认参数*读取csv时，注意编码，常用编码为utf-8、gbk、gbk2312和gb18030等*使用to_csv方法快速保存df=pd.read_csv('meal_o...
2020-02-08 16:03:02
1224
原创 4.pandas常用数据结构dataframe和方法
通过pandas.Dataframe来创建Dataframe数据结构pandas.Dataframe（data,index,dtype,columns）上述参数中，data可以为列表、array（数组）或dict（字典）上述参数中，index表示行索引，columns代表列名或者列标签一种表结构。series和dataframe常用方法如下： 方法名称 说明 val...
2020-02-07 23:41:28
36137
原创 3.pandas常用数据结构series和方法
1、通过pandas.Series来创建Series（序列）数据结构。pandas.Series(data,index,dtype,name).上述参数中，data可以为列表，array或者dict.上述参数中，index表示索引，必须与数据同长度，name代表对象名称series1=pd.Series([2.8,3.01,8.99,8.59,5.18])series2=pd....
2020-02-07 22:52:33
36019
原创 2.Numpy常用数据清洗函数
1.排序函数2.数据的搜索s=np.array([1,6,7,3,2,4,77,455,6,78])#sort函数：从小到大进行排序，numpy函数方法s=np.sort(s) 结果：array([ 1, 2, 3, 4, 6, 6, 7, 77, 78, 455])#pyhon内置函数降序，列表数据结构sorted(s,reverse=Tr...
2020-02-07 22:04:43
400
原创 1.Numpy常用数据结构
1.python中 numpy 和pandas主流的工具2.Numpy中的向量化运算使得数据处理变得更高效3.Pandas提供了大量数据清洗的高效方法4.在Python中，尽可能使用numpy和pandas数据结构：1.Numpy中常用的数据结构是ndarray格式（避免下for循环 效率低）2.使用array函数创建，语法格式为array（列表或元组）3.可以使用其他...
2020-02-07 17:22:29
37017
原创 numpy数据结构
import numpy as np arr1=np.array([-9,7,4,3])#将列表转化为数组type(arr1)#数组类型numpy.ndarrayarr1array([-9, 7, 4, 3])arr1=np.array([-9, 7, 4, 3],dtype="str")arr1array(['-9', '7', '4', '3']...
2020-02-07 17:19:28
35911
原创 最详细的IIS发布站点步骤
因项目需要，正在学习如何部署IIS服务，发布网站，将遇到的问题记录下。普及几个知识：1、我自己有域名 自己的电脑当服务器 用Dreamweaver怎么把网页上传上去？第一步：安装iis第二步：本地调试好网站（说简单点简单就是将iis指向你的网站所在的文件夹，将默认文档设置成你的主页文件，如index.html），这一步比较繁琐，如果你是动态网站，还涉及到诸如权限之类的问题，可以再网上...
2020-02-02 20:52:53
22212
7
原创 IIS发布静态网站总结
因项目需要，正在学习如何部署IIS服务，发布网站，将遇到的问题记录下。一、IIS部署1.打开控制面板，选择 ‘程序’2.程序和功能下，选择打开或关闭Windows功能3...
2020-02-02 19:26:44
1523
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人