Python
bingbangx
唯一不变的就是变
展开
-
python——datetime库用法
datetime模块用于是date和time模块的合集,datetime有两个常量,MAXYEAR和MINYEAR,分别是9999和1。datetime.datetime:表示日期时间的类—— 日期时间对象(最常用)datetime.timedelta:表示时间间隔,即两个时间点的间隔。datetime.date:表示日期的类——日期对象。datetime.time:表示时间的类——时间对象。datetime.tzinfo:时区的相关信息。datetime模块定义了5个类。转载 2023-04-11 16:52:52 · 100 阅读 · 0 评论 -
ValueError: Cannot convert non-finite values (NA or inf) to integer
从第二步的打印结果来看,初始数据的格式为float64。从结果来看,木得问题啦~~~~~~~~~~~~~在数据处理时发现了问题,有问题地数据显示如下。字符串类型的数据,被错误地标记为浮点型;并将这部分数据从列表中截取出来~因此,转换时正确的书写格式为。1 先将浮点型转为整数型。2 将整型转为字符串型。原创 2023-02-07 11:43:48 · 2825 阅读 · 0 评论 -
TypeError: argument of type ‘NoneType‘ is not iterable
Python程序运行时,报TypeError: argument of type 'NoneType' is not iterable这个错误!原创 2023-01-30 10:12:03 · 6055 阅读 · 0 评论 -
pandas 将一行拆分为多行,将多行合并为一行
在这个数据需求里面最重要的两点,一个是数据的拆分;一个是数据的合并。原创 2022-12-02 15:46:37 · 2245 阅读 · 0 评论 -
Pandas 系列之Series类型数据
DataFrame 是将数个 Series 按列合并而成的二维数据结构,每一列单独取出来是一个 Series;Series的索引具有唯一性,索引既可以是数字,也可以是字符,系统会自动将它们转成一个。默认的索引都是从0开始的数值,可以在创建的时候指定每个索引。结构,它仅由index(索引)和value(值)构成的。值value:苹果、葡萄等;字典的键为索引,值为Series结构对应的值。下面的方法是通过元组生成Series数据。索引Index:0,1,2,3……型(pandas中的字符类型)。转载 2022-11-18 16:08:22 · 740 阅读 · 0 评论 -
【python】将一个excel表格按照类目拆分成多个表格
至此,我们已经实现了最初的要求,将每天的数据都分别存到一个excel表中。目的:将一个表格拆分成多个表格,并以分类作为excel的表名保存。1、首先将本地表格读取进Python中,并将数据进行处理。2、对全部数据进行循环遍历,保存到规定的路径下。2.对数据进行循环遍历,保存结果。1.1导进需要用到的模块。1.2 对数据进行处理。原创 2022-08-21 22:22:37 · 1293 阅读 · 0 评论 -
【月度总结】数据库&Python&Excel_202207
1、maxifs()函数maxifs函数返回一组给定条件或标准指定的单元格中的最大值。maxifs(数据区域,条件区域,条件)技巧选取某个分类中占比最大的值作为这个分类的唯一值。比如选取sku编码,单价占比最大的,作为sku编码的唯一价格。1、使用EXcel来解决首先数据清洗,计算sku编码占比。只选择某个店铺某个月份的数据,并提取sku编码,单价,将所有数据去重,使用countifs()函数计数,再计算占比,字段呈现sku编码,单价,个数,个数占比。其次找出sku占比的最大值。......原创 2022-07-31 23:33:12 · 346 阅读 · 0 评论 -
ERROR:bokeh.core.validation.check:E-1001 (BAD_COLUMN_NAME)
由DataFrame格式转换成ColumnDataSource数据时,不能识别出列名,所以报错了。究其原因为何不能识别出列名,应该是含有index索引列,所以识别的时候出现了问题。查看发现之前的代码是含有index列,然后直接将源数据代入绘图;将index列变为普通列,就可以了。...原创 2022-07-27 16:16:35 · 330 阅读 · 0 评论 -
Python 中的any _in _for 运算顺序
any()函数是用于判断给定的可迭代参数iterable是否全部为False,如果是则返回false;反之,有一个为True,则返回True。(其中元素除了0、空、FALSE外都算true)Python中的any()有什么用法呢?今天我们就要研究研究它到底有什么用法,能用在什么地方,将它研究个明明白白的!2、在DataFrame中,根据其中一列中,么个单元格的内容中是否含有1列表中的某些关键字来定义返回值。使用带For循环的Pythonany()函数。...原创 2022-07-19 23:28:50 · 791 阅读 · 0 评论 -
bokeh参数设置详解
p.xaxis.axis_label_text_font_style="FangSong"#设置字体。p.min_border_bottom=10#外边界背景-----下宽度。p.min_border_left=80#外边界背景-----左边宽度。p.min_border_right=80#外边界背景-----右边宽度。p.min_border_top=10#外边界背景-----上宽度。p.outline_line_alpha=0.3#边框透明度。.........原创 2022-07-19 16:26:20 · 1063 阅读 · 1 评论 -
箱型图构成及画图——详解
第三四分位数又称“上四分位数”,等于该样本中所有数值由小到大排列后第75%的数字。4.内限→T形的盒须就是内限,最大值区间Q3+1.5IQR,最小值区间Q1-1.5IQR(IQR=Q3-Q1)2.上四分位数Q1→是将序列平均分成四份,计算(n+1)/4与(n-1)/4两种,一般使用(n+1)/4。5.外限→T形的盒须就是内限,最大值区间Q3+3IQR,最小值区间Q1-3IQR(IQR=Q3-Q1)-包含一组数据的最大值、最小值、中位数、上四分位数(Q3)、下四分位数(Q1)、异常值。...原创 2022-07-17 11:27:38 · 8413 阅读 · 0 评论 -
【Python基础】pandas中apply与map的异同
前言pandas作为数据处理与分析的利器,它的江湖地位非同小可。在我们数据处理与分析过程中,有时候需要对某一列的每一个值都进行处理,这时候推荐大家使用apply或者map。但是,二者又有啥区别呢?一起来通过几个小例子学习一下吧。APPLY一、直接使用内置函数或者numpy函数二、使用lambda匿名函数三、使用def自定义函数需要注意的是,apply不仅可以用于Series,还可用于DataFrame,具体可以根据自己的业务需要,及数据处理规范来使用即可。MAP一、直接使用内置函数或者nu转载 2022-07-07 17:17:37 · 906 阅读 · 1 评论 -
Python数据处理 Pandas的rank()函数排序
“ 用过sql中的row_number函数,习惯了他的方便,那么在pandas处理数据时,有没有类似的函数用来排序呢,当然也有,比如rank函数。”默认情况下:axis=0表示按索引排序;ascending=True排序按升序排列;pct=False表示不输出百分比;na_option='keep'表示空值不做处理。 下面将通过数据来学习下rank函数下各参数作用:01 method:你想怎么排 更改参数method的可选项,其他默认参数不更改:first:表示按数值大小排列,如果数值相同时,转载 2022-06-29 22:58:04 · 3109 阅读 · 0 评论 -
Python数据处理 linespace()创建等差序列
linspace生成有序列表,关键在于数据范围与数据个数上面。 linspace用于创建一个等差数列的一维数组,常用到的一般是三个参数:代码如下:示例1: 从结果可看出,将0-10闭区间划分为5个数据点,4个数据区间示例2: 从结果可以看出,将0-10区间划分为6个数据点,5个区间。不包含右端点,取不到10。...原创 2022-06-28 16:55:02 · 4392 阅读 · 0 评论 -
pandas数据处理 set_index和reset_index的用法
1.set_indexDataFrame可以通过set_index方法,可以设置单索引和复合索引。 DataFrame.set_index(keys, drop=True, append=False, inplace=False, verify_integrity=False) append添加新索引,drop为False,inplace为True时,索引将会还原为列2.reset_indexreset_index可以还原索引,重新变为默认的整型索引 DataFrame.reset_inde转载 2022-06-27 15:25:29 · 994 阅读 · 0 评论 -
python数据处理 DataFrame排序与排名
pandas的DataFrame极大地简化了数据分析过程中一些烦琐操作,它是一个表格型的数据结构, 每一列代表一个变量,而每一行则是一条记录。简答地说,DataFrame是共享同一个index 的Series的集合。DataFrame数据的排序分为三类: 对于索引排序,涉及到对行的索引和对列的索引进行升序或者降序排序函数df.sort_index(axis= , ascending= , inplace=),需要特别注意这三个参数。axis表示对行的索引排序,还是对列的索引进行排序;ascending表转载 2022-06-26 23:07:12 · 8853 阅读 · 0 评论 -
Python 数据清洗:pd.cut()分箱统计
对原始数据的商品金额进行区间划分,统计各个区间的订单数分箱使用pd.cut()可视化统计,使用pd.pivot_table() 至此,我们已经完成了数据的分箱统计需求~~~~~~原创 2022-06-23 15:35:15 · 11800 阅读 · 0 评论 -
Python数据处理 同一用户历史消费金额按照时间顺序,横向排列
已经获取到用户每次的下单商品金额,使用Python处理数据得到用户的历史购买记录出现在同一行,列名显示为(旺旺号、商品金额第1次、商品金额第二次、……)。原创 2022-06-22 16:13:48 · 736 阅读 · 0 评论 -
python获取一日/周/月/年前时间
python获取一日/周/月/年前时间转载 2022-06-06 14:02:47 · 2850 阅读 · 0 评论 -
Python 对多列进行排序sort_values()
python 实现在python中实现按照多列进行排序,用到的方法是sort_values(),只要在sort_values后面的括号中以列表的形式指明要排列的多列列名及每列的排序方式即可。df.sort_values(by =['col1','col2'],ascending =[True,false])以上代码表示df表先按照col1列进行升序排列,当col1列遇到重复时,再按照col2列进行降序排列。如下,按照好评率进行降序排列:在这一步的基...原创 2022-05-17 16:20:03 · 5414 阅读 · 1 评论 -
Python 读取csv文件,解决中文乱码问题
python读取csv文件,解决中文乱码问题当读取csv文件时,发现文件读进python后会出现中文乱码的情况:最简单粗暴的方式,设置读取的格式问题,并将引擎设置为python:data = pd.read_csv('爱奇艺视频数据.csv',encoding='GBK',engine ='python')print(data.head())结果如下:...原创 2022-05-17 10:08:13 · 4566 阅读 · 1 评论 -
获取Excel中sheet页的name,并对不同sheet 页进行处理
1、梳理流程思路首先导入需要调用的模块 其次,打开工作簿,获取工作簿的sheet页名字 读取不同sheet页,做不同的处理 将处理完成的结果,保存下来2、具体代码实现import pandas as pdimport xlrdfrom openpyxl import load_workbookfile_path=r"E:\\work\\shuju\\源表\\2021年淘客订单汇总表.xlsx"wb = xlrd.open_workbook(file_path) #打开工作簿原创 2022-05-12 23:08:32 · 3196 阅读 · 0 评论 -
Numpy *****
1、Numpy简述Numpy是科学计算基础库,提供大量科学计算基础库,提供大量科学计算相关功能,比如数据统计,随机数生成等。其提供最核心类型为多维数组类型(ndarray),支持大量的维度数组与矩阵运算,Numpy支持向量处理ndarray对象,提高程序运算速度。在上面的函数,返回值看着像一个列表,其实返回值类型是numpy.ndarray。2、array函数numpy 模块的array函数可以生成多维数组语法格式如下:numpy.array(object, dtype = N原创 2022-05-06 16:46:56 · 671 阅读 · 0 评论 -
Python 实现输出九九乘法表
目的:1、实现使用python 打印九九乘法表2、实现将九九乘法表输出就,保存到txt文件中步骤:首先画出流程图其次选择代码实现过程中用到的方法,我选用的是for循环。考虑到打印九九乘法表需要换行、空格等需要了解print('',end=" ")中end参数的作用,其作用为:为末尾end传递一个空字符串,这样print函数不会在字符串末尾添加一个换行符,而是添加一个空字符串,其实这也是一个语法要求,表示这个语句没结束。print默认是打印一行,结尾加换行。end=...原创 2022-04-20 11:32:11 · 54894 阅读 · 0 评论 -
Python.openpyxl操作Excel
Python 操作 Excel 存取数据1. openpyxl 模块1.1 安装 openpyxl 模块1.2 Excel 文件的三个对象1.2.1 Workbook 对象1.2.2 Worksheet 对象1.3.3 Cell2. Python 操作 Excel2.1 Python 操作 Excel 之读取2.1.1 打开本地工作簿,获取所有工作表名称2.1.2 创建工作表2.1.3 根据工作表名称获取工作表2.1.4 获取单元格对象及单元格的值2.1.5 获取单元格的行、列及值转载 2022-04-12 17:07:19 · 9699 阅读 · 0 评论 -
使用openpyxl读取指定单元格内容,并重新写入
目的:读取excel表格中指定sheet页,保留excel中原有的公式,数据格式,并对指定列重新写入数据。原有表格如下所示:解决思路:使用openpyxl来实现具体代码:import pandas as pdimport numpy as npimport openpyxl as opimport osos.chdir(r'E:\old\工作\临时任务\抽纸盒\2022-04-11')file_path='抽纸盒数据统计.xlsx'data = pd.read_e原创 2022-04-12 14:27:09 · 5706 阅读 · 0 评论 -
Python 保留excel中原有数据,添加新的sheet页
1、目的:保留excel中原有数据,并将数据追加到新的sheet页中2、解决思路第一种:首先获取原有数据其次处理得到需要插入的数据最后将新的到的数据,追加到原数据中第二种:打开excel表,以插入形式写入3、解决方法使用ExcelWriter 和openpyxl库进行excel操作使用ExcelWriter对象调用to_excel()方法进行保存4...原创 2022-04-02 22:14:10 · 8530 阅读 · 0 评论 -
Python os和os.path模块
1、目的:在Python中实现只读取扩展名为xlsx的文件解决方法:使用os模块。方法 功能说明 remove(path) 删除指定的文件 rename(src,dst) 重命名文件或目录 stat(path) 返回文件的所有属性 listdir(path) 返回path目录下的文件和目录列表 startfile(filepath[,operation]) 使用关联的应用程序打开指定文件 chmod(path,mode,*,dir_fd原创 2022-03-31 17:11:53 · 607 阅读 · 0 评论 -
python将小数转换成百分数
处理数据得时候遇到一个小问题,如何用pandas将小数转换成百分数?数据源是这样的,一个名为 “data.xlsx” 的 excel 文件,我需要将 “人员利用率” 字段由小数转换成百分比格式:import pandas as pd# 导入pandas库data = pd.read_excel(r"C:\Users\chih-cheng\Desktop\data.xlsx")# 读取数据data['人员利用率'] = data['人员利用率'].apply(lambda x: f..转载 2022-03-24 17:40:59 · 3631 阅读 · 0 评论 -
python 设置本月1号及上月1号
目的:使用Python计算本月及上月1号import datetimefrom dateutil.relativedelta import relativedeltanow = datetime.datetime.now()now_month = now.strftime('%Y-%m-01') # 计算本月1号print(now_month)计算上月1号last_month=datetime.datetime.strftime(now +relativedelta(mont原创 2022-03-24 17:31:01 · 1367 阅读 · 0 评论 -
python itertools功能详解
python itertools功能详解介绍 itertools是python内置的模块,使用简单且功能强大,这里尝试汇总整理下,并提供简单应用示例;如果还不能满足你的要求,欢迎加入补充。 使用只需简单一句导入:import itertoolschain() 与其名称意义一样,给它一个列表如 lists/tuples/iterables,链接在一起;返回iterables对象。letters = ['a', 'b', 'c', 'd', 'e', 'f']...转载 2022-03-08 10:11:52 · 386 阅读 · 0 评论 -
Python collections.Counter()用法
Python collections.Counter用法什么是collectionsCounterCounter操作例子什么是collectionscollections在python官方文档中的解释是High-performance container datatypes,直接的中文翻译解释高性能容量数据类型。它总共包含五种数据类型:其中Counter中文意思是计数器,也就是我们常用于统计的一种数据类型,在使用Counter之后可以让我们的代码更加简单易读。Counter.转载 2022-03-07 16:50:09 · 607 阅读 · 0 评论 -
python中的map函数
1 map()函数的简介以及语法:map是python内置函数,会根据提供的函数对指定的序列做映射。map()函数的格式是:map(function,iterable,...)第一个参数接受一个函数名,后面的参数接受一个或多个可迭代的序列,返回的是一个集合。把函数依次作用在list中的每一个元素上,得到一个新的list并返回。注意,map不改变原list,而是返回一个新list。2 map()函数实例:del square(x): return x ** 2 m转载 2022-03-07 15:15:19 · 2326 阅读 · 0 评论 -
python链接数据库并创建/删除/插入多个数据库/表/表数据
import pymysqll链接数据库并执行sql语句conn = pymysql.connect(host='10.245.251.61',user='stashlog',password='stashlog123',database='exos_perf_auto')#创建数据库连接cursor = conn.cursor()#创建游标sql=''#要执行的sql语句cursor.execute(sql)#提交sql语句conn.commit()#提交缓存cursor.close(转载 2022-02-24 14:47:46 · 1004 阅读 · 0 评论 -
pandas 的group 及其as_index理解
以下面这张表进行说明:print(dfoff) User_id Merchant_id Coupon_id Discount_rate Distance Date_received \0 1439408 2632 NaN NaN 0.0 NaN 1 1439408 4663 11002.0 150:20 1.0 20160528.0...转载 2022-02-10 16:29:36 · 576 阅读 · 0 评论 -
value_counts()值统计
value_counts()作用:计算出不同值的个数分别是多少。比如:计算df中演员这列,演员分别出现多少次。print(df.演员.value_counts())原创 2022-02-10 16:15:56 · 1031 阅读 · 0 评论 -
python中的shape[0]和shape[1]
import numpy as npk = np.matrix([[1, 2, 3, 4,6],[5, 6, 7, 8,9],[9, 10, 11, 12,13]])print(np.shape(k)) # 输出(3,5)表示矩阵为3行5列print(k.shape[0]) # shape[0]输出3,为矩阵的行数print(k.shape[1]) # 同理shape[1]输出列数5————————————————版权声明:本文为CSDN博主「贾公子」的原创文章,遵循CC 4.0 BY-SA转载 2022-02-10 15:52:44 · 6659 阅读 · 0 评论 -
lead() over(partition by order by )与lag() over(partition by order by )的用法
医院项目有个需求,需要计算同一个病人(同一个病人BAH病案号相同)两次入院间的再入院天数(本次入院时间与上次出院时间的时间差),所以使用窗口函数lead() over(partition by ... order by ...),具体SQL如下SELECT c.brxh,c.bah,c.RYRQ,c.CYRQ,lead(ryrq,1) over(PARTITION BY bah ORDER BY ryrq) lead_ryrq,(lead(ryrq,1) over(PARTITION BY bah ORD转载 2022-02-08 18:31:10 · 3020 阅读 · 0 评论 -
python 实现取一定日期
本文以取1号为例Today = datetime.date.today() # 获取当天日期month_1 = Today.replace(day=1) #本月1号last_month_1 = (month_1 - datetime.timedelta(1)).replace(day=1) #上月1号# 取日期中的年year=last_month_1.year # 取日期中的月month=last_month_1.month...原创 2022-01-13 10:01:29 · 934 阅读 · 0 评论 -
Python time时间格式的转换及计算
1 # -*- coding:utf-8 -*- 2 import pandas as pd 3 import time 4 import datetime 5 6 start_date = '2020-06-08' 7 # 一、将字符串文本类型转化为时间 8 # %Y-%m-%d 为自定义时间格式,也可设置成完整格式:%Y-%m-%d %H:%M:%S,若使用完整格式,输入的start_date的文本格式也要完整对应,否则报错 9 # 1.使用datetime包10 date_ti..转载 2021-12-31 11:41:01 · 3404 阅读 · 0 评论