![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
工作中出现的小功能点
文章平均质量分 52
Lee魅儿
一位正在努力的算法工程师,日常工作学习记录
展开
-
python 输入年月获取下个月年月
python 输入年月获取下个月年月原创 2022-10-19 17:19:09 · 1742 阅读 · 0 评论 -
获取一个数组中每行第k大的值,获取数组中每行大于第k大的所有值的索引坐标数组
获取一个数组中每行第k大的值,获取数组中每行大约第k大的所有值的索引坐标数组原创 2022-07-15 11:38:12 · 249 阅读 · 0 评论 -
python pymysql 查询,修改,删除数据
mysql 查询,删除,修改操作原创 2022-07-01 13:59:58 · 2530 阅读 · 0 评论 -
python,画3D图,瀑布图
3d图,python原创 2022-06-17 14:55:37 · 1531 阅读 · 0 评论 -
sql server数据库添加 mdf数据库文件,遇到的报错
右键添加数据库报错,提示无事务日志文件,第一步,将mdf文件,放入安装文件夹下如上图第二步,在系统数据库,master下面点击查询,输入下面语句,并且执行,不要管运行的报错,只要箭头所指向的ldf文件提示已经创建即可:其中 dbname是你要添加的mdf的数据库名字,pysname是你第一步存放mdf文件的路径第三步,刷新,即可看到你添加的对应mdf的数据库...原创 2022-05-25 12:47:40 · 2080 阅读 · 0 评论 -
sql server 查询指定表的表结构
SELECT表名 = 'dbo.Treestructure',表说明 = CASE WHEN A.COLORDER=1 THEN ISNULL(F.VALUE,'') ELSE '' END,字段序号 = A.COLORDER,字段名 = A.NAME,自增标识 = CASE WHEN COLUMNPROPERTY( A.ID,A.NAME,'ISIDENTITY')=1 THEN '√'ELSE '' END,主键 = CASE WHE...原创 2022-05-24 10:59:38 · 775 阅读 · 0 评论 -
python 应用 boto3操作s3服务器中文件(查看,过滤,复制,删除)
cfg = self.cfg#用Minio获取s3服务器client,查看桶(存放文件的文件夹cfg['bucket'])是否存在。client = Minio(cfg['endpoint'], access_key=cfg["access_key"], secret_key=cfg["secret_key"])found = client.bucket_exists(cfg['bucket'])if found:#用boto3..原创 2022-05-20 10:12:38 · 3623 阅读 · 0 评论 -
python,时间字符串,变成utc时间的毫秒级时间戳
from datetime import datetimedate_str = '2022-04-27_10:40'#date str --> date timedate_time = datetime.strptime(date_str, '%Y-%m-%d_%H:%M')#'%Y-%m-%d %H:%M:%S.%f'print(date_time) #2022-04-27 10:40:00#date time --> utc date timeimport pytzut.原创 2022-05-13 11:23:54 · 2159 阅读 · 0 评论 -
自动识别编码格式读取数据with open;argparse命令行输入参数;logger日志的设置;
#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2022/4/11 下午1:51# @Author : LiSi# @File : test.py# @Software: PyCharmimport osimport chardetimport loggingimport argparseimport pandas as pdimport numpy as npclass UploadData: d.原创 2022-04-15 14:34:41 · 792 阅读 · 0 评论 -
本地ubuntu下pycharm 如何利用远程开发环境时显示图片
针对matplotlib显示图片前提:本地ubuntu 远程ubuntu方法:1. 本地终端输入, ssh -X servername@serverip,连接远程服务器2.在连接了远程后的命令行中输入env 找到 DISPLAY=localhost:10.0这句话,我的是10.03.pycharm 的配置环境中添加 DISPLAY=localhost:11.0具体操作为:pycharm菜单栏选择 run--->Edit Configurantions -->原创 2022-02-25 14:25:49 · 1088 阅读 · 0 评论 -
对某值是否为None的判断,对某值是否为np.nan的判断
对某值是否为None的判断if x is not None对某值是否为np.nan的判断if x is not np.nan而用 == !=等都会出现问题,谨记。原创 2022-01-20 16:00:00 · 381 阅读 · 0 评论 -
sns.heatmap 热力图的添加,约束格子的高度,设置刻度条字体大小
def add_heat_fig(self,df,fig_explain_str,fig_size): """添加热力图""" df1 = df * 100 df1["设备"] = df1.index + ' ' + df1["date_mean"].apply(lambda x:str('%.2f' % x)) + '%' df1.set_index(['设备'], inplace=True) df1.columns = df1.columns + '\n ' +.原创 2022-01-20 14:16:54 · 7144 阅读 · 0 评论 -
获取日期列表中的连续日期,且表示成*年*月*日~*年*月*日
#coding:utf-8#作者 :思#创建时间:2021/12/16 14:36 #功能 :获取日期列表中的连续日期,且表示成*年*月*日~*年*月*日import numpy as npfrom datetime import datetime, timedeltadlist = ['2021-03-01', '2021-04-01', '2021-06-06', '2021-06-25', '2021-06-26', '2021-06-27', '2021-06.原创 2021-12-21 09:49:25 · 712 阅读 · 0 评论 -
datafarme中批量替换某些值为空
##测点中如下数据为无效点:Null,65535,-1234.56,-0.0devData = devData.replace([None,-1234.56, -0.0, 65535], np.NaN)原创 2020-04-20 17:24:27 · 379 阅读 · 0 评论 -
只要测点名中含有Min或者Last的测点并重命名
#只要测点名中含有Min或者Last的测点并重命名b = pd.Series(devData.columns)d = b.str.contains('Min|Last')f = b[d].str.split('_', expand=True)[0].tolist()name_new = dict(zip(b[d], f))devData.rename(columns=name_new,...原创 2020-04-20 16:24:42 · 149 阅读 · 0 评论 -
如何用numpy,pandas处理数据大的文件,减轻内存压力
方法一:pd.read_csv()中有个参数chunksize用来块的方式读取数据,例如:将chunksize指定为每次100万行,将大数据集分成许多小块通过迭代每个块,在将每个块添加到列表之前,我使用函数chunk_preprocessing执行数据过滤/预处理。最后,我将列表连接到一个最终的dataframe中,以适应本地内存# read the large csv file wi...原创 2020-04-08 17:15:52 · 445 阅读 · 0 评论 -
如何判断数据分布为正太分布
from scipy import statsimport pandas as pdimport numpy as npimport matplotlib.pylab as plt# scipy包是一个高级的科学计算库,它和Numpy联系很密切,Scipy一般都是操控Numpy数组来进行科学计算data = [87,77,92,68,80,78,84,77,81,80,80,77,9...原创 2020-04-03 16:15:12 · 817 阅读 · 0 评论 -
获取数据的密度分布图
max_err_data = pointData[pointData>max_value_point]fig = plt.figure(figsize=(10, 6))ax1 = fig.add_subplot(2, 1, 1)#密度图max_select_data.plot(kind='kde', grid=True, style='-k', title='NB001_max_...原创 2020-04-01 14:21:05 · 1272 阅读 · 0 评论 -
极差异常点检测
##极差异常点检测def z_score(self, df_t, var_1, threshold): median1 = df_t[var_1].median() mad = (df_t[var_1] - median1).abs().median() zscore = ((df_t[var_1] - median1) * 0.6475 / mad).abs()...原创 2020-03-25 13:37:53 · 350 阅读 · 0 评论 -
根据数据类型选择特征 select_dtypes
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.select_dtypes.htmldf = pd.DataFrame({'a': [1, 2] * 3,... 'b': [True, False] * 3,... ...原创 2020-03-25 10:21:04 · 2221 阅读 · 0 评论 -
获取dataframe中某列中某几个值对应的index索引
例如:获取num 列中,值在num_with_fault中的值对应的indexnum_with_fault=[1,2,4]df['num'] =[3,4,2,55,6]index_with_fault = df[df.loc[:,'num'].isin(num_with_fault)].index则:index_with_fault = [1,2]...原创 2019-06-27 16:47:23 · 26250 阅读 · 3 评论 -
python 找极小值
#寻找局部最小值--找极小值#looking_for_local_min(counter_dict, line[0], 0)# counter_dict-----{1: 0, 2: 0, 3: 0,,, : 0} 其中:line[0] = p=keydef looking_for_local_min(count_list, line, direction): """ :p...原创 2019-07-02 13:39:23 · 2106 阅读 · 0 评论 -
python 如何获取一年多少天,如何获取一年中某个月多少天
方法一:(比较聪明方法)#某年天数year_days = 366 if calendar.isleap(int(str(year_num))) else 365#某年某一个月天数month_days = calendar.monthrange(int(str(year_num)), int(str(month_num))[1]方法二:(笨方法)#获取某年一共多少天def ye...原创 2019-04-29 17:48:58 · 7355 阅读 · 0 评论 -
获取列表中连续数字序列 python
from itertools import groupby#获取列表中连续数字序列lst = [234,55,233,1, 2, 3,4, 5, 6, 7, 8, 11, 12, 13, 19,21344,4646,22,34,55] # 连续数字index_with_fault = []fun = lambda x: x[1]-x[0]for k, g in groupby(e...原创 2019-03-21 16:32:10 · 3069 阅读 · 0 评论