python tip
文章平均质量分 53
mengzhongjack
这个作者很懒,什么都没留下…
展开
-
sqlAlchemy 多线程
Connection Pooling — SQLAlchemy 1.4 Documentation原创 2022-08-11 01:29:43 · 477 阅读 · 1 评论 -
pymsql 查询结果返回字典
Python中让MySQL查询结果返回字典类型的方法import pymysqlhost='localhost'user='root'passwd='root'port=3306db='test'db=pymysql.connect( host=host, user=user, passwd=passwd, db=db, port=port, charset='utf8', cursorclass = pymysql.cursors.Di原创 2022-03-05 08:23:20 · 1386 阅读 · 0 评论 -
pandas DataFrame 按照30s 向下取整
print(ss['time'])0 2014-01-21 03:31:111 2014-01-21 04:53:552 2014-01-21 05:16:183 2014-01-21 05:55:054 2014-01-21 08:44:53ss['date_30s'] = pd.to_datetime(ss['time'].apply(lambda x: time.strftime("%Y-%m-%d %H:%M:%S",time.localtime(int(x.ti.原创 2021-03-04 23:23:29 · 1801 阅读 · 1 评论 -
Python Pandas DataFrame多维的列索引 如何展开成为一维索引?
Python Pandas DataFrame多维的列索引 如何展开成为一维索引?df_stat = df.groupby(['Student ID'],as_index=False)['entropy', 'Out Count', 'In Count'].agg(['mean','std'])df_stat.columnsMultiIndex(levels=[[‘entropy’, ‘Out Count’, ‘In Count’], [‘mean’, ‘std’]],codes=[[0, 0原创 2021-03-04 22:13:17 · 2345 阅读 · 5 评论 -
datawhale——阿里天池--AI助力精准气象和海洋预测学习笔记 task1
项目背景问题陈述这个竞赛是一个自然科学相关的时间序列预测问题,要求基于历史气候观测和模式模拟数据,准确预测厄尔尼诺-南方涛动(ENSO)现象。具体来说,我们的任务就是根据过去12个月的气象及时空数据,预测未来24个月的Nino3.4指数。1 什么是ENSO现象ENSO现象是厄尔尼诺(EN)现象和南方涛动(SO)现象二者的合称。厄尔尼诺现象是指赤道中东太平洋附近的海表面温度持续异常增暖的现象。南方涛动现象则是热带东太平洋与热带西太平洋气压场存在的气压变化相反的跷跷板现象。在厄尔尼诺期间,东南太平洋.原创 2021-02-22 02:58:40 · 882 阅读 · 0 评论 -
DataWhale 零基础入门语义分割-地表建筑物识别-Task1
DataWhale 零基础入门语义分割-地表建筑物识别-Task1赛题理解赛题名称赛题名称赛题名称:零基础入门语义分割-地表建筑物识别赛题目标赛题目标赛题目标:通过本次赛题可以引导大家熟练掌握语义分割任务的定义,具体的解题流程和相应的模型,并掌握语义分割任务的发展。赛题任务赛题任务赛题任务:赛题以计算机视觉为背景,要求选手使用给定的航拍图像训练模型并完成地表建筑物识别任务。赛题为语义分割任务,因此具体的标签为图像像素类别。在赛题数据中像素属于2类(无建筑物和有建筑物),因此标签为有建筑物的像素。赛题原创 2021-02-20 23:35:59 · 303 阅读 · 0 评论 -
Python Pandas DataFrame分组排序
转载自 https://blog.csdn.net/ai_1046067944/article/details/86300634一、pandas分组*1、分组运算过程:split->apply->combine拆分:进行分组的根据应用:每个分组运行的计算规则合并:把每个分组的计算结果合并起来2、分组函数DataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=Tr.转载 2021-02-08 21:14:32 · 3885 阅读 · 0 评论 -
异常检测——高维数据异常检测
主要内容包括:Feature Bagging孤立森林文章目录1、引言2、Feature Bagging3、Isolation Forests4、总结5、练习6、参考文献1、引言在实际场景中,很多数据集都是多维度的。随着维度的增加,数据空间的大小(体积)会以指数级别增长,使数据变得稀疏,这便是维度诅咒的难题。维度诅咒不止给异常检测带来了挑战,对距离的计算,聚类都带来了难题。例如基于邻近度的方法是在所有维度使用距离函数来定义局部性,但是,在高维空间中,所有点对的距离几乎都是相等的(距离集中原创 2021-01-25 01:55:48 · 203 阅读 · 0 评论 -
datawhale 异常检测
基于近邻性的算法,我认为与 数据挖掘中的聚类算法一样,只是把小的类给标注为异常点,我认为一般情况下这样处理是对的,但是对于风控中的团案来说,抱团反而是异常点。以下内容主要摘抄自datawhale -异常检测 学习任务1. 基于距离的度量——适用各种数据域所谓基于距离的度量,即通过最近邻距离来定义异常值。其假设前提:异常点的 k 近邻距离要远大于正常点。计算:嵌套循环。 第一层循环遍历每个数据,第二层循环进行异常判断,需要计算当前点与其他点的距离,一旦已识别出多于 k 个数据点与当前点的距离在 D原创 2021-01-22 00:11:51 · 112 阅读 · 0 评论 -
whale异常检测task3- 线性模型
1、引言真实数据集中不同维度的数据通常具有高度的相关性,这是因为不同的属性往往是由相同的基础过程以密切相关的方式产生的。在古典统计学中,这被称为——回归建模,一种参数化的相关性分析。 一类相关性分析试图通过其他变量预测单独的属性值,另一类方法用一些潜在变量来代表整个数据。前者的代表是 线性回归,后者一个典型的例子是 主成分分析。本文将会用这两种典型的线性相关分析方法进行异常检测。需要明确的是,这里有两个重要的假设:假设一:近似线性相关假设。线性相关假设是使用两种模型进行异常检测的重要理论基础。假原创 2021-01-19 01:31:48 · 111 阅读 · 0 评论 -
datawhale task2 异常检测——基于统计学的方法
主要内容包括:高斯分布箱线图1、概述统计学方法对数据的正常性做出假定。**它们假定正常的数据对象由一个统计模型产生,而不遵守该模型的数据是异常点。**统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是否成立。2、参数方法2.1 基于正态分布的一元异常点检测仅涉及一个属性或变量的数据称为一元数据。我们假定数据由正态分布产生,然后可以由输入数据学习正态分布的参数,并把低概率的点识别为异常点。阈值是个经验值,可以选择在验证集上使得评估指标值最大(也就是效果最好)的阈值取值作为最终阈值。原创 2021-01-16 01:50:37 · 133 阅读 · 0 评论 -
Markdown如何优雅地植入图片-附python代码
小伙伴们在Markdown文章中植入文章的方法一般有三种:1. 插入本地图片// 绝对路径![avatar](/user/desktop/Tarzan.png)// 相对路径![avatar](./Tarzan.png) 缺点不好分享,发给别人还得打个包,一点也不优雅。2. 插入图床或者网络服务器的网络连接![avatar](http://baidu.com/pic/Tarzan.png)对于写在私人博客网站或者只是简单地分享一下的话,还是有很多问题的。第一:要网络,断网环境严重体验。第原创 2021-01-15 11:03:19 · 617 阅读 · 0 评论 -
python pandas 自动填充,重新采样 resample
# -*- coding: utf-8 -*-import pandas as pdfrom datetime import datetimea=pd.date_range('2015-11-1','2015-11-2',freq='h')print aimport pandas as pdfrom pandas import DataFramefrom pandas impor原创 2015-12-07 09:50:54 · 13588 阅读 · 0 评论 -
python 正则表达式精华 re.match与re.search的区别
re.match与re.search的区别re.match只匹配字符串的开始,如果字符串开始不符合正则表达式,则匹配失败,函数返回None;而re.search匹配整个字符串,直到找到一个匹配。实例:#!/usr/bin/pythonimport reline = "Cats are smarter than dogs";matchObj = re.match( r'dogs原创 2015-12-19 20:23:56 · 669 阅读 · 0 评论 -
python中 可变与不可变对象
面试中关于Python的参数传递1 天前• coco •2 评论 • Python , 面试先看代码:Python1234a = 1def fun(a): a = 2print a #1################Python1234b=[]转载 2015-11-15 02:26:24 · 471 阅读 · 0 评论 -
python return
函数的return 一定要写在关键的地方。不能乱写下面两组区别,你懂吗?任务结束之前才能return conn=MySQLdb.connect(**connection)cur=conn.cursor()cur.execute(sql)results=cur.fetchall()conn.cursor().close()conn.commit()conn.close()retu原创 2015-10-26 21:01:30 · 748 阅读 · 0 评论 -
python模块包调用解析
原文 http://wuyanzan60688.blog.163.com/blog/static/1277761632011102113211189/A |----- __init__.py |----- a.py |---------B |--------- __init__.py |--转载 2015-10-23 21:20:15 · 741 阅读 · 0 评论 -
beautifulsoup抓取 class 关键字
在这里我们想用 class 过滤,不过 class 是 python 的关键词,这怎么办?加个下划线就可以soup.find_all("a", class_="sister")# [Elsie,# Lacie,# Tillie]1234soup.find_all("a",class_="sister")# [原创 2015-11-09 18:32:18 · 13433 阅读 · 0 评论 -
Python模块包中__init__.py文件 精髓
原文:http://www.douban.com/group/topic/24075924/ 本人有删改 参考 http://www.cnblogs.com/tqsummer/archive/2011/01/24/1943273.htmlPython packages __init__.py包的精髓在 _转载 2015-10-23 21:31:35 · 3064 阅读 · 0 评论