![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
晨晨渝奇
这个作者很懒,什么都没留下…
展开
-
用pandas处理数据时,使变量能够在不同的Notebook会话页面进行传递,魔法命令%store
以便在不同的Notebook会话之间都能访问到,你可以考虑将变量存储在文件中,然后在需要的时候从文件中读取。这种方式可以长期保存变量的值。这样做可以在不同的Notebook会话之间保持变量的值。不过要确保你保存的文件路径是可访问的,并且注意保护敏感数据。命令来存储变量会保持到你关闭当前的Jupyter Notebook会话为止。4、然后去数据可视化的.ipynb文件读取这个带有时间变量的文件名。在使用pandas时,有的时候我想将.ipynb文件分开写。,除非你再次打开Notebook并使用。原创 2023-10-06 20:15:00 · 462 阅读 · 0 评论 -
在pandas中通过一列数据映射出另一列的几种思路和方法
在pandas中通过一列数据映射出另一列的几种思路和方法,使用函数或字典原创 2023-10-06 14:38:51 · 488 阅读 · 0 评论 -
python连接mysql的代码(最基本的代码)
python链接mysql基本代码原创 2022-12-06 16:31:52 · 511 阅读 · 1 评论 -
pandas加速运行时,判断加速运行常用的两个库【bottleneck库】和【numexpr库】开启与关闭状态
在pandas中处理大数据集时想要加速进行运算,两个库必不可少,强烈推荐安装。如果不确定是开启还是关闭状态,可以查询一下,会显示True或False。这两个库如果安装了,默认是开启的,如果没安装需要安装。安装官方的说法,是这两个库是默认开启的,可以手动关闭。bottleneck库。原创 2022-11-18 11:15:02 · 1202 阅读 · 0 评论 -
pandas中使用query查询时列名中存在空格,报语法错误,使用反引号试试看
query查询时列名存在空格怎么办?原创 2022-11-17 14:08:04 · 935 阅读 · 0 评论 -
使用Pandas画波士顿矩阵
使用Pandas画波士顿矩阵。画出对应的波士顿矩阵。原创 2022-11-14 14:58:09 · 353 阅读 · 0 评论 -
原数据需要搭配映射表使用,根据映射表数据快速将原始数据进行补全
开发同学为了数据库优化,很多数据存储的时候做了一层映射。比如:语,数,外 --> 1,2,3。我们需要将其映射回来原创 2022-10-17 09:35:46 · 392 阅读 · 0 评论 -
datetime时间格式的几种常用转化+对时间空值进行判断中遇到的坑isna()和isnull()
注:通过上图,我们可以看到【实际日期】是存在空值的,四种方法都可以进行判断空值,但是在下面函数进行判断是,不能使用.isna( )和.isnull( )。而要使用pd.isna( )或pd.isnull( )。原创 2022-09-28 18:05:53 · 589 阅读 · 0 评论 -
pandas数据映射,更改列名,批量映射替换某列数据replace、map、apply、rename对比
首先,无论那一种方法,都建议先将映射关系写出来,然后使用方法时,可以直接调写好的关系表。原创 2022-09-23 14:27:31 · 1747 阅读 · 0 评论 -
pandas数据透视表pivot_table对一列唯一值计数使用:aggfunc=np??三种方法
方法二:aggfunc=lambda x:x.value_counts().count()方法三:aggfunc=lambda x:len(x.dropna().unique())方法一:aggfunc=lambda x: len(x.unique()原创 2022-08-23 15:42:35 · 3006 阅读 · 0 评论 -
使用python在pandas中通过调取金蝶K3cloud API来进行取数据
注意:上面这组参数除了lcId和acctId,其他的账号、密码及密钥,要么你是金蝶的系统管理员能够自动生成,要么你就找相关人员要。不然后面没办法调取数据。原创 2022-08-02 17:27:58 · 1962 阅读 · 4 评论 -
我在Blue Nile(蓝色尼罗河)上通过python爬取一百万颗钻石,最终选出心仪的一颗
由于到了结婚的年龄,所以找到政府领取了女朋友一枚,并且把婚期订到了今年的圣诞节。由于加工好的成品钻价格实在是太高了,所以就把主意打到了"裸钻"身上,去了大罗塘一类的珠宝批发市场,热了一身的汗,但是还是感觉没有合适的。先是在各种周大福、周六福、周福福看,后来又在某东、某宝、某官网看,翻遍了网上各种达人教你如何选择钻戒的文章、视频。通过Excel选出喜欢的并进行标记,再将标记得编号,写成代码,把GIA证书进行下载,逐个对比GIA正证书的参数。--------代码在文章最下面----------...原创 2022-08-01 17:38:18 · 433 阅读 · 0 评论 -
在python中,知道年份和周数和周几,怎么找到当天是什么日期?
在python中,知道年份和周数和周几,怎么找到当天是什么日期?原创 2022-07-22 16:55:47 · 473 阅读 · 0 评论 -
常见的反爬技术,并给出应对方案
1. Headers从用户的 headers 进行反爬是最常见的反爬虫策略。Headers(上一讲中已经提及) 是一种区分浏览器行为和机器行为中最简单的方法,还有一些网站会对 Referer (上级链接)进行检测(机器行为不太可能通过链接跳转实现)从而实现爬虫。相应的解决措施:通过审查元素或者开发者工具获取相应的 headers 然后把相应的 headers 传输给 python 的 requests,这样就能很好地绕过。2. IP 限制一些网站会根据你的 IP 地址访问的频率,次数进行反爬。也就是原创 2022-02-17 17:50:47 · 1677 阅读 · 0 评论 -
Python面试之【python特性】总结
Python 特性Python 是强语言类型还是弱语言类型?Python 是强类型的动态脚本语言。强类型:不允许不同类型相加。动态:不使用显示数据类型声明,且确定一个变量的类型是在第一次给它赋值的时候。脚本语言:一般也是解释型语言,运行代码只需要一个解释器,不需要编译。什么是解释性语言,什么是编译性语言?计算机不能直接理解高级语言,只能理解机器语言,所以必须要把高级语言翻译成机器语言, 计算机才能执行高级语言编写的程序。解释性语言在运行程序的时候才会进行翻译。编译型语言写的程序在执行原创 2021-03-29 19:46:21 · 128 阅读 · 0 评论 -
python面试之【模块与包】总结
模块与包常用的Python标准库都有哪些?OS 操作系统time 时间random 随机pymysql 连接数据库threading 线程multiprocessing 进程queue 队列第三方库:Djangoflaskrequestsseleniumscrapyrexadminceleryhashliibmd5常用的科学计算库NumpyScipyPandas赋值,浅拷贝和深拷贝的区别赋值对象的赋值就是简单的对象引用,赋值操作(包括对象作为原创 2021-03-29 17:07:00 · 139 阅读 · 0 评论 -
python代码优化从哪些方面考虑?有什么想法?
优化算法时间复杂度。减少冗余数据。合理使用 copy 与 deepcopy。使用 dict 或 set 查找元素。合理使用生成器(generator)和 yield。优化循环。优化包含多个判断表达式的顺序。使用 join 合并迭代器中的字符串。选择合适的格式化字符方式。不借助中间变量交换两个变量的值。使用 if is。使用级联比较 x < y < z。while 1 比 while True 更快。使用**而不是 pow。使用 cProfile, cStringIO.原创 2021-03-15 22:30:01 · 99 阅读 · 0 评论 -
快速排序算法的详细讲解(代码较晦涩不易理解,但时间复杂度低,效率好的方法)
代码中包含大量的注释,可以参考,这里不再赘述改天再写一个代码简单易于理解的快速排序算法,但是时间复杂度要高一些# 使用快速排序对下面的列表按升序排序alist = [30, 24, 5, 58, 18, 36, 12, 42, 39]def sort_value(alist, start=0, end=len(alist) - 1): ''' :param alist: 需要进行排序的列表 :param start: 默认开始位置为列表的第一个元素的下标 :par原创 2021-02-25 21:14:32 · 535 阅读 · 1 评论 -
单向循环链表的操作
# 创建节点类class Node(): def __init__(self, elem): self.elem = elem self.next = None# 创建单向循环链表类class SingleCycleLinkList(): """单向循环链表""" def __init__(self): self.__head = None # 创建指针并私有化 def is_empty(self):原创 2021-02-23 22:44:08 · 383 阅读 · 1 评论 -
单向链表的操作
单向链表也叫单链表,是链表中最简单的一种形式,它的每个节点包含两个域,一个信息域(元素域)和一个链接域。这个链接指向链表中的下一个节点,而最后一个节点的链接域则指向一个空值。表元素域elem用来存放具体的数据。 链接域next用来存放下一个节点的位置(python中的标识)创建节点类# 创建节点类class Node(object): def __init__(self, elem): self.elem = elem self.next = No.原创 2021-02-23 19:37:28 · 310 阅读 · 2 评论 -
想要python不报错,进来看看-->python常见错误和异常处理
错误和异常概念两种容易辨认的错误 语法错误:一些关于语法的错误【缩进】 异常:代码完全正确,但是,程序运行之后,会报出 的错误exception/error代码演示:list1 = [23,54,6,6]print(list1[2])print(list1[3])print(list1[4]) print("over")"""66Traceback (most recent call last): File "C:/Users/Administrator/Des原创 2021-02-22 19:39:50 · 1195 阅读 · 0 评论 -
一篇几乎涵盖全部正则表达式re规则
正则表达式 Regular Expression正则表达式1.引入案例代码演示:import re #regular Expession #需求:判断一个qq号是否是合法的"""分析:1.全数字2.第一位数字不能为03.位数:5~11"""def checkQQ(str): #不管str是否合法,假设合法 result = True #寻找条件推翻假设 try: #判断是否是全数字 num = int原创 2021-02-22 19:26:33 · 167 阅读 · 0 评论 -
Spider类源码参考(超多注释超详细)
告别2020实"鼠"不易走过跌宕起伏,经历波澜壮阔迎接2021"牛"转乾坤所求皆如愿,所行皆坦途#所有爬虫的基类,用户定义的爬虫必须从这个类继承class Spider(object_ref): # 定义spider名字的字符串(string)。 # spider的名字定义了Scrapy如何定位(并初始化)spider,所以其必须是唯一的。 # name是spider最重要的属性,而且是必须的。 # 一般做法是以该网站域名(domain)(不加后缀 )来.原创 2021-01-01 16:37:16 · 581 阅读 · 0 评论 -
Excel百“练“成钢,从题库随机抽取题目 V 2.0版本
Excel,百“练”成钢,神器最近在学习excel,突发奇想给自己找些题库练练代码很简单,需要的人不可以直接复制代码,因为文件路径不一样主要功能就是每天给自己生成自己想练习的题目数量,然后直接生成文件需要Excel题库的可以私信联系我↓↓↓老规矩,废话不多说,代码注释很详细↓↓↓import datetimeimport randomimport timeimport os# 获取今天的时间并格式化输出today = datetime.datetime.today().st原创 2020-12-25 15:12:21 · 1435 阅读 · 0 评论