- 博客(27)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 jupyter-notebook多环境切换
在日常使用jupyter-notebook时，可能会碰到需要切换不同虚拟环境的场景，本文即介绍两种比较常用的解决方案满足以上需求。
2023-04-10 22:07:29
2483
1
原创 Python高阶知识之属性管理
属性管理机制主要是为控制对类属性的访问、更新、删除等的操作，借此可实现对属性访问行为的定制化控制，或者变相实现真正的私有属性或变量的需求。Python随着版本更新和功能演变迭代，大体实现了3大类的属性管理机制，对应应用场景和抽象程度各有不同，以下会分别介绍。这个内置属性，可以控制某类实例对象（注意，不包含类属性，以及方法）可定义的属性名范围。相较于不使用__slots__，可显著提升属性访问速度，如果在设计类时，已明确有哪些实例属性，可采用该方式框死属性范围，避免误操作并提升代码执行效率。
2023-04-05 19:21:48
654
原创 使用Python获取上海详细疫情数据（完结篇）
抽空之余，写个小脚本，获取下上海详细的疫情数据，以作后续的详实数据分析（纯爱好），或者仅仅作为对历史的一种数据样本式的保存也未尝不可，顺便吧，缓解或者平复下情绪。本文主要是文章 https://blog.csdn.net/yifengchaoran..
2022-04-23 12:58:02
72095
8
原创 使用Python获取上海详细疫情数据（一）
抽空之余，写个小脚本，获取下上海详细的疫情数据，以作后续的详实数据分析（纯爱好），或者仅仅作为对历史的一种数据样本式的保存也未尝不可，顺便吧，缓解或者平复下情绪。阅读本文章需要读者有一定的Python基础，且对XPATH、正则、selenium有一定.
2022-04-23 12:08:15
69352
2
原创 Python之super()核心逻辑详解
相信在深入学习Python的OOP，尤其是继承逻辑时，多多少少都会接触到super()，并且大多数人也只是知道super()是用来调用超类指定方法并用于对超类进行功能拓展的，在python3.0以后，想使用超类的方法，直接无脑super().method即可，但是作者本着刨根问底的精神，经过研读官方文档并结合coding验证，在本文为大家详细剖析下super的核心工作机理。一、super()的使用场景super()一般用于需调用超类（父类）指定方法的场景，比如需对父类的初始化方法进行拓展（注意不.
2022-04-05 12:11:27
67426
原创 Python之文件操作大全
在日常工作或生活中，总避免不了需要操作文件或文件夹，比如希望找出电脑中所有临时文件并清除，或者找到指定文件夹内所有图片文件并进行重新命名等等，如果能通过Python脚本的方式解决，会大大提升相关操作效率，本文即总结使用Python进行常见操作相关知识点，方便用到的人随时查阅，不用再每次使用都要花费时间检索或查阅文档。本文主要使用os、shutil、pathlib三个包。一、文件操作1.1 文件常规操作操作 代码 说明/示例 新建文件 os.mknod(dir...
2022-03-19 18:52:16
111543
原创 python之sympy库--在线性代数领域的应用
sympy作为相对比较全的数学计算库，其也包含针对线性代数的符号运算部分，本文着重介绍sympy在处理线性代数相关问题时的使用方法，且基本严格结合线性代数教材（同济大学版），便于大家回顾，如果想了解sympy在初等代数或微积分方面的应用，可以看文章《python之sympy库--数学符号计算与绘图必备》。一、矩阵运算1.1 创建矩阵创建矩阵是使用sympy处理线性代数问题的起点，以下主要介绍通用创建矩阵的方式以及快速创建特殊矩阵的方式，且一部分主要对应于线性代数教材（同济大学版）的第一章和第二章
2022-03-06 23:03:10
119513
1
原创 git--操作大全
一、基本介绍Git是一个文件版本管理工具，可以较为方便的进行文件管理，其为分布式的版本管理和同步软件git只用于维护本地仓库，git也可以与远程代码托管中心进行联动，将本地仓库和远程仓库进行同步，远程仓库可以是GitHub或者国内的码云等git是分布式的，即本地仓库有完整的版本记录，远程仓库同样也有，并且是通过版本编码进行链式追踪，类似区块链的概念所以，如果本地库和远程库在建立联系前，分别有自己的版本，此时就应该选择或者强行覆盖一方，或者先进行合并再进行后续的操作1.1 安装直接官网下载安装
2021-07-31 14:42:25
123059
原创 scrapy通用项目和爬虫代码模板
日常在使用scrapy爬点自己感兴趣的东西时，总会频繁的进行startproject和genspider，然后重复性的将一些常见功能代码在scrapy库默认的模板上进行人工添加和完善（有时候更尴尬的是，可能长时间没用scrapy，导致一些写法已经忘记），这也不能责怪scrapy，毕竟通过其命令创建的项目和爬虫模板，应该是最简版，对于想深入研究scrapy或者想深度使用scrapy的人来说，就有点过于捡漏，当然，还会有人说，可以通过复制粘贴的方式，从其他已经编写好的项目中拿过来，这也可以走通，不过，如果能让s
2021-03-20 13:02:17
128095
3
原创 scrapy爬取天天基金网站基金基础数据教程
最近周围朋友很多都在研究基金，或者想买入，或者想通过综合研究基金的重仓股来指导其在股市的行为，暂且搁置这些投资指导方式是否正确和稳妥，笔者便趁着周末给写了个小爬虫，将基金相关数据爬取下来并存储到了本地MYSQL，便于后续使用，虽然很多开放数据平台（如AKShare、Tushare等）也已经提供现成接口直接拉取基金相关数据，但毕竟不是按照自己思路整理的，使用起来非常不便，尤其是Tushare，想使用一些高价值的数据，还必须要求积分额，于是乎，笔者自己亲自动手，用scrapy写个小爬虫，爬下来数据供自己和朋友后
2021-03-08 23:15:00
128822
2
原创 python运行js代码解决方案之js2py库
在日常使用Python做爬虫，一般会用到以下手段：请求URL，返回HTML文本，然后通过xpath、css或者re，提取数据 有些网页的数据通过AJAX异步请求加载，此时找到对应的接口，调用并直接使用接口返回的数据 有时候如果网站反爬或安全机制比较高时，则会做一些验证或者加密，比如cookie内必须携带token等信息，而这些信息是通过混淆过的js代码计算得出的。针对1，应该是爬取大多数没有任何安全机制并且是静态网页时，常用手段，而2是提取数据最为快速的，但是接口并不是总是返回我们最喜欢的json
2021-03-07 22:51:25
131673
6
原创 python之json、pickle和shelve库详解
在使用Python进行网络编程或者爬取一些自己感兴趣的东西时，总避免不了进行一些数据传输、存取等问题，Python的文件对象以及其他扩展库，已经解决了很多关于文本和二进制数据存取的问题，比如网页内容、图片&音视频等多媒体内容，但这些数据基本是最终的数据形态存储，有没有办法可以存储Python本身的一些对象数据，后续在使用的时候，再直接加载为Python对象即可，本文便讲解下常用的Python对象数据存取、传输解决方案，即pickle、shelve、json。内容比较基础，也比较简单，但也是必须好
2021-03-07 18:15:45
127967
3
原创 python之迭代器和生成器全解--包含实现原理及应用场景
在日常提升Python基本功的时候，可能会被Python的迭代器和生成器搞晕，之前在学习和使用时，本来for in 循环体和enumerate函数用的飞起，觉得自己已经彻底了解了Python的迭代特性，但接触了迭代器和生成器后，突然感觉懵逼，大概率会被可迭代、迭代器、生成器等概念搞的不知所向，本文就是结合日常项目应用，对Python的迭代概念进行系统性的全面解析，包括其底层实现原理，还有一些常见的应用，希望能帮助更多人，同时也算作给自己梳理思路了。一、基本概念二、迭代器三、生成器四、基本应用
2021-02-20 17:00:00
139611
6
原创 python装饰器全解--包含实现原理及应用场景
装饰器是Python的一大重点和难点，其允许Python实现装饰器设计模式，可以在不改变某函数结构和调用方式基础之上，为其增加新的功能，并且最大化复用新的功能装饰器在面向切面编程的场景中很有用，比如为函数增加日志记录、登录校验、权限校验等，我们可以将这些功能写成一个装饰器，然后直接应用到相应需要改功能的函数中即可，可以保证对原代码和函数零侵入。下面会详细展开讲解装饰器写法、实际应用即实现原理。一、装饰器实现原理1.1 闭包函数讲解1.2 闭包与装饰器对比1.3 wraps装饰器实现模
2021-02-19 23:09:59
136705
2
原创 python之如何修改包导入时的搜索路径
一、模块导入时路径搜索机制1.1 默认搜索机制1.2 其他说明二、修改搜索路径2.1 通过sys.path变量修改2.2 通过PYTHONPATH变量修改
2021-02-03 23:26:14
134983
1
原创 python--如何将自己的包上传到PyPi并可通过pip安装
当逐渐在用python开发项目或者日常使用时，一般需要大量使用别人提供的包，这些包能高效的帮助我们快速高效的完成指定任务或者需求，不过有时也会想，自己如果能够把自己的代码打包并上传到PyPi，后续其他人也可以通过pip进行安装，在为Python做出贡献的同时，对自己也是一件很cool的事情，本文章便详细介绍如何将自己的代码打包并上传到PyPi。在这之前，也建议大家在日常使用python时，也需要有模块的思维，将最为通用的任务模块化，然后创建包，后续便可以通过导入这个包，快速进行复用。写该篇文章时，作
2021-01-30 23:45:36
142637
5
原创 python之numpy库--科学计算基础库必学（二）
四、数组相关操作4.1 变形4.2五、数组运算5.1 位运算5.2 通用函数运算5.3 矢量运算5.3.1 广播机制5.3.2 矢量与矢量间运算5.3.3 矢量与标量间运算5.4 统计分析5.5六、线性代数相关七、读写操作...
2021-01-10 22:24:00
131870
2
原创 Python包管理必备--pip命令&设置镜像源
近期周围很多朋友询问，Python如何管理包和模块，并且很多常用的包使用pip安装的时候，总是因为网络问题中断，在学习新包时造成了很大的挫败感，这些问题也是之前自己在学习过程中，遇到的痛点，所以抽出精力，整理了下之前关于这块的学习笔记，形成文章，希望给其他python道友以帮助，也给自己后续查阅带来方便。Python语言的核心能快速上手并且极具吸引力的是其异常丰富和强大的包，这些包给我们封装好了日常工作中遇到的问题或需求的各种解决方案，所以在python基础知识较为牢固时，遇到具体问题，具体学习对应的包
2020-12-27 22:20:56
133603
2
原创 python之numpy库--科学计算基础库必学（一）
numpy是Python一个非常强大的拓展库，专门用来处理数组和矩阵运算，并且提供数组和矩阵相关的大量内置函数库，其运行效率非常高，而专门进行数据分析的pandas库也是基于numpy的数据底层。可以说在处理大量数据的场景下，numpy有着绝对的应用场景，一般主要应用于以下场合：处理数组和矩阵运算等基础运算 线性代数、傅里叶变换、大量随机数生成等基础应用场景 与scipy和matplotlib库组合使用，处理科学计算相关问题，可以基本替代matlab，并且因为其可以与Python其他库（网络和数据库
2020-12-26 22:52:53
133044
1
原创 python之sympy库--数学符号计算与绘图必备
在实际进行数学运算的时候，其实有两种运算模式，一种是数值运算，一种是符号运算（代数）。而我们日常使用计算机进行数值运算，尤其是比如除、开平方等运算时，往往只能得到其近似值，最终总会已一定的误差，如果使用符号运算模式，则可以完全避免此种问题。一、数学符号及符号表达式符号表达式，区别于常规的数值型数学表达式，常规数学表达式，比如x+y*2等，基本x和y是一个变量，且变量最终也会被赋值，由变量组成的表达式，最后得出的也是一个数值。而符号表达式，则真正的由符号组成，而符号无需提前赋值，由符号组成的表达式
2020-12-12 18:47:32
169435
13
原创 pandas基础操作大全之数据可视化
在pandas 基础操作大全之数据读取&清洗&分析中介绍了pandas常见的数据处理操作，现在继续对pandas常用的数据合并及数据可视化操作做下介绍，便于大家快速了解，也方便后续需要时快速查询。一、数据合并1.1 concat1.1.1 概述#concat是1.1.2 指定合并的轴方向--axis1.2.3 指定合并轴另外一个轴标签是否合并--join1.2.4 指定合并轴原标签是否需要变化--ignore_index1.2.5 指定1.2.6 指定合
2020-12-05 20:50:03
138834
2
原创 pandas基础操作大全之数据合并
在pandas 基础操作大全之数据读取&清洗&分析中介绍了pandas常见的数据处理操作，现在继续对pandas常用的数据合并操作做下介绍，便于大家快速了解，也方便后续需要时快速查询。一、 concat--数据合并1.1概述#pandas 的 concat函数表达式如下pd.concat( [df1, df2, df3], #指定需合并的两个或多个Dataframe，各个df的shape可以不同 axis = 0, #指定合并时，合并的轴方向，默认为0，即.
2020-12-05 12:00:57
136699
1
原创 pandas 基础操作大全之数据读取&清洗&分析
近期因工作需要，需对几十万条商品和订单数据进行初步的数据分析，本来尝试过用Excel，但是数据量一旦超过10万条，Excel和电脑的性能瓶颈就捉襟见肘了，为了后续遇到类似问题提升处理效率，抽空系统性的研究学习了pandas这个库，初步上手之后，感觉以后再处理千万级的数据量的时候，也会游刃有余了，话不多讲，直接进入正题。本文主要沿着在日常使用pandas处理数据时的步骤，讲解pandas对应的知识点和常见操作，分析工具使用jupyter-notebook，强烈推荐。本文假设已经对pandas有基础性的
2020-11-30 00:51:52
10734
5
原创 css布局方案和机制大全
本文章主要系统性讲解和汇总css与布局相关的知识，便于大家后续查阅和讨论。整体而言，css布局的技术，主要与display、table、float相关，如果去除table布局，则核心是display与float属性之间的结合使用，来达到多样化的页面布局效果。布局的核心是处理纵向和横向分布的问题，对于纵向而言，直接使用块级元素，按照标准文档流进行布局即可。对于横向而言，因为原则性整体而言...
2020-03-15 21:53:10
133657
原创 用Python复制指定文件夹内所有文件或复制整个文件夹结构至指定文件夹
近期在研究Python，随着学习的深入，发现越来越喜欢Python，其简洁的语法、丰富的库等，都给我这种希望快速对某个想法实施的人带来很多内心的喜悦。话不多说，今天给大家分享两个函数，分别用来实现将某文件夹内所有文件或整个文件夹结构复制至指定文件夹1、将某文件夹整体复制至指定文件夹因为相对比较简单，只要大家对Python的OS熟悉，且知道递归函数的原理，基本可以看懂。import...
2020-02-10 22:29:47
148000
上海疫情数据及源代码实现
2022-04-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人