Python_xiaowu-CSDN博客

原创用 NumPy 在 Python 中处理数字

这篇文章讨论了安装 NumPy，然后创建、读取和排序 NumPy 数组。NumPy（即NumericalPython）是一个库，它使得在 Python 中对线性数列和矩阵进行统计和集合操作变得容易。我在 Python 数据类型的笔记中介绍过，它比 Python 的列表快几个数量级。NumPy 在数据分析和科学计算中使用得相当频繁。我将介绍安装 NumPy，然后创建、读取和排序 NumPy 数组。NumPy 数组也被称为 ndarray，即 N 维数组的缩写。安装 NumPy...

2022-01-11 14:46:10 188

原创一线算法工程师总结：python常用数据挖掘算法PDF版

很多人未必学过数据挖掘，甚至可能没有听过这四个字，但实际已经早就开始在进行数据挖掘。譬如说股民。炒股就是股市中的数据挖掘，分析K线图和股市后市走势、考察公司的指标体系推测股票的未来价值。所做的这些事就是把从各种地方收集的信息，也就是“数据”加以整理分析，挖掘出和你关心的对象的目标关系。领取见“文末”一个优秀的数据分析师，除了要掌握基本的统计学、数据库、数据分析方法、思维、数据分析工具技能之外，还需要掌握一些数据挖掘的思想，帮助我们挖掘出有价值的数据，这也是数据分析专家和一般数据分析师的差距之一。

2022-01-07 21:59:19 1062

原创太漂亮了，输出好看的表格，就用这个 Python 库

1. 前言最近在用 Python 写一个小工具，这个工具主要就是用来管理各种资源的信息，比如阿里云的 ECS 等信息，因为我工作的电脑使用的是 LINUX，所以就想着用 python 写一个命令行的管理工具，基本的功能就是同步阿里云的资源的信息到数据库，然后可以使用命令行查询。因为信息是展现在命令行中的，众所周知，命令行展现复杂的文本看起来着实累人，于是就想着能像表格那样展示，那看起来就舒服多了。prettytable库就是这么一个工具，prettytable 可以打印出美观的表格，并且对中文支

2022-01-07 21:45:43 162

原创 Python基础之pytest参数化

pytest是目前比较成熟功能齐全的测试框架，使用率肯定也不断攀升。在实际工作中，许多测试用例都是类似的重复，一个个写最后代码会显得很冗余。这里，我们来了解一下@pytest.mark.parametrize装饰器，可以很好的解决上述问题。源代码分析defparametrize(<span style="color:#3333.

2022-01-07 21:43:58 290

原创如何在 Python 中创建一个不可变的字典 - Adam Johnson

Python 的内置集合类型具有可变和不可变两种风格：可变版本：list 不可变版本：元组可变版本：set 不可变版本：frozenset 可变版本：dict 不可变版本：MappingProxyTypePEP 416早在 2012 年就为 Python 3.3提出了一种类型frozendict。PEP 被拒绝，原因有很多。推理包括几个关于不可变 dict 的效用的问题，在将它们添加到代码之前值得检查一下。但是 PEP确实为我们提供了一个模拟不可变dicts：的工具类型.MappingPr.

2022-01-07 21:41:24 1501

原创 1万字详解 python logging日志模块

说到日志，无论是写框架代码还是业务代码，都离不开日志的记录，他能给我们定位问题带来极大的帮助。记录日志最简单的方法就是在你想要记录的地方加上一句 print ，我相信无论是新手还是老鸟都经常这么干。在简单的代码中或者小型项目中这么干一点问题都没有。但是在一些稍大一点的项目，有时候定位一个问题，需要查看历史日志定位问题，用print就不合时宜了。print 打印出来的日志没有时间，不知道日志记录的位置，也没有可读的日志格式，还不能把日志输出到指定文件。。。。除非这些你都全部自己重复造一遍轮子。

2022-01-07 21:35:28 193 1

原创 Python原生数据结构增强模块collections

collections简介python提供了4种基本的数据结构：list、tuple、dict、set。基本数据结构完全可以hold住所有的场景，但是在处理数据结构复杂的场景时，这4种数据结构有时会显的单一，比如将相同字母组成的字符串归类到列表中，是一个key为字符串，value为列表的数据结构，复杂度为O(1)的情况下完成LRU（力扣原题）。这个时候今天的主角collections包就可以登场了。collections是基本数据结构的高性能优化版，它提供了多个有用的集合类，熟练掌握这些集合...

2022-01-06 22:35:59 575

原创 python爬虫实例——基于python实现有道云翻译接口

# 分析包# 分析post请求中参数# 使用python模拟lts、sign、salt参数运算# 执行结果> > 1、按F12对网页进行分析，填写内容后自动翻译的功能一般是通过ajax实现的，所以可以有目的的对xhr包进行筛选，如果不知道这个点也可以一个个包进行查看分析，找包里面有需要翻译的内容和翻译结果> > 2、分析发送请求中参数的参数，发送两次请求也就是翻译两次，对两次的包进行分析，可以发现每次发送的请求中salt、sign、lts的数据都不

2022-01-05 22:27:21 380

原创不止短信，教你用 Python 发送告警通知到微信

常见的告警方式有：邮件，电话，短信，微信。短信和电话，通常是收费的（若你有不收费的，可以评论分享一下），而邮件又不是那么及时，因此最后我选择微信通知。这里说的微信，是企业微信，而我之前用注册过个体户的执照，因此可以很轻松就可以注册自己的企业微信。#1. 新建应用登陆网页版企业微信（https://work.weixin.qq.com/），点击应用管理->应用->创建应用上传应用的 logo，输入应用名称，再选择可见范围，成功创建一个告警应用#2. 获取秘...

2022-01-05 22:25:28 675

原创 2022 最值得学习的编程语言：Python 高人气，Ruby 薪水最优渥

编程课程网站 CodingNomads 发布了一份“2022 年最值得学习的编程语言”报告，详细介绍了一些语言的职位需求和薪资水平。如果你对编码的数据和逻辑方面感到兴奋，你可能希望学习 Python、Java、C、C++ 或 C#。如果你对视觉设计和 UX/UI 很感兴趣，那么 JavaScript 和 TypeScript 将是最适合你的语言。如果你想创建移动应用程序，你应该学习 Android 的 Java，以及苹果 iOS 的 Swift/Objective-C。除了个人兴趣和偏好外，归根结

2022-01-05 22:22:43 8211 7

原创 Python中的图形绘制——3D绘图

在 matplotlib 中可以轻松绘制 3D 图形。接下来讨论一些重要且常用的 3D 图。1画点代码from mpl_toolkits.mplot3d <span style="co.

2022-01-05 22:20:46 1779

原创 Python变量和参数传递

目录（1）Python变量不能独立存在（2）变量是内存中数据的引用 3、Python的参数传递（重点）1、Python的变量（1）Python变量不能独立存在比如在C++等语言中，变量的声明和赋值是可以分开的。 int a;a=343; 而在Python中却不行，在声明Python变量的同时必须进行赋值操作，否则会报错。 Python Console: starting.Python 3.7.7 >>> aTraceback (mo..

2022-01-05 22:19:15 2366

原创两行代码，为 Python 脚本生成命令行

有时候我们会有这样的一个需求：我们定义了一个 Python 的方法，方法接收一些参数，但是调用的时候想将这些参数用命令行暴露出来。比如说这里有个爬取方法：import requestsdef scrape(url, timeout=10): response = requests.get(url, timeout=timeout) print(response.text)这里定义了一个 scrape 方法，第一个参数接收 url，即爬取的网址，第二个参数接收 time

2022-01-05 22:09:03 617

原创来一波 Python 精选资源（2021版）

今天给大家分享一些前段时间收藏的资源，内容非常地多，领域也非常地广。数据处理巨大的数据量不是EXCEL能处理的，因此需要有一定的编程技能（主要应用到python和SQL，python学习开发都比较简单，SQL用来数据库取数。）还有必备的统计学基础、数据思维。Python 基础知识还在基础爬坑的同学可以瞅瞅数据分析有了数据还要理解数据本身代表什么，大数据隐藏什么知识，因此要结合“业务常识”判断数据是否合理。数据可视化可视化...

2022-01-04 21:37:11 534

原创 Birdseye 极其强大的Python调试工具

Birdseye是一个Python调试器，它在函数调用中记录表达式的值，并让你在函数**退出**后轻松查看它们，例如：无论你如何运行或编辑代码，都可以使用Birdseye。只需要你安装好依赖：pip install birdseye并在代码函数上方添加@eye装饰器（如上动图所示），即可根据需要运行函数，并在浏览器中查看结果。它还可以与一些常用工具集成在一起，如 Pycharm 和 Vscode，以提供更流畅的体验，后续我们会介绍如何将其与这些工具结合使用。...

2022-01-04 21:33:34 1095

原创如何将Python算法模型注册成Spark UDF函数实现全景模型部署

背景 Background对于算法业务团队来说，将训练好的模型部署成服务的业务场景是非常常见的。通常会应用于三个场景：部署到流式程序里，比如风控需要通过流式处理来实时监控。部署到批任务中部署成API服务然而在现实世界中，很多算法工程师都会遇到需要花费很多精力在模型部署工程上的问题，平台割裂。训练和部署是在不同平台完成的。配合问题。部署一个模型，需要研发工程师，运维配合，才能完成这件事。技术问题，一般地，大数据里的批流亦或是Web服务一般用Java/Scala/C++偏多些，而A

2022-01-04 21:31:44 350

原创推荐 3 个 Python 时序分析神器

时间序列分析是一类经典问题，常见的场景需求包括时序预测、时序分裂、时序聚类、异常检测等。作为一名算法工程师，当调包遇上时间序列，有哪些好用的工具包呢？本篇首先介绍3个：tsfresh、tslearn、sktime。本文主要对三个时序工具包进行简要介绍，包括工具包的功能定位、主要特色及优劣势等，并列出了相关的论文、文档和github地址可供详细查阅。一、tsfreshtsfresh工具包，是一个定位于时间序列特征工程相关的工具包，包括对时间序列自动提取特征、特征选择、特征转换等...

2022-01-04 21:30:40 977

原创厌倦了C++，CS&ML博士用Rust重写Python扩展，还总结了9条规则

Python 是数据科学家最流行的编程语言之一，其内部集成了高质量分析库，包括 NumPy、SciPy、自然语言工具包等，这些库中的许多都是用 C 和 C++ 实现的。然而，C 和 C++ 兼容性差，且本身不提供线程安全。有研究者开始转向 Rust，重写 C++ 扩展。拥有 CS 与机器学习博士学位的 Carl M. Kadie，通过更新 Python 中生物信息学软件包 Bed-Reader，为研究者带来了在 Rust 中编写 Python 扩展的九个规则。以下是原博客的主要内容。一年前，我.

2022-01-04 21:29:23 334

原创 Python两处容易理解错误的设计

函数内部修改可变类型的变量时不会视作局部变量（除非函数内有该变量的赋值运算符），因为如果做局部变量处理则修改语句势必报错，此处的理解不会有歧义：s = 'test'd = {True:1,2:'Second'}def f(): d['name']='China' print(d,'\n') s = 1 print('函数f()内的局部变量:\n\t\ts={0}\tid={1}\n'.format(s,id(s)))f()print('全局变量:\n\t\..

2022-01-04 21:27:29 132

原创 Python的日期和时间及其处理的常用方法

1. Python时间类型简介Python中常用的时间表示方法有以下几种：时间戳格式化的时间字符串 time模块的time.struct_time类 datetime模块的datetime类其中时间戳（imestamp）又称为Unix时间、POSIX时间。它表示从格林尼治时间1970年1月1日0时0分0秒开始到现在所经过的毫秒数，其值为float类型。但Python返回的是秒数，需要说明的是时间戳是个差值，其值与时区无关。格式化的时间字符串是形如'2022-01-01 13:14:5..

2022-01-04 21:26:47 3539

原创 python程序结构和异常处理

（一）程序结构和异常处理（二）迭代和生成器（三）函数式编程本篇文章学习的内容是第一篇，目录如下：01程序结构1.1 模块Module1）定义python中的模块指的是包含一系列数据、函数和类的文件，通常以.py结尾。python程序结构示意图2）作用让一些相关的数据、函数和类更有逻辑地组织在一起，使逻辑结构更加清晰。3）导入python模块导入 import from import 语法 1） impor...

2022-01-04 21:26:03 209

原创典型相关分析介绍及python实现

在处理单个高维数据时,通过可以通过LDA,PCA,等等方法进行降维处理,但是如果某两个数据来自同一个样本,但是数据类型不同,差距巨大时,怎么办呢?这个时候就是典型相关性分析(Canonical Correlation Analysis,CCA)的应用场景.CCA允许我们同时从两套数据分析.典型的应用场景就包括生物学上的联合分析,同一组样本,同时检测转录组和蛋白组,转录组和代谢组以及微生物代谢组等等,更详细的内容可参考维基百科.CCA与PCA的联系与差别CCA有点类似PCA(主成分分析,princ..

2021-12-31 16:03:39 4086 1

原创用Python写游戏脚本原来这么简单

前言最近在玩儿公主连结，之前也玩儿过阴阳师这样的游戏，这样的游戏都会有个初始号这样的东西，或者说是可以肝的东西。当然，作为一名程序员，肝这种东西完全可以用写代码的方式帮我们自动完成。游戏脚本其实并不高深，最简单的体验方法就是下载一个Airtest了，直接截几个图片，写几层代码，就可以按照自己的逻辑玩儿游戏了。当然，本篇文章不是要讲Airtest这个怎么用，而是用原始的python+opencv来实现上面的操作。这两天我写了一个公主连结刷初始号的程序，也不能算写游戏脚本的老手，这篇文章主要

2021-12-31 16:02:23 437

原创如何用 Python 自动发送微博？

一、软件准备1.安装Python 环境首先需要你的电脑安装好了Python环境，并且安装好了Python开发工具。如果你还没有安装，可以参考以下文章：如果仅用Python来处理数据、爬虫、数据分析或者自动化脚本、机器学习等，建议使用Python基础环境+jupyter即可，安装使用参考Windows/Mac 安装、使用Python环境+jupyter notebook2.安装selenium库pip install selenium3.下载谷歌浏览器驱动chrom...

2021-12-31 15:58:15 1388 1

原创 Python pyecharts绘制词云图

一、pyecharts绘制词云图WordCloud.add()方法简介WordCloud.add()方法简介add(name,attr,value,shape="circle",word_gap=20,word_size_range=None,rotate_step=45)name str 图例名称attr list 属性名称value list 属性所对应的值shape 词云图轮廓对应属性可选'circle', 'rect', 'roundRect', 'triangle', 'd

2021-12-31 15:54:56 5840

原创 Python文件操作

1.文件的读写1.1.文件的创建与写入利用内置函数open获取文件对象文件操作的模式之写入文件对象的操作方法之写入保存 <span style="color:#.

2021-12-31 15:53:23 496

原创如何用Python保存语音、图片、视频等信息转发给好友

要想完成这个需求，需要用到python中的两个库，itchat库和itchat-uos，2017年后，新注册的微信很难登录网页版，itchat-uos利用统信UOS的网页版微信，可以帮助我们绕开网页微信的登录限制。本次使用的版本是 python3.7 版本一、安装该模块并导入pip install itchat itchat-uosimportitchatfromitchat.contentimport*二、使用itchat的文档可参考https://itc...

2021-12-31 15:50:56 847

原创 Python 开发神技 -- 使用管道 Pipe

众所周知，Pytnon 非常擅长处理数据，尤其是后期数据的清洗工作。今天派森酱就给大家介绍一款处理数据的神器 Pipe。什么是 Pipe简言之，Pipe 是 Python 的一个三方库。通过 Pipe 我们可以将一个函数的处理结果传递给另外一个函数，这意味着你的代码会非常简洁。要使用 Pipe 需要提前安装，直接使用 pip 安装即可。pipinstallpipe过滤元素和 filter 类似，pipe 中的 where 操作可以过滤可迭代对象中的元素。In...

2021-12-31 15:49:01 2277

原创 python turtle 书写新年快乐

2021年的最后一天，推荐一个Python的三方库turtle，为大家写上新年快乐，是一个可以绘制图像文字的库。这里的例子比较简单，就是依据各个点坐标连线最后形成文字的，先附上成品图的：主要用到的几个方法：t.screensize(400, 400, "#fff")初始化画布，参数是宽、高、背景色；t.pensize(penSize)设置画笔宽度；t.pencolor("#ff0000")设置画笔的颜色；t.speed(10)画笔的速度，参数范围 [1-10]，越大...

2021-12-31 15:45:51 4833

原创堪比Excel，Python可视化神器Altair入门详解

数据转化成更直观的图片，对于理解数据背后的真相很有帮助。如果你有这方面的需求，而且还在使用Python，那么强烈推荐你试一试Altair。Altair是一个专为Python编写的可视化软件包，它能让数据科学家更多地关注数据本身和其内在的联系。Altair由华盛顿大学的数据科学家Jake Vanderplas编写，目前在GitHub上已经收获超过7200星。最近，Medium上一位小姐姐Parul Pandey分享了Altair的入门教程，希望对从事数据科学的用户有帮助。量子位对主要内容进行了

2021-12-30 20:51:09 1062

原创一行代码简化 Python 异常信息：错误清晰可见，排版简洁明了

即使是Python，报错时也令人头大。看着这一堆乱麻，不知道是该怀疑人生，还是怀疑自己手残。那么，Python异常输出美化工具「PrettyErrors」了解一下？只需一个import，报错也能整齐划一，错误代码位置、错误原因清晰明了，一眼就能看清。debug仿佛都没有那么痛苦了。喜欢本文，点赞、收藏、关注。一行代码简化报错先来试试一个简单的错误。deffoo():1/0foo()不使用PrettyErrors库，报错信息长这样：倒是能看清，就是这一...

2021-12-30 20:46:59 352

原创 Python爬取大量数据时，如何防止IP被封

继续老套路，这两天我爬取了猪八戒上的一些数据网址是：http://task.zbj.com/t-ppsj/p1s5.html，可能是由于爬取的数据量有点多吧，结果我的IP被封了，需要自己手动来验证解封ip,但这显然阻止了我爬取更多的数据了。下面是我写的爬取猪八戒的被封IP的代码# coding=utf-8import requestsfrom lxml import etreedef getUrl(): for i in range(33): url = ...

2021-12-30 20:28:20 1117

原创 20个小技巧，让数据可视化图表更专业

参考uxdesign Taras Bakusevych数据可视化是数据展示的常见方式，所谓一图抵千言，好的图表能高效传递信息，让观众一目了然，差的图表往往会不知所云。人类大脑的一半完全是用于处理可视化信息的。当你给用户展示一张信息图的时候，你已经以大脑的最大带宽路径在影响他了。一张设计优良的数据可视化图能即时给予观者深刻的印象，并能穿透一个复杂故事的芜杂直抵问题的核心。众所周知，纽约时报的可视化图表非常专业，既能阐述事实，也不失简洁美观。作为普通人，其实只要遵守一些设...

2021-12-29 15:43:20 187

原创用 Python 库 PySimpleGUI 制作自动化办公小软件

Python 在运维和办公自动化中扮演着重要的角色，PySimpleGUI 是一款很棒的自动化辅助模块，让你更轻松的实现日常任务的自动化。1 PySimpleGUI安装在命令行/终端输入：pip install pysimplegui，等待安装完成后，进入python环境，输入import PySimpleGUI回车无误后，确认安装成功2 PySimpleGUI制作简易弹窗界面2.1 两种界面设计模式（1）单次显示界面（one-shot window）类似于弹窗，出...

2021-12-29 15:37:28 195

原创强大的 Python 信号库：blinker 入门教程

#1 信号信号是一种通知或者说通信的方式，信号分为发送方和接收方。发送方发送一种信号，接收方收到信号的进程会跳入信号处理函数，执行完后再跳回原来的位置继续执行。常见的 Linux 中的信号，通过键盘输入 Ctrl+C，就是发送给系统一个信号，告诉系统退出当前进程。信号的特点就是发送端通知订阅者发生了什么。使用信号分为 3 步：定义信号，监听信号，发送信号。Python 中提供了信号概念的通信模块，就是blinker。Blinker 是一个基于 Python 的强大的信号库，它既支持.

2021-12-29 15:33:03 800

原创强烈建议你学这 3 个 Python AutoEDA 工具包

数据科学爱好者知道，在将原始数据输入机器学习模型解决实际问题之前，需要对其进行大量处理。根据问题的类型(回归或分类)，需要遵循一系列步骤来准备和格式化数据。为了探索数据集，Python 是可以说是最强大的数据分析工具之一。此外，它可以更好地数据可视化。数据科学和机器学习不仅仅是拥有强大计算机科学背景的人可以接触到的。相反，越来越多的来自不同行业的专业人士已加入这一领域。但是对于一个刚刚开始机器学习的初学者来说，也不是一件很容易的事情。在本文中，我们将讨论三个面向初学者非常友好的自动化 EDA Pyt

2021-12-29 14:51:58 252

空空如也

空空如也