- 博客(81)
- 收藏
- 关注
RSS订阅原创 数据科学家都应该了解的5个Python库
作为数据科学家免不了会使用一些Python库用于项目和研究，Python之所以能成为世界上最受欢迎的编程语言之一，与其整体及其相关库的生态系统密不可分，这些强大的库让Python保持着生命力和高效力。除去那些常见的库，还有很多库能够增强你的数据科学研究能力。本文将介绍五大难懂的Python库，可能不太好理解但只要弄懂它们你就能功力大增!1. Scrapy每位数据科学家的项目都是从处理数据开始的，而互联网就是最大、最丰富、最易访问的数据库。但可惜的是，除了通过pd.read_html函数.
2020-08-11 13:37:54
338
1
原创 使用Python实战反欺诈模型
本文将使用Python进行反欺诈模型数据分析实战，因变量中各分类占比悬殊，就可对其使用一定的采样方法，以达到除模型调优外的精度提升。基于不平衡数据模拟分类预测模型中因变量分类出现不平衡时该如何解决，具体的案例应用场景除反欺诈外，还有客户违约和疾病检测等。主要将分为两个部分：原理介绍 Python实战原理介绍与其花大量的时间对建好的模型进行各种调优操作，不如在一开始就对源数据进行系统而严谨的处理。而数据处理背后的算法原理又常是理解代码的支撑。所以本节将详细介绍不平衡采样的多种方法。...
2020-08-10 22:34:55
1036
原创 Python Wheels的含义
前言Python .whl文件(或wheels)对Python包的安装过程非常重要，但在Python中也是很少讨论的一部分，假如你已经使用pip安装了Python包，那么很有可能是轮子(wheels)使安装速度更快、效率更高了。轮子有助于使包的安装工作正常进行，是Python生态系统的一个组件，并允许更快的安装和更稳定的包分发过程。本文将带你深入了解轮子是什么，它们提供了什么好处，以及它们是如何获得吸引力并使使用Python变得更方便的。轮子简介在学习如何将项目打包到轮子中之前.
2020-08-10 19:03:22
1526
原创 为什么要学习Python？
Python是世界上公认的编程语言中需求最大和最流行的编程语言之一。大多数学习Python的人是否会问过自己：“我为什么选择学习Python? 学习Python的理由是什么？”，在最新的StackOverflow调查中，Python已经取代了C语言、C++和Java，登上榜首。这就是为什么许多程序员和新手开发人员更愿意学习Python，并且认为Python认证是最受欢迎的编程认证之一。为什么应该学习Python?当你从基础知识开始学习，一切碎片化的知识都能变得充实。因此，在了解学习Pyth.
2020-08-10 14:07:39
237
原创 分享一款Python神器
写Python代码经常会遇到Windows平台安装第三方包经常失败的问题和虚拟环境切换的问题，这两个问题最让人头痛，然而这两个问题Anoconda可以拯救。Anaconda 是什么？Anaconda 是一个可用于科学计算的 Python 发行版，支持 Linux、Mac、Windows系统，内置了常用的科学计算包。它解决了官方 Python 的两大痛点。一句话总结就是它是一个比Python官方更牛逼的安装包第一：提供了包管理功能，Windows 平台安装第三方包经常失败的场景得.
2020-08-08 22:29:54
111
原创 Python 终极调试指南
作为经验丰富的开发人员，即便你编写了清晰易读的代码，并对代码进行了全方位的测试，但在某些时候程序还是会不可避免地出现一些奇怪的 Bug，这时候你就需要以某种方式 Debug。本文会介绍一些 Python 调试的高级技巧。使用 Logging 模块如果你编写的应用程序没有使用日志功能，那你终究会后悔没有及时用它的。如果应用程序中没有打印任何运行日志，就很难对程序错误进行故障定位及排除。幸运的是在 Python 中，我们很容易配置基本的日志模块：复制代码importlogging.
2020-08-08 19:13:59
224
原创 Python的基本类型和变量
本文主要介绍Python的基本类型和变量，正式了解Python的语法特性，现在先介绍下Python中的标准输入输出。标准输入输出前文举过TwoSum问题的例子，但是没有讲到标准输入输出的处理，因为那部分leetcode平台帮我们处理了。但实际上标准输入输出是非常重要的，是我们编写任何代码都必须先了解的语法，这里以C#做对比，介绍Python的标注输入方法input和标准输出方法print。input方法在Python中的作用和Console.ReadLine一致，可以从电脑获得用户的
2020-08-08 13:53:54
223
原创 适合Python开发的Windows 平台最佳组合
本文将带你了解如何利用微软官方维护的 MS Terminal 与 VS Code，来为 Python 开发保驾护航。在 Windows 上怎样做 Python 开发？是像大神那样使用纯文本编辑器，还是用更加完善的 IDE？到底是用自带的命令行工具，还是需要装新的 Terminal？Windows与 Linux 或 macOS 不同，在 Windows 上做开发总会遇到很多挑战，不论是文件编码、环境控制还是项目编译，开发过程中总会有一些神奇的收获。它有一大好处是应用太丰富了，这些对于初学者来说尤其突出：我
2020-08-07 18:56:58
369
原创 VSCode配置的开发环境
一、安装为降低学习门槛，保证学习目标的聚焦，我们在windows（使用WinServer2019虚拟机）上搭建开发环境。（系列教程最后结束时，也会部署到linux上）打开Python官网https://www.python.org/，找到windows对应环境的下载包。下载后的文件名为：python-3.8.5-amd64.exe，直接双击运行即可完成安装。说明：安装时注意要勾选Add Python 3.8 to PATH，其他都按默认选项即可。接下来我们做如下检查：...
2020-08-07 13:27:01
1216
原创 Python中的6个优秀可视化库
相信大多数小伙伴在使用可视化工具时，经常会对使用哪个可视化工具感到困惑?本文将会为您分解了每个库的优缺点。动机如果您刚开始使用Python可视化，可能会不知所措的库和示例数量众多：Matplotlib Seaborn Plotly Bokeh Altair Folium如果您有一个等待可视化的DataFrame，应该选择哪一个? 在某些情况下，某些库可能比其他库更好。 本文将展示每种方法的优缺点。 到本文结尾，您应该能够区分每个库的不同功能，并可以更轻松地选择优秀库。我们将通过.
2020-08-06 22:12:02
1023
原创 基于Python的决策树分类器与剪枝
介绍决策树是通过基于每个层次的多个问题做出决策来分解数据，是处理分类问题的常用算法之一。而决策树分类器是一种有监督的学习模型，在我们关心可解释性时非常有用。为了更好地理解它，让我们看看下面的例子。决策树通常包括：根节点-表示被进一步划分为同质组的样本或总体 拆分-将节点分为两个子节点的过程 决策节点-当一个子节点根据某个条件拆分为其他子节点时，称为决策节点 叶节点或终端节点-不进一步拆分的子节点 信息增益-要使用一个条件(比如说信息最丰富的特征)来分割节点，我们需要定义一个...
2020-08-06 18:56:15
312
1
原创 Python内置库SQlite3使用指南
SQLite具有作为关系数据库所需的几乎所有功能，如果你是软件开发人员，相信你一定知道或者曾经使用过这个非常轻量级的数据库，在其官方网站上，SQLite的主要应用场景包括：嵌入式设备和物联网 数据分析 数据传输 文件存档或数据容器 内部或临时数据库 在演示或测试期间替代企业数据库 教育、培训和测试 实验性SQL语言扩展当然，SQLite还有很多其他功能，在此不一一列举，感兴趣的同学可以去看官方文档：https://www.sqlite.org/whentouse.html最重要的是，
2020-08-06 13:37:56
598
原创 实战机器学习多元线性回归模型
导语：现在大多数人入门机器学习的第一个案例是多元线性回归模型，其中多元共线性这个问题将贯穿所有的机器学习模型。这里选用的经典房价预测用到的精度优化方法效果拔群，能提供比较好的参考价值，将会带大家讲解如何更好构建和优化多元线性回归模型。研究方向：机器学习，多元线性回归模型，Python数据探索本文的数据集是经过清洗的美国某地区的房价数据集import pandas as pdimport numpy as npimport seaborn as snsimport matp..
2020-08-05 22:42:53
1073
原创 结合 Golang来提高 Python 的计算性能
1. 前言大部分小伙伴们应该都知道Python是一个生产力很高的语言，它可以以最高的效率完成最多的事，但Python的性能一直是我们诟病的一个问题，尤其是一个大锁 GIL。可能有的小伙伴听说过 Python + C\C++，用 C\C++ 重写 Python 计算密集的地方，来提高性能当然， 这是一种很好的解决办法，但是我们知道 C\C++ 是有一些学习成本，有没有再更好的解决方案呢？当然了，现在我们大部分程序都是（ IO ）网络密集型程序，Python 足以胜任，但是如果说我们已经存在的项
2020-08-05 19:53:46
426
原创 Window计划任务结合Python监测邮件
自动化现在算是最有显B格的谈资了，现在你每天上班还要登录各个邮箱账号查收邮件吗？快来解锁本章内容整体思路通过Python zemail库实现邮件读取 将最新一封邮件ID进行保存，第二次执行时比对邮件ID，判断是否是新邮件 通过Python pymsgbox库实现window弹窗提示 配置Window计划任务，每1分钟执行一次步骤一：邮件读取读取邮件通过Python zemail库进行，使用前通过 pip install zemail进行安装，下面来看个邮件读取的例子import z
2020-08-05 13:38:08
248
原创 Web应用程序用Python构建数据科学
作为一名数据科学家或机器学习工程师，能够部署我们的数据科学项目是很重要的。传统的使用Django或Flask这样的框架来部署机器学习模型可能是一项艰巨和耗时的任务。本文将展示如何使用streamlitpython库快速构建一个简单的数据驱动web应用程序，只需几行代码。我们正在构建的股票网络应用程序概述今天，我们将构建一个简单的web应用程序来显示股票价格和成交量。这将需要使用两个Python库，即streamlit和yfinance。从概念上讲，该应用程序将从雅虎检索历史市场数据，从y..
2020-08-04 22:46:40
129
原创 在Python中妥善使用进度条
1 简介在日常运行程序的过程中经常会涉及到循环迭代过程，对于运行过程有明显耗时的涉及循环迭代的程序，为其加上进度条（progress bar），是帮助我们监测代码执行进度以及处理中间异常错误非常实用的技巧，但对于执行时间很短的程序来说倒无所谓。本文就将为大家介绍Python中非常实用又风格迥异的两个进度条相关库——tqdm与alive-progress的主要用法。2 tqdm常用方法tqdm是Python中所有进度条相关库中最出名的，既然是最出名的，自然...
2020-08-04 18:53:37
218
原创 Python爬取“爆款剧”——《三十而已》热评，并做可视化
前言最近一部“爆款剧”——《三十而已》获得了口碑收视双丰收，剧中三个女主角的故事线频频登上微博热搜，为了了解吃瓜群众们对这部剧的看法，爬了爬腾讯视频关于这部剧的评论，并做了简单文本可视化分析。一、数据获取1.分析评论页面腾讯视频评论要点击查看更多评论才能加载更多数据，很明显是一个动态网页，评论内容使用了Ajax动态加载技术。因此，我们需要找到真实URL，然后再请求数据。找到真实URL其实不难，按照以下步骤即可找到。当然，你也可以使用抓包工具fiddler，同样可以轻松找到。2
2020-08-04 13:36:37
436
1
原创 logging日志模块——python接口自动化
前言：我们之前运行代码时都是将日志直接输出到控制台，而实际项目中常常需要把日志存储到文件，便于查阅，如运行时间、描述信息以及错误或者异常发生时候的特定上下文信息。logging模块介绍 Python中自带的logging模块提供了标准的日志接口，在debug时使用往往会事半功倍。为什么不直接使用print去输出呢？这种方式对简单的脚本来说有用，对于复杂的系统来说相当于一个花瓶摆设，大量的print输出很容易被遗忘在代码里，并且print是标准输出，这很难从一堆信息里去判断哪些是你需要重点关注的。
2020-08-03 22:24:28
198
原创 配置文件ConfigParser的使用
前言：目前我们使用的绝大多数计算机程序都是通过菜单界面系统配置的，它几乎成了我们使用机器的默认方式。无论是办公软件，浏览器，甚至游戏、视频都是，几乎成了我们使用机器的默认方式。而在python中，也有这样的一个配置模块可以把代码可配置化。什么是配置文件 这里的配置文件不同于我们平常所见的可视化的菜单界面，它是像代码形式的，如下示例： :question:为什么要做配置文件？ :heavy_check_mark:让代码和配置都变成可模块化可配置化，提高代码的重用性，那什么时候把它变成
2020-08-03 13:34:09
345
原创 检测Python代码的规范性
按照平时的代码管理，可以将Python代码规范检测分为两种：1.git：可借助git hooks，本文推荐使用pre-commit。2.静态本地检测：可以借助静态检查工具，比如：Flake8，Pylint等，调研了一下，用Flake8的相对较多，功能满足，本文将使用Flake8，一定要注重代码的规范性。静态本地检测Flake8包装了Pyflakes、Pycodestyle和McCabe，也可以自定义插件。功能包括：检查代码是否符合PEP8 检查是否包含语法错误和未使用的变量和导入 检查代码的
2020-07-31 13:37:15
532
原创 教你怎么解决搭建openstack环境问题
1，hostname没有切换过来localhostError: unable to connect to node rabbit@localhost: nodedown重启rabbitmq服务2，Login was refused using authentication mechanism AMQPLAIN.rabbitmqctl list_users查看有没有opensatck用户，否则重建3，安装文档中缺少restart L3服务4，ml2.conf配置文件增加local.
2020-07-30 22:31:02
388
原创 Optuna的进阶使用
Optuna作为主要面向深度学习超参数调优开发的框架，在实现之初就考虑到了大型模型参数调优的各种实际情况，并逐一针对它们设计了解决方案。分布式优化一提到分布式算法，我们想到的可能是麻烦的 debug 过程和分布式实现过程中各种线程锁之类的问题。你可能会好奇，带有 GIL的 python 超参数优化库是怎么实现分布式优化的？实际上，通过选择不同的共享参数的方式，Optuna 规避了这一问题（optuna 在内部使用了 joblib, 然而仍然受到 GIL 的限制）。在 Optuna 中，用户不是在单个
2020-07-30 18:44:11
5425
原创 使用 Python 为物联网系统编写程序通过 VSCode RTOS 插件
物联网（IoT）无处不在，它意味着几乎所有的产品，从冰箱到口袋手表，都可以连网。RTOS 之类的实时嵌入式操作系统使嵌入式系统的编程更简单,为了实现这个目标，每个产品都需要拥有一个嵌入式计算机来运行网络栈，有些产品几乎是小的不可思议。这就是嵌入式软件出现的场景：现代科技打造的非常小的计算机，硬编码到硬件芯片，不需要任何板外处理器、内存或者存储盘。就传统视角而言，这种场景意味着没有操作系统可用，但是因为种种原因 ，开发者发现，类似于 RTOS 之类的实时嵌入式操作系统能让嵌入式系统的编程变得非常简单。
2020-07-30 13:27:26
333
原创 分享10个Python的缩写
简介对于许多开始学习编程的人来说，Python已经成为他们的首选。Python是一种解释语言，有非常直观的语法和支持动态类型的灵活性。我们在学习Python时，会逐渐熟悉它的数据结构、控制流、类、函数和其他基本内容，这使得使用交互式控制台进行学习成为可能。基本上，我们只需使用命令行工具(如Mac中的Terminal)来启动Python学习，因为Python在macOS中是默认附带安装的。在学习Python中我们经常会遇到的各种首字母缩略词，接下来会介绍十个缩略词，其中有一些是通用的编程原理，还有一些是针
2020-07-29 22:15:04
5292
原创 简单的Python编辑公式
最近在GitHub 上出现了一个开源项目 latexify_py，它使用 Python 就能生成 LaTeX 数学公式，分分钟甩 Word 几条街。以前在 Word 中编辑文本时，遇到超复杂的公式，想想就令人头大，一个不小心就会输错。真心不想用啊，写论文就够令人头疼了，最难的是编辑超长的公式。现在没想到编辑公式也会变得如此简单！GitHub 地址：https://github.com/odashi/latexify_pyColab 地址：https://colab.research....
2020-07-29 18:53:22
1739
原创 “内存管理机制”的含义
Python中的变量无需事先申明，变量无需指定类型，程序员无需关心内存管理，Python解释器给你自动回收。Python作为一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言，与大多数编程语言不同，开发人员不用过多的关心内存管理机制，这一切全部由Python内存管理器承担了复杂的内存管理工作。本文将围绕Python的内存池和垃圾回收两部分进行分析。Python内存池1、为什么要引入内存池（why）当创建大量消耗小内存的对象时，频繁调用new/malloc会导致大量的内存碎片，致使效..
2020-07-29 13:12:31
216
原创 Python和C，Java之间的性能比较
本文是用所有三种语言运行矩阵乘法时发生的情况，由于人们普遍认为C代码比其他流行的编程语言(例如Java和Python)运行得更快，但一直对C的速度(或C实际上最快)感到好奇，因此对C语言做了大量的实现工作，决定进行一些实验，来比较C，Java和Python的性能。本实验我决定使用所有三种语言进行矩阵乘法。 矩阵的大小为2048 x 2048(即每个矩阵的乘法和加法运算为8,589,934,592)，我为它们填充了0.0到1.0之间的随机值(使用随机值而不是对所有三种语言使用完全相同的矩阵的影响可
2020-07-28 22:08:59
2474
2
原创 模型层构建——python工业互联网应用实战
本章会讲到如何从需求分析获得的实体数据转到模型设计中来，变成一Django项目中的模型层，正式进入到实战项目开发过程，当然，第一步还是在VS2019 IDE环境中创建一个工程项目，本文我们把工程名称命名为IndDemo，如下图：VS2019创建的Django项目结构如下图现在按F5调试程序，又来到Django熟悉的欢迎页面了。接下来让开始这趟实战之旅吧!1.1.实体关系图从上一章需求涉及到的实体，来构建我们的实体关系图吧，这里的步骤也相当于早期开发设...
2020-07-28 18:52:59
267
转载 深度讲解“绘图原理”——Python四大常用绘图库
Python绘图库太多不知道选哪个，即使选择了某一个绘图库后，也不知道怎么学。本文将会带大家梳理matplotlib、seaborn、plotly、pyecharts的绘图原理，不会学的那么费劲！1. matplotlib绘图原理关于matplotlib更详细的绘图说明，大家可以参考下面这篇文章，相信你看了以后一定学得会。matplotlib绘图原理：http://suo.im/678FCo1)绘图原理说明通过我自己的学习和理解，我将matplotlib绘图原理高度总结为如下几步：
2020-07-28 13:18:04
335
原创 文本生成的循环神经网络 用PyTorch来实现
当一个机器学习模型工作在诸如循环神经网络、LSTM-RNN、GRU等序列模型上时，它们可以生成输入文本的下一个序列。自然语言处理（NLP）有很多有趣的应用，文本生成就是其中一个有趣的应用。PyTorch提供了一组功能强大的工具和库，这些工具和库为这些基于NLP的任务增添了动力。它不仅需要较少的预处理量，而且加快了训练过程。在本文中，我们将在PyTorch中训练几种语言的循环神经网络（RNN）。训练成功后，RNN模型将预测属于以输入字母开头的语言的名称。PyTorch实现这个实现是在Goo
2020-07-27 22:23:03
326
原创 股票数据用Python数据来分析
最近股市比较火，玩股票的人也越来越多，这篇文章我们就用python对股票数据做个简单的分析。数据集是从1999年到2016年上海证券交易所的1095只股票。共1000个文件。我们的分析思路大致如下： 每年新发股票数 目前市值最大的公司有哪些 股票一段时间的涨跌幅如何 牛市的时候，个股表现如何 首先导入模块import pandas as pdimport numpy as npimport osimport seaborn as snsi..
2020-07-27 18:52:08
886
原创 从零开始学习python Scrapy
本文将根据 scrapy 框架实现博客园首页博客的爬取及数据处理，我们先在自定义的目录中通过命令行来构建一个 scrapy 项目目录scrapy startproject scrapyCnblogs生成以下目录：然后在终端命令行中输入scrapy genspider cnblogs cnblogs.com在 scrapCnblogs/spiders 下就会生成一个 cnblogs.py 的文件，代码如下： 1 # -*- coding: utf-8 -*- 2 imp
2020-07-27 13:23:28
109
原创 Python Markdown的拓展
通过对 Python Markdown的拓展来获得类似 django 官方文档的阅读体验，发现一些很细节的文档内容展现形式，能够极大地提高文档的阅读体验。阅读其他技术文档时也会经常发现类似的内容展现形式。确定需求阅读技术类文档经常会看到这么几种内容：Code block、Admonition、Command tab。中文不太好翻译，来看一下实际的效果就知道了，下面是 django 中这几种内容的展现形式。Code block代码块的上方有一个 header，左边显示代码块所在...
2020-07-25 22:23:17
1090
原创 Python 3.7 的新特性
Python 接触的晚，所以接着体验一下 Python 3.8 带来的主要新特性序继续往前翻，体验一下 Python 3.7 曾经汇入的新特性，爱一门语言就要了解她真正的历史。一步一步慢慢给 Python 来个起底。先来看看 Python 网站的各版本使用情况Usage statistics of Python Version 3 for websites, 这里统计的 Python 开发的网站的数据，应该有 Python 3 大规模的用于其他领域。单网站应用 Python 来说，Python 2...
2020-07-25 19:04:12
491
原创 分享12个好用的jupyter lab插件
1 简介jupyter lab作为jupyter notebook的升级改造版，除了更加人性化的交互界面以及更多的用户自主定制功能之外，最吸引人的就是其丰富多样的拓展插件，使得每个使用jupyter lab的人都可以按照自己所需挑选安装插件，组合出自己心中的完美工作台。图1本文就将给大家介绍在我的日常工作中经常使用到的12个jupyter lab实用插件。2 jupyter lab实用插件推荐2.1 debugger在jupyter notebook或jupy...
2020-07-25 13:22:12
2985
原创 深度评测5大Python数据可视化工具 教你怎么选可视化工具？
相信很多读者都听说过Matplotlib、 Pyecharts、 Seaborn、 Plotly、 Bokeh这五大工具，学习Python就是希望作出各种酷炫的可视化图表，本文就将通过真实绘图来深度评测这五个Python数据可视化的库，看看到底这几种工具各有什么优缺点，在制作图表时该如何选择。指标说明为了更清晰的了解这几款用与可视化的Python在作图时的异同，本文将使用 同一组数据分别制作多系列条形图来对比，主要将通过以下几个指标来进行评测：数据说明本文使用的数据为...
2020-07-24 22:25:57
508
原创 智能推荐用Python实现
智能推荐是给客户带来价值，以“客户需求”为导向的，常见的如淘宝的 “你可能还喜欢”，亚马逊的 “购买此商品的用户也购买了” 便是实例。今天就带大家来看看如何将智能推荐算法用Python来实现。研究方向：Python常见的推荐系统与算法常见的推荐系统分类有：基于应用领域:电子商务/社交好友推荐等 基于设计思想:基于协同过滤的推荐等 基于使用数据:基于用户标签的推荐等“ 京腾 ” 合作构建用户画像标签图常见的推荐算法有：本文将专注于理解起来最容易且又十...
2020-07-24 18:55:09
557
原创 Python用C++开发Python库
背景很多系统为了保证数据在系统上下游的自动校验，避免数据结构异常带来的系统稳定性问题，都会用json格式进行数据交互，可以采用json-schema来定义json接口，并利用json-schema-validator来校验接口响应的结构的合法性。然而系统中不同子系统的实现（编程语言）并非总是一致，虽然各种语言都提供了json-schema-validator的具体实现，但是不同语言支持的json-schema-validator标准的版本并非完全一致，这会对后续的使用带来一些...
2020-07-24 13:34:02
1501
原创 从零开始学习python Scrapy
Scrapy 框架Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。 Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。Scrapy架构图(路线是数据流向)：Scrap..
2020-07-23 22:34:49
133
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人