pythonxiaopeng的博客

sns.regplot和sns.distplot这两个图形的使用场景记录。sns.regplot 用来比较两个变量的关系，是否符合线性回归。一般用来比较特征变量和标签变量上。sns.distplot 是直方图和核密度图（sns.kdeplot）的结合。用来看单个连续型变量的分布。顺便说下直方图和条形图区别：直方图：先分箱，然后计算每个分箱频数的数据分布。直方图一般用于数字特征（连续型）；条形图一般用于类别特征，条形图有间距，直方图没有。先用小费数据集画出图形。# 导入包import se

背景QL中JOIN子句是用于把来自两个或多个表的数据连接起来，在这个过程中可能会添加一些过滤条件。昨天有小伙伴问，如下图的这两种SQL写法查询结果是否会一样？（好像这是某一年阿里的面试题）这个问题提出来以后，多数小伙伴的回答是：查询结果应该是一样的吧，只是查询效率不一样。我当时的回答是，在Inner Join时这两种情况返回的结果是一样的，在Left、Right等情况时结果不一样。案例1、创建测试数据库和表并且插入用户测试的数据。-- 创建数据库CREATE DATABASE ods_stud

pip是python的包管理工具，python2.7/python3.4以上的版本都已经集成了该工具，我们可以用pip --version命令确认是否安装。如果未安装pip的，请往下看。下载进入https://pypi.org/project/pip/选择红框中的文件下载图windows下安装下载完成后解压得到我们用CMD进入该目录下，输入python setup.py install命令进行安装码字不易废话两句：有需要python学习资料的或者有技术问题交流 “点击”即可如果是第

实时堆栈追踪（stacktrace）Heartate——如监测心率般追踪程序运行项目地址：https://github.com/alexmojaki/heartrate（点击阅读原文即可访问）Heartrate 是一个 Python 的工具库，可以实时可视化 Python 程序的执行过程。监控运行中的 Python 程序如图：如图所示，左侧数字表示每行代码被触发的次数。长方框表示最近被触发的代码行——方框越长表示触发次数越多，颜色越浅表示最近被触发次数越多。该工具可以做什么：启动程序追踪.

VG转换在SVG图像中创建的形状。例如，移动，缩放和旋转形状。这是显示垂直或对角线文本的便捷方法。一、转换简单示例例：<svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink"> <rect x="50" y="50" height="110" width="110" style="stroke:#ff0000; fill: #ccccff" tr

导读在我们进行数据整理的过程中，我们经常会用到循环来写程序，那如果想对某一路径下的文件或文件夹进行循环，应该怎么操作呢？我们可以用宏扩展函数或者fs命令将文件或文件夹的名称放入局部宏或返回值中，再结合循环进行操作。那么今天我们就来简单介绍一下fs命令的用法~简单介绍一下fs命令的用法~fs命令可以在Stata结果输出窗口输出当前文件夹下或当前目录下的文件名称（不包括文件夹和目录），也可以列示指定路径或当前路径下指定类型的文件，并将结果储存在返回值r(files)中。例如，当我们更改到确定的路径之后，如

导读初识recode命令，我以为它就是个改缺失值的小能手。我们常常看见它是这样出现的：recode a (.=0)它的作用等效如下：replace a=0 if a=.再识recode，才发现这个小命令没那么简单！掌握了recode，处理起数值型变量不是一般地溜！好东西就要分享，接下来，我就给大家全面解析recode命令。码字不易废话两句：有需要python学习资料的或者有技术问题交流 “点击”即可一、语法recode命令的完整语法如下：code varlist (erule) [(e

数据倾斜的表现表现体现在数据处理任务进度长时间维持在 99%（或100%），查看任务监控页面，发现只有少量（1 个或几个）reduce 子任务未完成。因为其处理的数据量和其他 reduce 差异过大。单一 reduce 的记录数与平均记录数差异过大，通常可能达到 3 倍甚至更多，最长时长远大于平均时长。倾斜产生的原因及解决办法空值产生的数据倾斜果两个表连接时，使用的连接条件有很多空值，会造成有 null 关联的那个分区数据特别多，可以在连接条件中增加过滤，去除空值。select *from us

调用API和文档数据库会返回嵌套的JSON对象，当我们使用Python尝试将嵌套结构中的键转换为列时，数据加载到pandas中往往会得到如下结果：df = pd.DataFrame.from_records（results [“ issues”]，columns = [“ key”，“ fields”]）说明：这里results是一个大的字典，issues是results其中的一个键，issues的值为一个嵌套JSON对象字典的列表，后面会看到JSON嵌套结构。问题在于API返回了嵌套的JSON结

简介我们在利用pandas开展数据分析时，应尽量避免过于「碎片化」的组织代码，尤其是创建出过多不必要的「中间变量」，既浪费了「内存」，又带来了关于变量命名的麻烦，更不利于整体分析过程代码的可读性，因此以流水线方式组织代码非常有必要。下面要介绍的pipe()，我们就可以将任意pandas代码完美组织成流水线形式。在pandas中灵活利用pipe()pipe()顾名思义，就是专门用于对Series和DataFrame操作进行流水线（pipeline）改造的API，其作用是将嵌套的函数调用过程改造为「链式

前段时间，浙江高考满分作文《生活在树上》因为晦涩难懂的内容，刷爆了各种社交媒体。外行人看热闹，内行人看门道，大神们透过现象看本质。一般来说，高考作文可以通过批量化、模式化的训练达到一个令人满意的分数。实际上就是把学生当做一个写作机器进行训练，为学生输入大量范文，提供写作模式，然后进行长时间的学习。等等，这不是和人工智能的训练过程相同吗？那么，如果给一个人工智能系统同样的数据，是否可以教会它写作文呢？答案是，当然可以。01 EssayKiller 的基本组成一个 AI 不管外形和功能如何，其核心都

数据暴增的年代，数据科学家、分析师在被要求对数据有更深的理解与分析的同时，还需要将结果有效地传递给他人。如何让目标听众更直观地理解？当然是将数据可视化啊，而且最好是动态可视化。本文将以线型图、条形图和饼图为例，系统地讲解如何让你的数据图表动起来。这些动态图表是用什么做的？接触过数据可视化的同学应该对 Python 里的 Matplotlib 库并不陌生。它是一个基于 Python 的开源数据绘图包，仅需几行代码就可以帮助开发者生成直方图、功率谱、条形图、散点图等。这个库里有个非常实用的扩展包——Fu

在本文章中，我们将使用PyTorch从头开始实现一个简单的神经网络。注：阅读本文之前，最好可以了解神经网络的工作原理。虽然有很多库可以用于深度学习，但我最喜欢 PyTorch。作为一名python 程序员，我喜欢 PyTorch 的 python 行为是原因之一。它主要使用了python 的风格和能力，这是很容易理解和使用。在其核心，PyTorch提供两个主要特性：一个类似于numpy 的n 维张量，但可以在 gpu 上运行；自动区分建立和训练神经网络。什么是神经网络？神经网络是一

python一直被病垢运行速度太慢，但是实际上python的执行效率并不慢，慢的是python用的解释器Cpython运行效率太差。“一行代码让python的运行速度提高100倍”这绝不是哗众取宠的论调。我们来看一下这个最简单的例子，从1一直累加到1亿。最原始的代码：import timedef foo(x,y): tt = time.time() s = 0 for i in range(x,y): s += i

简介我们常会遇到某段逻辑在相同时间段内只希望被单个实例执行，而在微服务架构中，一个程序可能会存在多个实例，此时就需要通过分布式锁来实现串行执行。最简单的分布式锁无非就是找到对于多个程序实例而言单一的存在，比如MySQL数据只有一个或Redis只有一个，此时都可以利用这单一的存在构建一个锁，多个程序实例要执行某段逻辑前必须先获得这个锁，然后才能执行。因为某些原因，上班的时候我和同事一起研究了一下Python redis库中分布式锁的实现源码，这里简单分享一下。通过pip可以安装这个库。pip ins

今天教大家用pyecharts制作北京市公交线路动态图，这应该是全网唯一一篇能正常运行的教程一、获取百度秘钥首先，本项目需要引用百度地图api，所以需要先注册获取百度开放平台秘钥，地址为：http://lbsyun.baidu.com/apiconsole/key#有账号的直接登录，没账号的先注册一下再登录，登录完成后，依次点击控制台-应用管理-我的应用-创建应用：访问应用（AK）下即是我们这次所需的秘钥二、整理公交车地理数据这个公交车地理数据着实有点坑，echarts官方给的数据长这样

对开发人员来说，Django的ORM 确实非常实用，但是将数据库的访问抽象出来本身是有成本的，那些愿意在数据库中探索的开发人员，经常会发现修改ORM 的默认行为可以带来性能的提升。在本文中，我将分享在 Django 中使用数据库的 9 个技巧。1. 过滤器聚合（Aggregation with Filter）在 Django 2.0之前，如果我们想要得到诸如用户总数和活跃用户总数之类的东西，我们不得不求助于条件表达式：from django.contrib.auth.models import Use

一、需求描述编写一个Python程序，每次下载压缩包形式的文件后，自动将内部文件解压到当前文件夹后将压缩包删除，通过本案例可以学到的知识点：os 模块综合应用glob 模块综合应用利用 gzip zipfile rarfile tarfile 模块解压文件二、步骤分析和前置知识码代码之前需要将复杂问题解释成多个明确的要求，即这个程序实现的逻辑为：定时检测某个文件夹（如 download 文件夹）是否存在压缩文件如果有新出现的压缩文件则将其解压到当前文件夹内的新文件夹中 删除压缩

1 简介jupyter lab是我最喜欢的编辑器，在过往的文章中也给大家介绍过很多相关资源和实用插件，但本文要给大家介绍的jupyter lab插件elyra，绝对是我使用过的最强大的jupyter lab插件没有之一，因为它的核心功能就是帮助我们解决数据分析工作中非常重要的问题——「搭建工作流」。2 利用elyra搭建工作流在安装elyra插件集之前，请确保你的jupyter lab版本在2.0及以上，并且已经安装好了nodejs也就是所有jupyter lab拓展插件都需要的依赖。不像常规的j

今天来给大家分享一下我申请的流程，因为学校没给我们申请学生邮箱(比较垃圾)，所以之前一直没去申请，后面发现可以通过官方文件的认证来验证身份。学生的官方认证文件自然是从学信网来获取。学生认证这里我们主要会用到学信网和jetBrains学生认证的网页：https://my.chsi.com.cn/archive/index.jsphttps://www.jetbrains.com/shop/eform/students首先，我们需要拿到学信网的官方认证文件，这里其实有两种方法，我先讲下我是怎么弄得。