python数据分析（pandas入门）

有时候，一点小小的黑客行为可以节省时间，挽救生命。一个小小的快捷方式或附加组件有时会被证明是天赐之物，并且可以真正提高生产力。所以，下面是我最喜欢的一些技巧，我以本文的形式一起使用和编译它们。其中，有些可能是相当有名的，有些可能是新的，但我相信下次您从事数据分析项目时，它们会非常有用。

1.Profiling the pandas dataframe

Profiling 是一个帮助我们理解数据的程序，而 Pandas Profiling 正是实现这一点的一个 python 包。这是对 pandas 数据帧进行探索性数据分析的一种简单快速的方法。pandas df.describe和 df.info函数通常用作 EDA 过程的第一步。但是，它只提供了非常基本的数据概述，对于大型数据集没有太大帮助。另一方面，pandas 分析函数使用 df.profile_report扩展 pandas 数据帧，以便快速进行数据分析。它用一行代码显示了大量信息，在交互式 HTML 报告中也显示了这些信息。

对于给定的数据集，pandas 分析包计算以下统计信息：

Pandas Profiling 包计算统计信息

安装

pip install pandas-profiling or conda install -c anaconda pandas-profiling

使用

让我们使用古老的 Titanic 数据集来演示通用的 Python 分析器的功能。

#importing the necessary packages import pandas as pd import pandas_profiling # Depreciated: pre 2.0.0 version df = pd.read_csv(‘titanic/train.csv’) pandas_profiling.ProfileReport(df)

注：在这篇文章发表一周后，Pandas-Profiling 发布了一个升级版本 2.0.0。其语法发生了一些变化，事实上，功能已经包含在 pandas 中，报告也变得更加全面。以下是最新的语法用法：

使用

要在 Jupyter notebook 中显示报告，请运行：

#Pandas-Profiling 2.0.0 df.profile_report

这一行代码就是在 Jupyter notebook 中显示数据分析报告所需的全部代码。报告非常详细，必要时包括图表。

还可以将报告导出到具有以下代码的交互式 HTML 文件中。

profile = df.profile_report(title=‘Pandas Profiling Report’)profile.to_file(outputfile=“Titanic data profiling.html”)

有关更多详细信息和示例，请参阅这个文档。

2.第二步，为 pandas plots 带来交互性

pandas 有一个内置的.plot函数作为数据帧类的一部分。然而，用这个函数呈现的可视化并不是交互式的，这使得它不那么吸引人。相反，也不能排除使用 pandas.dataframe.plot函数绘制图表的易用性。如果我们不需要对代码进行重大修改，就可以像绘制 pandas plots 那样绘出交互式图表呢？你可以在 Cufflinks 库的帮助下做到这一点。

Cufflinks 将 plotly 的力量与 pandas 的灵活性结合起来，便于绘制。现在让我们来看看如何安装这个库并让它在 pandas 中工作。

安装

pip install plotly # Plotly is a pre-requisite before installing cufflinks pip install cufflinks

使用

#importing Pandas import pandas as pd #importing plotly and cufflinks in offline mode import cufflinks as cf import plotly.offline cf.go_offline cf.set_config_file(offline=False, world_readable=True)

是时候用 Titanic 数据集来展示它的魔法了。

df.iplot

df.iplot vs df.plot

右视图显示的是静态图表，左图表是交互式的，更详细地说，所有这一切在语法上都没有重大变化。

点击这里获取更多的示例。

3.一点点 Magic

Magic 命令是 Jupyter notebook 中的一组方便的函数，旨在解决标准数据分析中的一些常见问题。在%lsmagic 的帮助下，您可以看到所有可用的 magic。

所有可用的 magic 函数列表

magic 命令有两种：行 magics（前缀为一个% 字符并在一行输入上操作）和单元 magics（用%% 前缀关联并在多行输入上操作）。如果设置为 1，则可以调用 magic 函数，而无需键入初始百分比。

让我们看看其中一些在常见数据分析任务中可能有用的功能：

% pastebin

%Pastebin 将代码上载到 Pastebin 并返回 URL。Pastebin 是一种在线内容托管服务，我们可以在其中存储纯文本（如源代码片段），然后可以与其他人共享 URL。事实上，Github gist 也类似于 Pastebin，尽管有版本控制。

考虑使用包含以下内容的 python script file.py：

#file.py def foo(x): return x

使用 Jupyter notebook 中的%pastebin 生成 pastebin url

%matplotlib notebook

%matplotlib inline 函数用于呈现 Jupyter noteboo 中的静态 matplotlib 绘图。尝试用 notebook 替换内嵌部件，以轻松获得可缩放和可调整大小的绘图。确保在导入 Matplotlib 库之前调用了函数。

%matplotlib inline vs %matplotlib notebook

%run

%run 函数在 notebook 内运行 python 脚本。

%run file.py

%%writefile

%WriteFile 将单元格的内容写入文件。在这里，代码将被写入一个名为 foo 的文件，并保存在当前目录中。

%%latex

%%latex 函数将单元格内容呈现为 LaTeX。它可用于在单元中编写数学公式和方程。

4.发现和消除错误

interactive debugger 也是一个神奇的函数，但我已经为它提供了自己的一个类别。如果在运行代码单元时遇到异常，请在新行中键入%debug 并运行它。这将打开一个交互式调试环境，将您带到发生异常的位置。您还可以检查程序中分配的变量值，并在此处执行操作。要退出调试器，请单击 q。

5.输出也可以很漂亮

如果您想为数据结构生成美观的表示，pprint 是你想要的模块，它在打印字典或 JSON 数据时特别有用。让我们来看一个使用 print 和 pprint 显示输出的示例。

6.突出报警框

我们可以在您的 Jupyter 笔记本中使用警告/注释框来突出显示重要的内容或任何需要突出显示的内容。注释的颜色取决于警报的类型。只需在需要突出显示的单元格中添加以下代码。

蓝色警报框：信息提示

**Tip:**Use blue boxes (alert-info) for tips and notes. If it』s a note, you don』t have to include the word「Note」.

黄色警报框：警告

**Example:**Yellow Boxes are generally used to include additional examples or mathematical formulas.

绿色警报框：成功

Use green box only when necessary like to display links to related content.

红色警报框：危险

It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.

7.打印单元格的所有输出

考虑一个包含以下代码行的 Jupyter notebook 单元：

In [1]: 10+5 11+6

Out [1]: 17

通常情况下，单元格中只有最后一个输出会被打印出来，对于其他输出，我们需要添加 print函数。好吧，其实我们只需在 notebook 顶部添加以下代码片段就可以打印所有输出。

from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = “all”

现在所有的输出都被一个接一个地打印出来

In [1]: 10+5 11+6 12+7

Out [1]: 15 Out [1]: 17 Out [1]: 19

要恢复到原始设置：

InteractiveShell.ast_node_interactivity = “last_expr”

8.使用「i」文件运行 python 脚本

从命令行运行 python 脚本的一种典型方法是：python hello.py。但是，如果您在运行同一脚本（如 python）时添加了一个额外的-i hello.py，那么它提供了更多的优势。让我们看看怎么做。

首先，只要程序不结束，python 就不会退出解释器。因此，我们可以检查变量的值以及程序中定义的函数的正确性。

其次，我们可以通过以下方式轻松调用 Python 调试器，因为我们仍在解释器中：

import pdb pdb.pm

这将使我们进入异常发生的位置，然后我们可以处理代码。

查看来源可以点击这里。

9.自动注释代码

ctrl/cmd+/自动将单元格中选定的行注释掉，再次点击组合将取消对同一行代码的注释。

10.删除容易恢复难

你有没有不小心删除了 Jupyter notebook 上的一个单元的经历？如果有，那么这里有一个快捷方式可以撤消删除操作。
如果删除了单元格的内容，则可以通过按 ctrl/cmd+z 轻松恢复该内容。

如果需要恢复整个已删除单元格，请按 Esc+Z 或 EDIT > Undo 撤销删除单元格。

结论

在本文中，我列出了在使用 Python 和 Jupyter notebook 时收集到的主要技巧。我相信它们会对你有用，你会从这篇文章中收回一些东西。好了，开始快乐的编码之旅吧！

读者福利：知道你对Python感兴趣，便准备了这套python学习资料

对于0基础小白入门：

如果你是零基础小白，想快速入门Python是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、机器学习等习教程。带你从零基础系统性的学好Python！

一、Python学习大纲

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

三、入门学习视频

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、python副业兼职与全职路线

上述这份完整版的Python全套学习资料已经上传CSDN官方，如果需要可以微信扫描下方CSDN官方认证二维码 即可领取

👉[[CSDN大礼包：《python安装包&全套学习资料》免费分享]]（安全链接，放心点击）