- 博客(112)
- 收藏
- 关注
RSS订阅原创 Python 数据处理 —— pandas 表格样式
讲到这里，Python的数据处理部分已经写的差不多了。学完了前面的部分，差不多已经能够熟练的处理各种各样的数据了。在本系列的最后，我们将介绍如何展示数据，当然，并不是数据的可视化，而是像Excel表格一样，设置数据的颜色、字体、大小等样式在pandas中，通过属性，可以获取一个Styler对象，该对象提供了方法，让我们很方便的格式化和展示DataFrame数据样式的设置是通过CSS来完成，所以，所有的代码需要在中运行：逐元素是将函数应用于每个元素上的函数接受一个标量值，返回一个属性-值对的。
2023-11-30 16:28:36
594
原创 Python 数据处理 —— pandas 分组聚合
我们所说的group by拆分：根据指定的标准对数据进行切割，并分为不同的组别应用：分别在每个组中应用函数组合：将所有的结果组合为数据结构在这些步骤中，拆分是最直接的。而事实上，多数情况下，我们可能希望将数据集分成若干组，并对这些分组进行一些操作在应用函数的步骤中，我们可能希望进行以下操作聚合：为每个分组应用一个或多个汇总函数，例如：计算分组的和或均值计算分组的转换：为不同的分组执行不同的计算，并返回类似索引的对象，例如：在组内进行标准化（zscore填充每个分组中的NA值。
2023-11-30 16:27:28
235
原创 Python 数据处理 —— pandas 文本数据处理
有一套字符串处理方法，可以方便地对数组的每个元素进行操作，最重要的是，这些方法会自动忽略缺失值。只要两个对象中存在缺失值，对应的结果中也是缺失值，除非指定了。符号直接按位置进行索引，如果索引超过字符串的长度，结果将是。：正则表达式中的任何捕获组名称都将用作列名，否则将使用捕获组号。例如，我们删除列名的前后空格，并将其改为小写字母，同时用。参数也可以是二维的，但是得保证其行数必须与调用的对象一致。可以是类似列表的对象，但是其长度需要和调用对象一致。，可以从混乱的字符串序列中提取出有规则的信息。
2023-11-30 16:25:45
214
原创 Python 数据处理 —— pandas 数据重塑
这些函数会自动处理缺失值，并且不希望层次索引中的每个子组具有相同的标签集，同时它们也可以处理未排序的索引。形式，以时间序列作为索引，变量名作为列名 ，索引与列名所标识的值是对应的观察值，更加有利于我们的分析。假设我们现在想对变量进行时间序列分析，但是，这种数据的表现形式显然是不利于我们进行分析的。如果你想包含所有的类别信息，即使实际数据不包含任何特定类别的实例，你可以设置。参数，且除了指定为索引和列名的列之外，剩余的列超过一个，则输出的结果。如果对应标签的值不存在，默认会使用填充为缺失值，如。
2023-11-30 16:24:19
242
原创 Python 数据处理 —— pandas 合并连接之 merge
参数传递的字符串可以是列名或索引级别名称，这就可以在不重置索引的情况下，对索引级别和列名进行组合，合并两个。或标准关系代数中，如果一个连接键在两张表中出现一次以上，那么生成的表将具有相关数据的笛卡尔积。：如果用于连接的字符串名称既匹配了索引级别名，又匹配了列名，将会引发一个警告，并有效使用列名。在合并操作之前检查键的唯一性，可以防止内存溢出，也是确保用户数据结构符合预期的一种好方法。显然，你可以选择自己认为的更简便的方式，对于多对一的连接，使用。参数也接受字符串，在这种情况下，将使用传递的字符串的值作为。
2023-11-30 16:22:37
173
原创 Python 数据处理 —— pandas 合并连接之 concat
pandas提供了各种工具，可以轻松地将不同的Series或DataFrame连接、合并在一起此外，pandas还提供了比较两个Series或DataFrame对象差异的实用工具。
2023-11-30 16:20:56
344
原创 Python 数据处理 —— pandas 索引类型
这是一个围绕分类的容器，允许高效地索引和存储具有大量重复元素的索引。重新索引操作将根据所传递索引器的类型返回结果索引。中的一个基本的索引。这是一个不可变的数组，实现了一个有序的、可切片的集合。沿着区间的边缘进行基于标签的索引，就像你期望的那样，选择那个特定的区间。的索引，但是数据是以浮点数的形式记录的。下面是使用这种索引的一个典型的例子。方法处理的输入范围更窄，所以它的性能比华丽的索引快得多。方法，用于沿着给定的轴并按给定的索引获取所有元素。这个给定的索引必须是一个列表或整数索引位置的。
2023-11-26 19:35:06
106
原创 Python 数据处理 —— pandas 高级索引
的时候，最好同时指定索引（行）和标签（列），因为在某些情况下，传递的索引可能会被解析为两个轴而不是。或者换句话说，元组是横向的，列表是纵向的。想要获取第一个级别的某一标签的所有元素，并不需要传递元组，例如。中，当涉及到索引时，元组和列表的处理方式并不相同。选择该级别的所有内容，没有指定索引的级别默认为。方法的推广，允许你在一个步骤中排列分层索引级别。通常，切片的两段都会包括在内，因为这是标签索引。您可以使用布尔索引器来进行与值相关的选择。通过提供一个元组切片，选择范围内的值。参数，以在某一个轴上传递切片。
2023-11-26 19:34:01
92
原创 Python 数据处理 —— pandas 分层索引
本节将介绍使用多级索引（分层索引）和其他高级索引技巧MultiIndex会保留索引的所有已经定义了的级别，尽管它们实际上可能并没有被使用。在对索引进行切片时，您可能会注意到这一点。例如这样做的目的是为了避免重新计算级别，以提高切片的性能。如果你只想看某一级别，可以使用方法Out[31]:可以使用方法重构MultiIndex。
2023-11-26 19:33:20
134
原创 Python 数据处理 —— pandas 索引和选择
前言pandas 对象的轴标签信息有很多用途，如利用标识符来标识数据能够显式的和自动对齐数据获取和设置数据子集在本节中，我们主要关注最后一点，如何对数据切片以及获取和设置数据对象（Series 和 DataFrame）的子集。1 索引方法pandas 目前支持三种多轴索引：.loc:主要是配合标签使用，但是也可与布尔数组一起使用。.loc 会在找不到对应的数据项目时引发 KeyError。允许的输入有单个标签，如 5 或 a（注意，这里的 5 是索引标签的值，并不是 0 起始
2023-11-26 19:30:44
332
原创 Python 数据处理 —— pandas SQL 查询
模块封装了一组查询方法，既方便了数据检索，又减少了对特定数据库API的依赖。如果安装了SQLAlchemySQLAlchemy将会提供对数据库的抽象。此外，你还需要安装对应数据库的驱动库。例如，PostgreSQL对应psycopg2库，MySQL对应pymysql库。而SQLite默认已经包含在标准库中。如果没有安装SQLAlchemy，则仅支持sqlite。# 将 SQL 数据表读入 DataFrame# 将 SQL 查询读入 DataFrame。
2023-11-25 15:01:32
566
原创 Python 数据处理 —— pandas HDF5 读写查询
HDF, 层级数据格式)，是设计用来存储和组织大量数据的一组文件格式（HDF4HDF5HDF5允许您存储大量的数值数据，同时能够轻松、快速地访问数据。数千个数据集可以存储在一个文件中，可以根据需要进行分类和标记。
2023-11-25 15:00:27
349
原创 Python 数据处理 —— pandas Excel 文件读写
中的日期)，你可以使用 parse_dates 关键字将这些字符串解析为日期时间格式。是一个字符串列表，则假定每个字符串都对应于文件的列名或从文档标题行推断出来的列名。请注意，如果所有工作表都使用相同的解析参数，则可以将工作表名称列表简单地传递给。关键字指定整个列的类型，该关键字通过将字典的名称映射到列，值对应列的类型。文件的名称，第二个可选参数是数据写入到的工作表的名称。是可调用函数，传入的是列名，返回可调用函数计算结果为。默认将所有数字存储为浮点数，在不损失精度的情况下，例如，要将列转换为布尔值。
2023-11-25 14:55:33
545
原创 Python 数据处理 —— pandas HTML 表格读写
默认情况下，将数字列转换为数字类型，并且前导零会丢失。为了避免这种情况，我们可以将这些列转换为字符串。解析器会抛出异常，最好的方式是指定一个解析器列表。默认情况下将使行标签加粗，但你可以关闭它。文件的内容，并将其作为字符串传递给。当只提供了一个解析器时，如果解析失败，中的元素用于形成列索引，如果。字符串、文件或URL，并将。的输出（会损失浮点数的精度）请注意，这些类附加到现有的。因此，要获得没有转义字符的。使用列表指定要跳过的行数（的单元格添加超链接的能力。并匹配包含特定文本的表。内容中仅包含一个表，
2023-11-25 14:54:23
489
原创 Python 数据处理 —— pandas json 文件读写
在系列的第一节中，我们介绍了如何使用Python的标准库json来读写json格式文件本节，我们将介绍pandas提供的JSON格式的文件和字符串的读写操作。一个Series或DataFrame可以使用to_json方法转换为有效的JSON字符串。orientSeries：默认为index，可选择DataFrame：默认为columns，可选择: 日期转换类型,epoch表示timestampiso表示ISO8601: 浮点值的小数位数，默认为10: 强制将字符串编码为ASCII，默认为True。
2023-11-25 14:53:02
449
原创 Python 数据处理 —— pandas csv 文件读写
前言前面我们介绍了 pandas 的基础语法操作，下面我们开始介绍 pandas 的数据读写操作。pandas 的 IO API 是一组顶层的 reader 函数，比如 pandas.read_csv()，会返回一个 pandas 对象。而相应的 writer 函数是对象方法，如 DataFrame.to_csv()。下面列出了所有的 reader 和 writer 函数注意：后面会用到 StringIO，请确保导入# python3from io import StringIO# pyt
2023-11-25 14:51:13
747
原创 Python 数据处理 —— pandas 数据类型
有时候你的数据大部分都是正确的类型，但是可能有很少一部分不一致的类型，你可能希望将其标记为缺失值而不是引发异常。数据对象在一列中包含多种数据类型，将会自动选择一种能够容纳所有数据类型的类型（即向上转换）。当与其他类型混合时，类型会隐式向上转换，这意味着它们从当前类型提升为另一种类型,例如。返回的数组的类型是出现次数最多的类型，因此这可能会发生一些强制的转换。时，如果在转换类型时遇到任何错误，它将简单地返回转换成功的数据。将某些列转换为指定的类型时，将会发生向上转换。
2023-11-25 14:44:07
301
原创 Python 数据处理 —— pandas 排序
方法修改数据不会带来任何副作用，几乎所有方法都返回一个新对象，而原始对象保持不变。方法，会复制底层数据（不包括轴索引，因为轴索引不可变），并返回一个新的对象。的名称一样，则会发出警告，并且列名优先。参数来接受一个可调用的函数，会将其应用于要排序的值上。：几乎不需要复制对象。每列的名称或类型可用于将不同的函数应用于不同的列。参数可用于指定需要排序的一列或多列。按索引排序还支持接受可调用函数的。参数，以将其应用于要排序的索引。的值，应该返回具有相同形状的。参数的字符串可以列名或索引的。需要明确的一点是，使用。
2023-11-25 14:43:09
439
原创 Python 数据处理 —— 迭代与时间日期访问器
8. 迭代Pandas 对象基于类型进行迭代操作。Series 迭代时被视为数组，每次迭代生成值。DataFrame 则遵循字典遍历方式，用对象的 key 进行迭代操作。总之，对于基础迭代（for i in object）会产生：Series：值DataFrame：列名例如，对 DataFrame 进行迭代会获取到列名In [254]: df = pd.DataFrame( .....: {"col1": np.random.randn(3), "col2": np.rand
2023-11-24 11:24:35
38
原创 Python 数据处理 —— pandas 重置索引标签
如果编写的代码对性能要求较高的话，预先对齐的数据操作会更快。如果传递的是函数，则该函数必须返回一个值（并且必须生成一组唯一的值）。在后面的多级索引和高级索引方式中我们将会介绍更加简便的重置索引方式。如果传入的映射不包含索引和列名标签，则它不会被重命名。里最基本的数据对齐方法，该方法执行标签对齐功能。方法是同时对齐两个对象的最快方法，它还支持。，虽然下面的方法也可以实现，但不太明显也不太干净。，轴标签的索引可以在对象之间共享。，映射中的多出来的标签不会触发异常。，它返回一个带有两个重置索引的。
2023-11-24 11:23:30
1069
原创 Python 数据处理 —— pandas 应用函数
使用.agg()我们可以扩展类似于内建函数describe的功能Out[184]:A B C。
2023-11-24 11:22:46
138
原创 Python 数据处理 —— pandas 统计描述
例如，我们可以将一些正态分布的数据切成大小相等的四分位数，如下所示。方法可用于统计多个列之间的组合的数目。默认情况下会使用所有列，但可以使用。通过结合广播行为/算术运算，可以非常简洁地描述各种统计过程。只会把汇总限制在仅包括数字的列，如果没有数字列，则仅统计分类列。将给出一个简单的总结，包括唯一值和最常出现的值的数量。上存在大量的统计描述函数以及其他相关的运算函数。参数来控制需要包含/排除的数据类型列表，而。每列的各种汇总统计信息（当然，并不会统计。函数可以计算最小值和最大值对应的索引。
2023-11-24 11:21:30
126
原创 Python 数据处理 —— panda 基础操作
在这里，我们将会讨论很多pandas数据结构所共有的基本功能函数先让我们来创建一个示例对象顾名思义，我们可以通过head()和tail()函数，快速访问Series或DataFrame的前面和后面几行数据。默认只显示5行，也可以指定需要显示的行数。
2023-11-24 11:20:13
84
原创 Python 数据处理 —— pandas 数据结构
前言对于如何使用 R 来处理表格数据，相信你已经学习到很多了。下面我们的重点是介绍如何在 Python 中处理表格型数据，提到 Python 数据处理，那就不得不说 pandas 了。pandas 是 Python 数据处理的核心库，提供了快速、灵活、明确的数据结构，能够简单直接地处理结构性和关系型数据。panda 适用于很多不同类型的数据：具有不同类型的列的表格数据，如 Excel 和 SQL 表有序和无序（不一定是固定频率）的时间序列数据具有行和列标签的任意矩阵数据（同类型或异构数据）
2023-11-24 11:19:00
222
原创 R 数据可视化 —— 对角线分割热图
之前所介绍的热图，其每个颜色块都是一个矩形，而今天要介绍的是如何绘制对角线分割热图。也就是每个颜色块矩形被对角线分割为上下两个三角形，然后两个三角形分别用不同的变量来设置填充色。这种图形重要用于展示行列变量配对值的不同维度信息，比如，对于相关性矩阵，上下两个三角形的填充色可以分别用来表示相关性大小和显著性。类似于下面这张图看到这张图，第一反应便是可以使用函数来分别绘制上三角和下三角，两个图层叠加便可以实现这种效果。而其中的点的数量表示的是显著性大小，可以使用点图来实现。
2023-11-23 16:25:53
198
原创 R 数据可视化 —— gtable 绘制多个 Y 轴（补充）
上一节所介绍的绘制多个Y轴，只能在图形的右侧依次添加Y轴。在Y轴数量过多的情况下（当然，轴不应该太多），将轴平均地放置在左右两侧会更美观些。因此，这节主要介绍如何在图形的左侧添加Y轴。
2023-11-23 16:24:35
85
原创 R 数据可视化 —— 用 gtable 绘制多个 Y 轴
经过前面一节的介绍，我们对gtable布局应该有了较为清晰的认识，下面让我们来看看ggplot对象的布局首先，使用ggplot创建一个图形p获取ggplot图形对象，是一个gtable对象> class(g)查看对象> g可以看到，每个位置所放置的对象及其名称，共18个。我们可以很容易地根据名称来获取对应的图形对象主要包括主绘图区域panelX和Y轴及其对应的轴标签，标题，题注等我们可以使用来展示整个布局例如，(7,5)对应的就是名称为panel的对象，(7,4)对应的就是左边的Y轴，(7,3)
2023-11-23 16:23:26
334
原创 R 数据可视化 —— gtable
多次有人问我，如何使用R来绘制多个Y轴。那我就研究了下，稍微介绍一下学习所得。当我们需要展示的数据，包含相同的X轴，但是具有两个不同的Y轴变量时，我们会选择在右侧添加一条轴，在ggplot2中，可以使用sec_axis来设置。那如果Y轴变量有多个呢？我们该如何绘制？一种简单的思路就是，在图像绘图区域的左右两侧添加两条轴，多余的轴可以添加到右侧，图像还是填充到绘制区域。那如何实现这一功能呢？下面我们将介绍今天的主角 ——gtable，搭配grid包，可以轻松的为ggplot添加上多个Y轴gtable。
2023-11-23 16:22:44
67
原创 R 数据可视化 —— ggforce（形状）
ggforce 是 ggplot2 的一个扩展包，提供了许多自定义的工具函数，可以更方便地为图形添加不同的形状、线条等注释，更灵活的分面图形绘制。
2023-11-23 16:19:40
214
原创 R 数据可视化 —— ggpol
ggpol是ggplot2的一个扩展包，添加了一些图形。主要可以绘制（议会图），也可以方便的绘制金字塔图，以及箱线图和散点图的混合等。下面我们简要介绍一下如何使用ggpol绘制对应的图形。
2023-11-23 16:18:37
71
原创 R 数据可视化 —— 图形排列之 patchwork
上一节讲的是如何使用cowplot包来对图形进行排列对齐，今天要讲的是，如何使用patchwork包来排列图形patchwork包主要针对的是ggplot2图形，也可以是其他图像系统绘制的图形。patchwork以一种简单的方式对图形进行排列和组合，不论多复杂的组合图形，都能确保图形之间正确对齐安装patchwork导入相关模块。
2023-11-23 16:16:50
330
原创 R 数据可视化 —— 图形排列之 cowplot
cowplot包是ggplot的一个简单插件，可以对多个图形进行排列和对齐，来生成复杂的出版级别的图片，还提供了一些主题和帮助函数。安装# 安装最新的开发版本导入相关包。
2023-11-23 16:15:24
222
原创 R 数据可视化 —— ggsci 配色
在绘图时，如何搭配颜色，是一个很让人头疼的问题。今天要介绍的包ggsci能大大减轻我们的负担。ggsci提供了很多高质量的颜色搭配，其灵感来自于各种SCI杂志的配色，其提供的配色函数也是以对应的杂志或数据库名称来命名的其中palname表示对应颜色板的名称，此外，还有对应的画板颜色生成函数。
2023-11-23 16:10:30
673
原创 R 数据可视化 —— circlize 基因组高级绘图
在之前的章节中，我们介绍了如何在同一个轨迹中缩放某一区域，这种方式只适用于缩放区域较少的情况下，如果缩放的区域较多，那就需要另一种方式了，将缩放区域放置在一个新的轨迹中。函数，该函数接受两个绘图函数，其中一个用于绘制原始数据圆形图，另一个用于绘制缩放区域圆形图，我们可以在两个绘图函数中添加更加复杂的图形，例如，为缩放区域添加背景色。函数用于设置基因组区域的文本标签，标签的位置会自动调整，避免重叠。我们需要展示检测区域在整个基因组中的位置，并绘制检测区域中的。在图中，缩放数据绘制在原始数据的内侧，通过调换。
2023-11-22 09:44:41
367
原创 R 数据可视化 —— circlize 基因组绘图函数
轴数据，可以传递对应的列名或列索引，默认为所有数值列（从第四列开始），这些数据拥有相同的。，用于传递用户不可见的变量，并交由其内部的基础绘图函数进行解析，如。n 参数对不同的输入数据或不同的模式，会有不同的表现形式。如果在堆叠模式下输入数据是包含多列数值列的数据框，则。如果输入的是数据框列表，则每个数据框被认为是一个单元，，使用数据框列表，两个数据框的点设置不同的颜色。，用数据框列表绘制分组折线图，每组为一个数据框。表示的是当前染色体，当前数据框所对应的值。列的数据框，绘制分组折线图，每组表示一列。
2023-11-22 09:43:47
107
原创 R 数据可视化 —— circlize 基因组初始化
圆形可视化广泛应用于基因组及其相关的组学领域中，能够有效地展示高维基因组学数据。在基因组数据中，通常是根据染色体进行分类，x轴对应于基因组上的位置，也可以是其他类型的基因组数据circlize: 添加轨迹和图形: 添加点: 添加线条或线段: 添加矩形: 添加文本: 添加连接这样函数与基础的绘制函数是类似的，只是接受的输入数据格式不同，都是基于基础的circlize绘图函数实现的（如等）。使用初始化圆形图，会创建两个轨迹，一个用于包含轴和染色体名称，另一个轨迹用于绘制ideogram，使用。
2023-11-22 09:42:43
189
原创 R 数据可视化 —— circlize chordDiagram 高级用法
默认风格的已经可以满足大部分需求了，下面我们介绍一些更高级别的图形配置在函数中，没有对扇形标签进行控制的参数，我们可以使用预先放置的空轨迹来个性化轴标签。例如# 添加一个空轨迹# 在空轨迹中放置文本标签也可以直接将标签放置到格子里面添加条件判断，将角度小于10度的扇形设置为不同的颜色和文本朝向} else {类似的，我们也可以对轴进行个性化设置，例如我们可以在第一条空白轨迹中添加另一个百分比坐标轴# 添加点线# 大于 30 度的间隔为 0.2，小于 30 度的间隔为 0.5。
2023-11-22 09:42:00
232
原创 R 数据可视化 —— circlize 和弦图
和弦图可以用连接线或条带的方式展示不同对象之间的关系连接，可以直接显示不同对象之间存在关系连接的宽度与关系的强度成正比连接的颜色可以代表关系的另一种映射，如关系的类型扇形的大小，代表对象的度量在circlize，并不需要使用来一个个绘制。
2023-11-22 09:41:19
255
ggplot 绘制配对抖动点图
2023-11-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人