数据科学库

已于 2022-05-06 10:20:39 修改
阅读量783 收藏
点赞数
文章标签： python 数据分析
于 2022-05-03 15:08:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36896268/article/details/124553176
版权

文章目录

认识Jupyter Notebook

在这里插入图片描述

matplotlib

为什么学matplotlib

1.能将数据进行可视化,更直观的呈现
2.使数据更加客观、更具说服力

什么是matplotlib

matplotlib: 最流行的Python底层绘图库，主要做数据可视化图表,名字取材于MATLAB，模仿MATLAB构建

matplotlib基本要点

在这里插入图片描述

可以做得更好

但是目前存在以下几个问题:

  1. 设置图片大小(想要一个高清无码大图)
  2. 保存到本地
  3. 描述信息,比如x轴和y轴表示什么,这个图表示什么
  4. 调整x或者y的刻度的间距
  5. 线条的样式(比如颜色,透明度等)
  6. 标记出特殊的点(比如告诉别人最高点和最低点在哪里)
  7. 给图片添加一个水印(防伪,防止盗用)

设置图片大小

在这里插入图片描述

调整X或者Y轴上的刻度

在这里插入图片描述
在这里插入图片描述

设置中文显示

为什么无法显示中文:
matplotlib默认不支持中文字符，因为默认的英文字体无法显示汉字

查看linux/mac下面支持的字体:

  • fc-list 查看支持的字体 fc-list :lang=zh 查看支持的中文(冒号前面有空格)

那么问题来了:如何修改matplotlib的默认字体?

  • 通过matplotlib.rc可以修改,具体方法参见源码(windows/linux)
  • 通过matplotlib 下的font_manager可以解

在这里插入图片描述

给图像添加描述信息

在这里插入图片描述

自定义绘制图形风格

在这里插入图片描述

添加图例

在这里插入图片描述

绘制散点图

技术要点:plt.scatter(x,y)
在这里插入图片描述

应用场景

  • 不同条件(维度)之间的内在关联关系
  • 观察数据的离散聚合程度

绘制条形图

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

条形图应用场景

  • 数量统计
  • 频率统计(市场饱和度)

绘制直方图

在这里插入图片描述在这里插入图片描述

在这里插入图片描述

直方图应用场景

  • 用户的年龄分布状态
  • 一段时间内用户点击次数的分布状态
  • 用户活跃时间的分布状态

更多的绘图工具

  1. 百度Echarts
  2. plotly:可视化工具中的github,相比于matplotlib更加简单,图形更加漂亮,同时兼容matplotlib和pandas
  3. seaborn

Numpy

什么是numpy

一个在Python中做科学计算的基础库，重在数值计算，也是大部分PYTHON科学计算库的基础库，多用于在大型、多维数组上执行数值运算

numpy创建数组(矩阵)

在这里插入图片描述

numpy中常见的更多数据类型

在这里插入图片描述

数据类型的操作

在这里插入图片描述

数组的形状

reshape（）里面有几个数就是几维的，注意一位变化时候（24，）不是（24,1）
在这里插入图片描述
在这里插入图片描述

数组和数的计算

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

广播原则

在这里插入图片描述
在这里插入图片描述

轴

在numpy中可以理解为方向,使用0,1,2…数字表示,对于一个一维数组,只有一个0轴,对于2维数组(shape(2,2)),有0轴和1轴,对于三维数组(shape(2,2, 3)),有0,1,2轴

有了轴的概念之后,我们计算会更加方便,比如计算一个2维数组的平均值,必须指定是计算哪个方向上面的数字的平均值

那么问题来了:
在前面的知识,轴在哪里?
回顾np.arange(0,10).reshape((2,5)),reshpe中2表示0轴长度(包含数据的条数)为2,1轴长度为5,2X5一共10个数据

在这里插入图片描述
在这里插入图片描述

numpy读取数据

CSV:Comma-Separated Value,逗号分隔值文件
显示：表格状态
源文件：换行和逗号分隔行列的格式化文本,每一行的数据表示一条记录

由于csv便于展示,读取和写入,所以很多地方也是用csv的格式存储和传输中小型的数据,为了方便教学,我们会经常操作csv格式的文件,但是操作数据库中的数据也是很容易的实现的

np.loadtxt(fname,dtype=np.float,delimiter=None,skiprows=0,usecols=None,unpack=False)

在这里插入图片描述

numpy中的转置

转置是一种变换,对于numpy中的数组来说,就是在对角线方向交换数据,目的也是为了更方便的去处理数据
在这里插入图片描述
在这里插入图片描述

numpy索引和切片

在这里插入图片描述
在这里插入图片描述

numpy中数值的修改

在这里插入图片描述

numpy中布尔索引

在这里插入图片描述

numpy中三元运算符

在这里插入图片描述

numpy中的clip(裁剪)

在这里插入图片描述

numpy中的nan和inf

在这里插入图片描述

numpy中的nan的注意点

在这里插入图片描述
那么问题来了，在一组数据中单纯的把nan替换为0，合适么？会带来什么样的影响？

比如，全部替换为0后，替换之前的平均值如果大于0，替换之后的均值肯定会变小，所以更一般的方式是把缺失的数值替换为均值（中值）或者是直接删除有缺失值的一行

那么问题来了：
如何计算一组数据的中值或者是均值
如何删除有缺失数据的那一行（列）[在pandas中介绍]

numpy中常用统计函数

在这里插入图片描述

ndarry缺失值填充均值

在这里插入图片描述

数组的拼接

在这里插入图片描述

数组的行列交换

在这里插入图片描述

numpy生成随机数

在这里插入图片描述

Pandas

那么问题来了：numpy已经能够帮助我们处理数据，能够结合matplotlib解决我们数据分析的问题，那么pandas学习的目的在什么地方呢？

numpy能够帮我们处理处理数值型数据，但是这还不够
很多时候，我们的数据除了数值之外，还有字符串，还有时间序列等
比如：我们通过爬虫获取到了存储在数据库中的数据
比如：之前youtube的例子中除了数值之外还有国家的信息，视频的分类(tag)信息，标题信息等

所以，numpy能够帮助我们处理数值，但是pandas除了处理数值之外(基于numpy)，还能够帮助我们处理其他类型的数据

pandas is an open source, BSD-licensed library providing high-performance, easy-to-use data structures and data analysis tools for the Python programming language.

pandas的常用数据类型

Series 一维，带标签数组
DataFrame 二维，Series容器

pandas之Series创建在这里插入图片描述在这里插入图片描述

pandas之Series切片和索引

在这里插入图片描述
在这里插入图片描述

pandas之读取外部数据

在这里插入图片描述

pandas之DataFrame

在这里插入图片描述
在这里插入图片描述

pandas之取行或者列

在这里插入图片描述

loc

在这里插入图片描述

lioc

在这里插入图片描述

pandas之布尔索引

在这里插入图片描述
在这里插入图片描述

pandas之字符串方法

在这里插入图片描述

缺失数据处理

在这里插入图片描述
对于NaN的数据，在numpy中我们是如何处理的？
在pandas中我们处理起来非常容易

判断数据是否为NaN：pd.isnull(df),pd.notnull(df)

  • 处理方式1：删除NaN所在的行列dropna (axis=0, how=‘any’, inplace=False)
  • 处理方式2：填充数据，t.fillna(t.mean()),t.fiallna(t.median()),t.fillna(0)

处理为0的数据：t[t==0]=np.nan
当然并不是每次为0的数据都需要处理
计算平均值等情况，nan是不参与计算的，但是0会

数据合并

join:默认情况下他是把行索引相同的数据合并到一起
在这里插入图片描述
merge:按照指定的列把数据按照一定的方式合并到一起
在这里插入图片描述

分组和聚合

在pandas中类似的分组的操作我们有很简单的方式来完成

df.groupby(by=“columns_name”)

那么问题来了，调用groupby方法之后返回的是什么内容？
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

索引和复合索引

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

沸腾鱼o_o
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
2017年最流行的15个数据科学Python库
陈海峰的博客
05-18 1362
选自Medium 作者：Igor Bobriakov 机器之心编译 参与：朱朝阳、吴攀 Python 近几年在数据科学行业获得了人们的极大青睐，各种资源也层出不穷。数据科学解决方案公司 ActiveWizards 近日根据他们自己的应用开发经验，总结了数据科学家和工程师将在 2017 年最常使用的 Python 库。 核心库
数据科学库（一）
qq_42798832的博客
10-13 299
文章目录numpy和pandas介绍numpy常用属性介绍定义numpy生成array的数据类型和表达形式zeros、ones、empty、arange、linspace方法numpy的基础运算基本数据运算判断矩阵中每个元素的大小矩阵乘法矩阵行或列求和矩阵索引及常用方法排序矩阵转置clip按行或列索引逐个索引array合并一维序列（向量）的转置(newaxis方法)array分割（split和vsplit、hsplit）等量分割（split和axis）等量分割（vsplit、hsplit）不等量分割nump
pandas基础（3. 索引、分組）
切克闹的博客
12-10 215
索引 import numpy as np import pandas as pd # 指定索引的Series s = pd.Series(np.arange(6), index=list('BABCDA')) s Out[6]: B 0 A 1 B 2 # 无重复索引吗？ s.index.is_unique Out[7]: False # 去掉重复的索引为 s.inde...
python数据科学库_Python数据科学库
从零开始的教程世界
07-19 489
python数据科学库 什么是数据科学？ (What is Data Science?) We live in an information age, where the challenge is to extract meaningful information from large volumes of data. 我们生活在信息时代，挑战在于从大量数据中提取有意义的信息。 Data Scie...
数据仓库基本知识
热门推荐
直到世界的尽头
10-31 2万+
数据仓库是什么 根据统计，每个企业的数据量每2～3年时间就会成倍增长，这些数据蕴含着巨大的商业价值，而企业所关注的通常只占在总数据量的2%～4%左右。 因此，企业仍然没有最大化地利用已存在的数据资源，以至于浪费了更多的时间和资金，也失去制定关键商业决策的最佳契机。 于是，企业如何通过各种技术手段，并把数据转换为信息、知识避免各种无知状态和瞎猜行为，已经成了提高其核心竞争力的主要瓶颈。 ...
机器学习-数据科学库-day2
weixin_47049321的博客
04-07 1729
机器学习-数据科学库-day2
初学大数据之Python中5个最佳的数据科学库的学习
Magician的博客
02-24 8144
在下载了pycharm软件以及通过前两篇文章，配置了相应的模块包之后，那就开始对常用的模块的学习，以便后期利用这些模块对数据做模型化处理。   如果你已经决定把Python作为你的编程语言，那么，你脑海中的下一个问题会是：“进行数据分析有哪些Python库可用？” Python有很多库可用来进行数据分析。但不必担心，你不需要学习所有那些可用库。你只须了解5个Python库，就可以完成绝大多数...
datasciencecoursera：数据科学仓库
02-11
数据科学仓库是一个专门为学习数据科学而设立的资源集合，它涵盖了数据科学的多个核心领域，包括数据预处理、统计分析、机器学习以及可视化等。在这个仓库中，主要使用的编程语言是R，这是一种在数据科学领域广泛...
数据科学速查表
04-01
本速查表涵盖了Python数据科学中的关键库，包括pandas、numpy、sklearn、keras、matplotlib、seaborn等，这些都是数据科学家日常工作中不可或缺的工具。 1. **pandas**：pandas是Python中最常用的数据处理库，提供...
200609_small_codes:包含跨不同数据科学库和概念的少量学习
03-16
标题 "200609_small_codes" 暗示这是一个关于数据科学的学习资源，其中可能包含了各种小型代码示例，这些示例涵盖了不同的数据科学库和概念。描述中的信息进一步证实了这一点，表明这个压缩包是为学习者设计的，帮助...
TDA-tutorial:一组使用python Gudhi库以及流行的机器学习和数据科学库来实践TDA的jupyter笔记本
05-07
在这里，我们使用Python Gudhi库以及流行的机器学习库和数据科学库为TDA的实践提出了一套笔记本。 例如，请参阅了解有关数据科学的TDA的介绍。 笔记本的完整列表也可以在此页的末尾找到。 安装Python Gudhi库 请...
Python数据科学常用库速查表
09-24
在数据科学领域，Python语言因其丰富的库支持而备受青睐。这张“Python数据科学常用库速查表”是数据科学家和分析师的重要参考资料，它涵盖了多个关键领域的工具，包括数据处理、统计分析、机器学习、可视化以及数据...
cv2读取和保存图片
m0_53291740的博客
07-12 269
cv2.imwrite('b\\img1.png',img)#b存在就可以保存进去。如果b存在，c不存在，程序不会报错，也不会保存图片。如果目录b不存在就会存到当前文件夹。
《JavaSE》---6.＜基础语法（Java三大程序控制结构）＞
m0_73456341的博客
07-14 787
本篇博客主要讲解Java基础语法中的三大结构，一种顺序结构、两大分支结构i（if-else、swich-case）、四大循环结构（while、do while、fot、foreach）
华为od机试真题 — 代表团坐车(Python)
学习,你不是一个人在战斗 ～ 961302305（QQ,微信）
07-17 527
【华为od机试真题 】代表团坐车(Python) 某组织举行会议，来了多个代表团同时到达，接待处只有一辆汽车可以同时接待多个代表团，为了提高车辆利用率，请帮接待员计算可以坐满车的接待方案输出方案数量。
IPython 日志秘籍：%logstate 命令全解析
2401_85812026的博客
07-17 490
logstate命令是 IPython 日志系统的重要组成部分，它帮助我们掌控日志记录的状态。通过本文的介绍，你应该对如何在 IPython 中使用%logstate查看日志状态有了更深入的理解。记住，合理利用日志系统，可以让你的数据探索过程更加透明和可追溯。本文详细介绍了 IPython 的%logstate命令，包括其基本概念、基本用法、输出解析以及实战示例。希望本文能够帮助读者更好地利用 IPython 的日志系统，优化数据探索和科学计算的工作流。记住，掌握%logstate。
Python每日一题：回文数
xiongxiaoxuan的博客
07-16 236
回文数是指正序（从左向右）和倒序（从右向左）读都是一样的整数。例如，121 是回文，而 123 不是。给你一个整数 x ，如果 x 是一个回文整数，返回 true；否则，返回 false。解释：从左向右读, 为 -121。从右向左读, 为 121-。因此它不是一个回文数。先将整数x转化为字符串形式，判断x和它的反转形态是否完全相等。解释：从右向左读, 为 01。需注意：True和False首字母大写！提示：-231
N7翻译实战
最新发布
tjl521314_21的博客
07-17 225
本周完成项目实战用于训练一个简单的序列到序列（seq2seq）模型以实现英语到法语的翻译。数据预处理、模型构建、训练以及可视化损失的过程。本周学习了构建和训练一个简单的seq2seq模型用于英语到法语的翻译，对前面的知识做了一个综合的运用。
数据科学中的模型库设计与开发研究
“数据科学中模型库的设计与开发，涉及SISMI研究领域，由博士生导师Ladjel Bellatreche指导，共同监督人Mickael Baron，主要探讨计算机科学与应用。” 本文是一篇关于数据科学中模型库设计与开发的博士学位论文，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值