数据分析课程笔记（三）数组形状和计算、numpy存储/读取数据、索引、切片和拼接

最新推荐文章于 2024-08-17 01:44:53 发布
最新推荐文章于 2024-08-17 01:44:53 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： 数据分析 文章标签： 数据分析 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27251475/article/details/122824005
版权

数据分析课程笔记

数组的形状

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

数组的计算

在这里插入图片描述
在这里插入图片描述

不同维度进行计算

在这里插入图片描述
在这里插入图片描述

广播原则

在这里插入图片描述
在这里插入图片描述

轴（axis）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

numpy读取数据

在这里插入图片描述
np.loadtxt(fname,dtype=np.float,delimiter=None,skiprows=0,usecols=None,unpack=False)在这里插入图片描述
在这里插入图片描述

数据来源:
https://www.kaggle.com/datasnaek/youtube/data
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

# coding=utf-8
import numpy as np

us_file_path = "./youtube_video_data/US_video_data_numbers.csv"
uk_file_path = "./youtube_video_data/GB_video_data_numbers.csv"

# t1 = np.loadtxt(us_file_path,delimiter=",",dtype="int",unpack=True)
t2 = np.loadtxt(us_file_path,delimiter=",",dtype="int")

# print(t1)
print(t2)

print("*"*100)

#取行
# print(t2[2])

#取连续的多行
# print(t2[2:])

#取不连续的多行
# print(t2[[2,8,10]])

# print(t2[1,:])
# print(t2[2:,:])
# print(t2[[2,10,3],:])

#取列
# print(t2[:,0])

#取连续的多列
# print(t2[:,2:])

#取不连续的多列
# print(t2[:,[0,2]])

#去行和列，取第3行，第四列的值
# a = t2[2,3]
# print(a)
# print(type(a))

#取多行和多列，取第3行到第五行，第2列到第4列的结果
#去的是行和列交叉点的位置
b = t2[2:5,1:4]
# print(b)

#取多个不相邻的点
#选出来的结果是（0，0） （2，1） （2，3）
c = t2[[0,2,2],[0,1,3]]
print(c)

numpy索引和切片

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

numpy中布尔索引

在这里插入图片描述
在这里插入图片描述

numpy中三元运算符

在这里插入图片描述
在这里插入图片描述

numpy中的clip(裁剪)

在这里插入图片描述
在这里插入图片描述

numpy中的nan和inf

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

numpy中的nan的注意点

在这里插入图片描述

numpy中常用统计函数

在这里插入图片描述

默认返回多维数组的全部的统计结果,如果指定axis则返回一个当前轴上的结果
在这里插入图片描述
在这里插入图片描述
缺失值处理

# coding=utf-8
import numpy as np


# print(t1)
def fill_ndarray(t1):
    for i in range(t1.shape[1]):  #遍历每一列
        temp_col = t1[:,i]  #当前的一列
        nan_num = np.count_nonzero(temp_col!=temp_col)
        if nan_num !=0: #不为0，说明当前这一列中有nan
            temp_not_nan_col = temp_col[temp_col==temp_col] #当前一列不为nan的array

            # 选中当前为nan的位置，把值赋值为不为nan的均值
            temp_col[np.isnan(temp_col)] = temp_not_nan_col.mean()
    return t1

if __name__ == '__main__':
    t1 = np.arange(24).reshape((4, 6)).astype("float")
    t1[1, 2:] = np.nan
    print(t1)
    t1 = fill_ndarray(t1)
    print(t1)
  • 如何选择一行或者多行的数据（列）？
  • 如何给选取的行或者列赋值？
  • 如何大于把大于10的值替换为10？
  • np.where如何使用？
  • np.clip如何使用？
  • 如何转置（交换轴）？
  • 读取和保存数据为csv
  • np.nan和np.inf是什么
  • 常用的统计函数你记得几个？
  • 标准差反映出数据的什么信息
    在这里插入图片描述
#### numpy的索引和切片
  - t[10,20]
  - `t[[2,5],[4,8]]`

  - t[3:]
  - t[[2,5,6]]

  - t[:,:4]
  - t[:,[2,5,6]]

  - t[2:3,5:7]


#### numpy中的bool索引,where,clip的使用
  - t[t<30] = 2
  - np.where(t<10,20,5)
  - t.clip(10,20)


#### 转置和读取本地文件
  - t.T
  - t.transpose()
  - t.sawpaxes()

  - np.loadtxt(file_path,delimiter,dtype)


#### nan和inf是什么
  - nan not a number
  - np.nan != np.nan
  - 任何值和nan进行计算都是nan

  - inf 无穷

#### 常用统计函数
  - t.sum()
  - t.mean()
  - np.meadian()
  - t.max()
  - t.min()
  - np.ptp()
  - t.std()

在这里插入图片描述

import numpy as np
from matplotlib import  pyplot as plt

us_file_path = "./youtube_video_data/US_video_data_numbers.csv"
uk_file_path = "./youtube_video_data/GB_video_data_numbers.csv"

# t1 = np.loadtxt(us_file_path,delimiter=",",dtype="int",unpack=True)
t_us = np.loadtxt(us_file_path,delimiter=",",dtype="int")

#取评论的数据
t_us_comments = t_us[:,-1]

#选择比5000小的数据
t_us_comments = t_us_comments[t_us_comments<=5000]

print(t_us_comments.max(),t_us_comments.min())

d = 50

bin_nums = (t_us_comments.max()-t_us_comments.min())//d

#绘图
plt.figure(figsize=(20,8),dpi=80)

plt.hist(t_us_comments,bin_nums)


plt.show()

import numpy as np
from matplotlib import  pyplot as plt

us_file_path = "./youtube_video_data/US_video_data_numbers.csv"
uk_file_path = "./youtube_video_data/GB_video_data_numbers.csv"

# t1 = np.loadtxt(us_file_path,delimiter=",",dtype="int",unpack=True)
t_uk = np.loadtxt(uk_file_path,delimiter=",",dtype="int")

#选择喜欢书比50万小的数据
t_uk = t_uk[t_uk[:,1]<=500000]

t_uk_comment = t_uk[:,-1]
t_uk_like = t_uk[:,1]



plt.figure(figsize=(20,8),dpi=80)
plt.scatter(t_uk_like,t_uk_comment)

plt.show()

数据拼接

在这里插入图片描述
在这里插入图片描述

数据行列交换

在这里插入图片描述
现在我希望把之前案例中两个国家的数据方法一起来研究分析，那么应该怎么做？

# coding=utf-8
import numpy as np

us_data = "./youtube_video_data/US_video_data_numbers.csv"
uk_data = "./youtube_video_data/GB_video_data_numbers.csv"

#加载国家数据
us_data = np.loadtxt(us_data,delimiter=",",dtype=int)
uk_data = np.loadtxt(uk_data,delimiter=",",dtype=int)

# 添加国家信息
#构造全为0的数据
zeros_data = np.zeros((us_data.shape[0],1)).astype(int)
ones_data = np.ones((uk_data.shape[0],1)).astype(int)

#分别添加一列全为0,1的数组
us_data = np.hstack((us_data,zeros_data))
uk_data = np.hstack((uk_data,ones_data))


# 拼接两组数据
final_data = np.vstack((us_data,uk_data))
print(final_data)

更多好用方法

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

numpy生成随机数

在这里插入图片描述

# coding=utf-8
import numpy as np


np.random.seed(10)
t = np.random.randint(0,20,(3,4))
print(t)

numpy的注意点copy和view

在这里插入图片描述
在这里插入图片描述

M行者X
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习方向指南
qq_44226386的博客
04-22 572
1. 使用机器学习进行贷款预测 项目构想：该ML项目背后的构想是建立一个模型，该模型将对用户可以贷款多少进行分类。它基于用户的婚姻状况，教育程度，受抚养人数和就业情况。我们可以为此项目建立一个线性模型。 数据集：贷款预测数据集 https://www.kaggle.com/altruistdelhite04/loan-prediction-problem-dataset 2、 住房价格预测项目 项目构想：数据集包含波士顿剩余区域的房价。房子的费用根据犯罪率，房间数量等各种因素而变化。 数据集：房屋价格预测数
【数据分析】英国YouTube视频统计和评论趋势
叶柖的博客
09-01 589
数据来源：https://www.kaggle.com/datasnaek/youtube 1.视频点赞数与评论数的关系 刚开始使用np.loadtxt()处理数据出错Wrong number of columns at line %d 原因1：使用,作分隔符，数据中,产生干扰，将,替换为、或者其他字符 原因2：comments默认为#，之后的字符默认都被注释掉，将comments设置为None 之后还是有其他行报错 改为用np.genfromtxt()，可以处理缺失数据等信息（如果知道其他报错的原因还请各
数据挖掘-实战记录（二）乳腺癌数据聚类实验及其分析报告
热门推荐
weixin_46490924的博客
01-16 1万+
数据挖掘-实战记录（二）乳腺癌数据聚类实验及其分析报告
Python基础语法及应用
Jacksjie的博客
04-08 1214
在 Python 中，元组（Tuple）是一种有序、不可变的数据结构，用于存储一组元素。在 Python 中，字典（Dictionary）是一种无序的数据结构，用于存储键-值（key-value）对。在 Python 中，matplotlib 是一个用于绘制图表和数据可视化的库，而 pyplot 模块是 matplotlib 库的一个子模块，提供了类似于 MATLAB 的绘图接口。在 Python 中，整数是一种基本的数据类型，用于表示没有小数部分的数字，整数没有固定的最大值，可以根据系统内存动态调整。
12 个 Pandas 数据处理高频操作
AI科技大本营
03-11 551
作者 | 老表来源 |简说Python今天给大家分享几个自己近期常用的Pandas数据处理技巧，主打实用，所以你肯定能用的着，建议扫一遍，然后收藏起来，下次要用的时候再查查看即可。简单说...
Python数据分析实践：NumPy数组的切片和索引操作续.pdf
06-14
Python数据分析实践：NumPy数组的切片和索引操作续.pdf
Python数据分析实践：NumPy数组的切片和索引操作.pdf
06-14
Python数据分析实践：NumPy数组的切片和索引操作.pdf
Python 数据分析三剑客之 NumPy（二）：NumPy 数组索引、切片、广播、拼接、分割
12-21
获取行或列【2×03】布尔索引【2×04】花式索引【3×00】NumPy 切片【4×00】NumPy 数组运算以及广播原则【7×00】数组的拼接与元素的添加【7×01】将数组转换成列表，拼接完成再转换成数组【7×02】numpy.append()...
Python数据分析03：Numpy数组和通用函数
01-20
数组和矢量计算NumPy Basics: Arrays and Vectorized Computation4.1 Numpy ndarry：一种多维数组对象（The NumPy ndarray: A Multidimensional Array Object）4.1.1 创建ndarray（Creating ndarrays）4.1.2 ndarray...
numpy中索引和切片详解
09-20
在numpy库中，索引和切片...无论是一维、二维还是更高维的数组，都能通过索引和切片实现对数据的精确控制，这在数据分析和科学计算中是非常重要的。了解并熟练掌握这些技巧，将有助于提升你在处理大型数据集时的效率。
别再人云亦云了！！！你真的搞懂了RDD、DataFrame、DataSet的区别吗？
大数据实验室
02-04 623
几年前，包括最近，我看了各种书籍、教程、官网。但是真正能够把RDD、DataFrame、DataSet解释得清楚一点的、论据多一点少之又少，甚至有的人号称Spark专家，但在这一块根本说不清楚。还有国内的一些书籍，小猴真的想问一声：Are you OK？书名别再叫精通xxx技术了，请改名为 xxx技术从入门到放弃。这样可以有效避免耽误别人学习，不好吗？ 大家都在告诉我们结论，但其实，小猴作为一名长期混迹于开源社区、并仍在一线大数据开发的技术人，深谙技术文化之一： To experience | 去经历
NumPy中的nan和常用方法
weixin_42067873的博客
11-07 6303
一、数组的拼接 对两组数据进行联合分析时，需要使用到数组拼接 二、交换数组的行列 竖直拼接的时候：每一列的意义必须相同。 如果每一列的意义不同，这个时候就应该交换某一组的列，让其和另外一类相同，交换时也是使用索引进行操作 方法介绍： np.zeros((行数，列数)) 创建一个全0的数组 np.zeros().astype(int)显示指定创建数组内元素的类型 np.ones((行数，列数)) 创建一个全1的数组 np.ones().astype(in
NumPy读取本地数据和索引
weixin_42067873的博客
11-01 563
一、轴（axis） 在numpy中可以理解为方向，使用0，1，2...数字表示，对于一个一维数组，只有一个0轴；对于2维数组（shape(2,2)），有0轴和1轴；对于三维数组（shape(2,2,3)），有0，1，2轴 二、numpy读取数据（不经常使用<了解>） 1、读取文件类型 2、读取文件的方法 unpack参数：矩阵转置 现在这里有一个英国和美国各自YouTube多个视频的点击，喜欢，不喜欢，评论数量（["views", "likes", "dis
数据分析--Numpy
weixin_39274067的博客
08-29 761
数据分析–Numpy 一、numpy基础 1、什么是numpy? numpy是帮助我们处理数值型数据的，十分方便快捷，是科学计算的基础库。 定义：一个在python中做科学计算的基础库，重在数值计算，也是大部分python科学计算库的基础库，多用于大型、多维数组上执行数值运算。 2、numpy创建数组 import numpy as np #使用numpy生成数组，得到ndarray的类型 t1=np.array([1,2,3,4]) t2=np.array(range(1,5)) t3=np.arang
03_python数据分析之numpy
时光的博客
10-31 841
python数据分析之numpy1.什么是 numpy ？2. numpy 基础2.1 numpy 创建数组（矩阵）2.2 numpy 中常见的更多数据类型2.3 数据类型的操作2.4 数组的形状2.4 数组和数的计算2.5 广播原则2.6 轴（axis）2.7 numpy 读取数据2.8 numpy 中的转置2.9 numpy 索引和切片2.10 numpy 中数值的修改2.11 numpy 中...
利用Python做数据分析的基本步骤（持续更新）
abudullah的博客
08-20 3021
一、环境搭建 数据分析最常见的环境是Anaconda+Jupyter notebook 二、导入包 2.1数据处理包导入 import numpy as np import pandas as pd 注：numpy是Numerical Python的简称，是一个科学计算的包，可用来矩阵运算，处理线性代数的常见问题。 pandas是panel data和data analysis的组合词，原来是用来处理计量经济学面板数据的工具，可以用来数据对齐、切割、取片、查重、去空等一系列操作。 2.
数据分析实用小笔记1.1—numpy数据处理替换NAN
BSZJYAJ的博客
03-28 598
1.numpy数据处理替换NAN 代码 #coding = utf-8 import numpy as np def fill_ndarray(t1): for i in range(t1.shape[1]): temp_col = t1[:,i] nan_num = np.count_nonzero(temp_col !=temp_col) ...
【数据分析】Granger因果关系分析
最新发布
满堂花醉三千客，一剑霜寒十四州
08-17 1202
Granger（格兰杰） 因果关系分析（Granger Causality Analysis）是一种用于检验时间序列变量之间因果关系的统计方法。
每天一个数据分析题（四百八十五）- 统计推断
shiguangre的博客
08-16 713
内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark八个方向的专项练习题库，数据分析从业者刷题必备神器！A. p值是在原假设成立时，样本观察结果发生的概率。D. 用p值做决策比用域值做决策更准确。C. p值是相对样本统计量而言的。B. p值是接受原假设的概率。假设检验中，关于p值说法正确的是？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值