数据分析入门-第三天

最新推荐文章于 2024-03-23 10:22:19 发布
最新推荐文章于 2024-03-23 10:22:19 发布
阅读量211 收藏
点赞数
分类专栏： 机器学习 文章标签： python 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44179323/article/details/109189026
版权

数据分析入门

第三天 参考视频

四、Pandas使用 - 基础篇

（一）概述

  1. Pandas介绍 - 数值处理工具

    pan - panel 面板数据

    d- data

    as - analysis 分析

  2. Pandas优点

    （1）便捷的数据处理

    （2）读取文件方便

    （3）封装了Matplotlib、Numpy的画图和计算

  3. Pandas核心数据结构

    （1）DataFrame

    1. 创建

      # 结构：既有行索引（index），又有列索引（columns）的二维数组
stock_change = np.random.normal(0, 1, (10,5))
pd.DataFrame(stock_change)
# 行索引
stock_code = ['股票{}'.format(i) for i in range(10)]
# 列索引
date = pd.date_range(start='20190606', periods=5, freq='B')

pd.DataFrame(stock_change, index=stock_code, columns=date)

    2. 属性

      # 可用此方式创建，也可用字典方式创建
data = pd.DataFrame(stock_change, index=stock_code, columns=date)

data.shape # shape=(10,5)
data.index # index=stock_code
data.columns # columns=date
data.values # 除去index和columns的数据部分，即一个二维数组
data.T # 包含index和columns的行列转换

    3. 方法

      data = pd.DataFrame(stock_change, index=stock_code, columns=date)

data.head(n) # 返回前n行values(带有index和columns)，不写默认返回前5行values
data.tail()  # 返回后n行values(带有index和columns)，不写默认返回后5行values

    4. DataFrame索引的设置

      # 修改行列索引值
# data.index[3] = 'aaa' # 不能单独修改行列索引值，只能整体修改
stock_code = ['股票----{}'.format(i) for i in range(10)]
data.index = stock_code

# 重设索引
data.reset_index(drop=True) # 删除原索引，然后重设索引
data.reset_index() # 将原索引作为index列插入原数据，然后重设索引

# 设置新索引
df = pd.DataFrame({'month':[1, 4, 7, 10],
                   'year':[2012, 2014, 2013, 2014],
                   'sale':[55, 40, 84, 31]})

# 以月份设置新的索引
df.set_index('month', drop=True) # 默认drop=True删除values中month列，否则保留

# 设置多个索引
df_mul = df.set_index(['month', 'year'], drop=True)

df_mul.index
'''
Results:
MultiIndex([( 1, 2012),
            ( 4, 2014),
            ( 7, 2013),
            (10, 2014)],
           names=['month', 'year'])
从Index变成了MultiIndex
'''

df_mul.index.names # FrozenList(['month', 'year'])
df_mul.index.levels # FrozenList([[1, 4, 7, 10], [2012, 2013, 2014]])

    （2）Panel - DataFrame的容器，三维

    ​ np.panel()在最新版已被移除，使用MultiIndex代替

    （3）Serise - 带索引(行索引)的一维数组，DataFrame是Serise的容器

    1. 初识Serise

      data = pd.DataFrame(stock_change, index=stock_code, columns=date)
data.iloc[1,:] # Serise带索引的一维数组
'''
Results:
2020-06-18    0.924080
2020-06-19    0.016468
2020-06-22   -1.266148
2020-06-23    1.523937
2020-06-24   -0.853731
Freq: B, Name: 股票_1, dtype: float64
'''

    2. Serise 属性

      # index
data.iloc[1,:].index
'''
Results:
DatetimeIndex(['2020-06-18', '2020-06-19', '2020-06-22', '2020-06-23',
               '2020-06-24'],
              dtype='datetime64[ns]', freq='B')

'''

# values 是一个一维ndarray数组
data.iloc[1,:].values
'''
Results:
array([ 0.92407994,  0.01646795, -1.26614793,  1.52393669, -0.85373051])
'''

    3. Serise 创建/方法

      # 1.指定索引
pd.Series([6.7,5.6,3,10,2],index=['a','b','c','d','e'])

# 2.通过字典创建 键作为index，值作为values
pd.Series({
    'red':100,
    'blue':200,
    'green':500,
    'yellow':1000
})
（二）基本数据操作

  1. 读取数据

    datas = pd.read_csv('C:/Users/ABC/Desktop/stock_day.csv')
datas = datas.drop(['ma5', 'ma10', 'ma20', 'v_ma5', 'v_ma10', 'v_ma20'], axis=1) # 对列drop
datas
# datas值如下
    openhighcloselowvolume
    2018-02-2723.5325.8824.1623.5395578.03
    2018-02-2622.8023.7823.5322.8060985.11
    2018-02-2322.8823.3722.8222.7152914.01
    ………………

  2. 索引操作

    # 直接使用行列索引（必须先列后行）
datas['open']['2018-02-26'] # 22.80

# 按名字索引 loc
datas.loc['2018-02-26']['open'] # 22.80
# datas.loc['2018-02-26','open'] # 这样也可以

# 按数字索引 iloc 不能直接进行数字索引
datas.iloc[1][0] # 22.80

#组合索引 数字、名字
# 获取前四行四列元素值
# datas.ix[0:4, ['open', 'close', 'high', 'low']] 此方法已废弃

# loc
datas.loc[datas.index[:4], ['open', 'close', 'high', 'low']] #d atas.index[:4]获取行索引名字

# iloc
# datas.columns.get_indexer(['open', 'close', 'high', 'low']) # array([0, 2, 1, 3], dtype=int64)
datas.iloc[0:4, datas.columns.get_indexer(['open', 'close', 'high', 'low'])] #d atas.index[:4]获取行索引名字


# 一个低级语法错误
# 以下这句报语法错误
# datas.iloc[[0:4], datas.columns.get_indexer(['open', 'close', 'high', 'low'])]
# 以下这句就不会
datas.iloc[[0,1,2,3], datas.columns.get_indexer(['open', 'close', 'high', 'low'])]
# 以上两句主要原因是[0:4]本身是错的，切分是对某一个矩阵/列表等切分，自己不能切分，应该用range(4)
datas.iloc[range(4), datas.columns.get_indexer(['open', 'close', 'high', 'low'])]

  3. 赋值操作

    # 可以修改整列或整行
datas["open"] = 5 # 或者datas.open = 1

# 修改某一个元素值 四种索引索引到该元素再直接赋值即可
datas.iloc[0,0] = "hehehe"

  4. 排序

    （1）对DataFrame内容排序

    # 对内容进行排序, ascending=False降序排列 ，默认为True升序排列
datas.sort_values(by="high",ascending=False)

# 按照多个字段进行排序
# 先按照“high”字段的内容进行排序，如果值相同，再按照“close”字段的内容进行排序
datas.sort_values(by=["high","close"])

# 实现先按照“high”字段的内容进行“升序”排序，如果值相同，再按照“close”字段的内容进行“降序”排序
datas.sort_values(by=["high","close"],ascending=[True, False])

    （2）对DataFrame索引排序

    # 按照行索引大小进行排序,默认从小到大排序
datas.sort_index()

    （3）对serise排序

    # 获取一个serise
sr = datas["open"]

# 对serise内容排序,ascending=False降序排列 ，默认为True升序排列
sr.sort_values(ascending=False)

# 对serise索引排序,ascending=False降序排列 ，默认为True升序排列
sr.sort_index()
（三）DataFrame运算

  1. 算术运算

    # 对Series类型进行操作
datas["high"] + 3

# add()能进行head()操作
datas["high"].add(3).head()

# 对DataFrame类型进行操作
datas + 3
datas.sub(3)
# 两列相减
datas["close"].sub(datas["open"])

  2. 逻辑运算

    # 逻辑运算符
datas['high'] > 2 # 返回series，带索引的布尔值组
'''
Results:
2018-02-27     True
2018-02-26     True
             ...  
2015-03-03     True
2015-03-02    False
Name: high, Length: 643, dtype: bool
'''

# 满足high>25的所有项(布尔索引)
datas[datas['high'] > 25]
# 多个逻辑判断
datas[(datas["high"]>25) & (datas["open"]< 24)]

    # 逻辑运算函数

# query() 类似于数据库查询语句
datas.query("high>25 & open<24")

# isin()
datas['high'].isin([25,26]) # high值是否为25或26，而不是25到26之间(两者之间用query就好)；返回series，带索引的布尔值组，可布尔索引
'''
2018-02-22    False
2018-02-14    False
             ...  
2015-03-03    False
2015-03-02    False
Name: high, Length: 643, dtype: bool
'''

  3. 统计运算

    # 计算每一列的总数，均值，标准差，最小值，分位数，最大值等
datas.describe()

datas[["open", "high"]].describe()
'''
Results:
    	open		high
count	643.000000	643.000000
mean	21.272706	21.900513
std		3.930973	4.077578
min		12.250000	12.670000
25%		19.000000	19.500000
50%		21.440000	21.970000
75%		23.400000	24.065000
max		34.990000	36.350000
'''

# min max mean median var std
# axis=0 求每一列的最大值  axis=1求每一行的最大值
datas.max(axis=0)

# 累计统计函数 计算前1/2/3.../n-1/n天累计(若是累加，可以看出变化趋势)
# cumsum累加    cummax累计最大     cummin累计最小    cumprod累乘		
datas["p_change"].cumsum() # 计算每天变化累计值，变化趋势
datas["p_change"].sort_index().cumsum().plot() # 先以时间排序，再画图

  4. 自定义运算

    '''
apply(func, axis=0)
func:自定义函数
axis=0:默认是列,axis=1为行进行运算
'''
# 自定义一个计算最大值减去最小值的函数
datas.apply(lambda x : x.max()-x.min(),axis=0)
（四）Pandas画图

  1. pandas.DataFrame.plot()

    # 查看volume和turnover之间的关系
datas.plot(x="volume",y="turnover",kind="scatter")

  2. pandas.Series.plot

（五）文件读取与存储

  1. CSV

    （1）读取CSV文件

    # usecols：指定读取的列名，列表形式
datas = pd.read_csv('C:/Users/ABC/Desktop/stock_day.csv',usecols=['open', 'close', 'high', 'low'])
# datas = datas.drop(['ma5', 'ma10', 'ma20', 'v_ma5', 'v_ma10', 'v_ma20'], axis=1) # 对列drop
datas.head()

# names:如果数据集本身没有列名，可以自己指定列名，不然会默认第行第一列作为字段名
datas = pd.read_csv('C:/Users/ABC/Desktop/stock_day2.csv',names=['open', 'close', 'high', 'low', 'ma5', 'ma10', 'ma20', 'v_ma5', 'v_ma10', 'v_ma20'])
# 上面的列名数10<数据所有列数15，会将数据5列第一行作为字段名，后10列用所给字段名
datas.head()

    （2）存储CSV文件

    # 保存open列前10行数据
# 保存的时候index=False去掉行索引
# mode="a" 追加数据,mode="b" 重写数据
# header=False 不要重复追加列名
datas[:10].to_csv("C:/Users/ABC/Desktop/open.csv",columns=['open'],index=False,mode="a",header=False)


# 保存open列前10行
datas[:10].to_csv("C:/Users/ABC/Desktop/open.csv",columns=['open'])
# 读取刚才保存文件
datas = pd.read_csv('C:/Users/ABC/Desktop/open.csv')
'''
Datas:
	Unnamed: 0	open
0	2018-02-27	23.53
1	2018-02-26	22.80
2	2018-02-23	22.88
'''
# 有一个unnamed列,应该将此列作为行索引的
datas = pd.read_csv('C:/Users/ABC/Desktop/open.csv',index_col=0)
'''
Datas:
			open
2018-02-27	23.53
2018-02-26	22.80
2018-02-23	22.88
'''

  2. HDF5

    # hdf5 存储 3维数据的文件
# key1 dataframe1二维数据
# key2 dataframe2二维数据
path = 'C:/Users/ABC/Desktop/open.h5'
pd.read_hdf(path, key='open') # 若一个h5文件里只有一个key,可以不写;有多个key,读取时必须指定key
df.to_hdf(path, key='open') # 一个h5文件可以存储多个DataFrame,通过key来索引不同DataFrame

  3. JSON

    # 用到再看吧
weixin_44179323
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
倒排索引使用说明
Linyix_的博客
07-08 409
先看一下正序索引以做对比: elasticsearch会将写入的所有信息组织为倒排索引的结构形式 (这里以"床前明月光"为例): 第一步:es将"床前明月光"-->分词(将一段文本按一定规则,拆分为不同词条term) 如:床,前,床前,明月,月,光,月光 第二步:es会记录词条和数据的唯一标识id的对应关系,形成产物 倒序索引:是一种将词条映射到文档的数据结构,可以说倒序索引时面向词条的而不是传统关系数据库那样面向文档的 其他同理,最终得到: ...
sql limit用法_SQL查询倒数第三条数据 LIMIT + ORDER BY 用法，实例秒懂，避免入坑！...
weixin_39986466的博客
11-26 3847
BackgroundLIMIT 用错了好几次，经常以为LIMIT(10,20) 的意思是检索第11行到第20行，其实不是！ 而应该是检索从第11行开始的后20行数据。今天定要重新写一遍避免自己入坑，也顺便提醒⏰下小伙伴哇！还有一个问题是，可能使用两次相同的检索的语句，但是检索结果确实不同的。怎么解决这个问题其实超easy，见下文。 另外，其实无爱国内的好些个术语，感觉蛮怪的，例如：偏移量。所以下文...
【云上ELK系列】阿里云Elasticsearch的Apache日志分析实践
weixin_34253126的博客
11-30 158
阿里云Elasticsearch采集上游数据的方式有很多种，其中有一个与开源完全兼容的方案：通过logstash及logstash周围的强大的plugin实现数据采集。 首先我们需要在ECS中来安装部署logstash，购买阿里云ECS服务，准备1.8以上版本的JDK。 wget https://artifacts.elastic.co/download...
SQL基础入门&篇二之排序聚合分组分页约束多表查询
wanglu458512的博客
07-22 187
DQL查询语句 1. 排序 排序方式：ACS(升序，默认) DESC 语法：order by 子句 注意：order by必须位于from子句后，若使用limit，必须位于orderby后 --找出一个列中最高的值 SELECT pro_price FROM products ORDER BY pro_price DESC LIMIT 1; --limit 1 表示仅返回一行 2. 聚合函数 将一列数据作为整体，进行纵向的计算 形式： count函数，count(*) 对表中的行进行计数 max mi
es第十篇：Elasticsearch for Apache Hadoop
weixin_34390105的博客
09-05 349
es for apache hadoop(elasticsearch-hadoop.jar)允许hadoop作业(mapreduce、hive、pig、cascading、spark)与es交互。 At the core, elasticsearch-hadoop integrates two distributed systems: Hadoop, a distributed computin...
量化交易零基础入门系列-30天掌握Python数据分析高清视频
11-17
量化交易零基础入门系列-30天掌握Python数据分析 课51实践课1-MACD交易策略逻辑12.93M 课52实践课2-实现一行代码的回测37.68M 课53实践课3-参数优化和批量运行29.25M 课时01-认识量化数据分析24.97M 课时02-搭建量化...
Python数据分析入门到实战.txt
03-24
章节3:第三天：Numpy数据处理库（2） 章节4:第四天：Pandas库数据处理库（1） 章节5:第五天：Pandas数据处理库（2） 章节6:第六天：Pandas数据处理库（3） 章节7:第七天：Pandas数据处理库（4） 章节8:第八天：...
第二课 2021年3月15日 数据分析入门-part 1 (1)1
08-03
第二章 数据分析入门An Introduction to Data Science刘 淇数据采集数据预处理特征工程数据采集获得数据的方式多种多样测量网页数据库监
谁说菜鸟不会数据分析（入门篇）第四版-数据.rar
12-22
《谁说菜鸟不会数据分析（入门篇）第四版》是一本专为初学者设计的数据分析教程，旨在帮助新手快速掌握数据分析的基础知识。这本书可能包含了Excel在数据处理、分析和可视化方面的应用，因为“excle”标签暗示了内容...
MySQL顺序倒序和limit命令
2303_76937569的博客
04-25 733
如若表里的哪列需要从小到大排序，可以用order by这个命令，如需要倒序就行比末尾加desc 如图所示。用order by 设置score表里的report列从大到小排列。limit命令是选定哪行，图下内容是选定score表从0开始数前10 行内容。0开始，可以省略0不写。直接limit10；要个列排则加上列名，注意，desc只针对report列的。前面可加where命令选定哪个内容。上图是选出A001最高分前5名。
开源的搜索和分析引擎Apache Elasticsearch 介绍
最新发布
u013558123的博客
03-23 710
Apache Elasticsearch 是一个高性能的全文检索和数据分析引擎，它提供了丰富的功能和灵活的配置选项。Elasticsearch 适用于各种场景，包括日志数据分析、实时数据监控和内容管理系统等。通过学习和掌握 Elasticsearch，开发者可以构建高效、可扩展的全文搜索和数据分析应用程序。随着技术的不断发展和社区的支持，Elasticsearch 在未来的应用将更加广泛。
了解下Apache Elasticsearch 和 Kibana
zhyjtwgsnwxhn的专栏
07-15 389
Kibana 界面 Kibana 是为 Elasticsearch设计的开源分析和可视化平台。 你可以使用 Kibana 来搜索，查看存储在 Elasticsearch 索引中的数据并与之交互。你可以很容易实现高级的数据分析和可视化，以图标的形式展现出来。 Kibana 的使用场景，应该集中在两方面： 实时监控 通过 histogram 面板，配合不同条件的多个 queries 可以对一个事件走很多个维度组合出不同的时间序列走势。时间序列数据是最常见的监控报警了。 问题分析 关于 elk 的用.
Elasticsearch的原理简介
yyyggyy的博客
11-10 1042
简介 ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。 同时ES还是一个分布式文档数据库，其中每个字段均可被索引，而且每个字段的数据均可被搜索，能够横向扩展至数以百计的服务器存储以及处理PB级的数据。 可以在极短的时间内存储、搜索和分析大量的数据。通常作为具有复杂搜索场景情况下的核心发动机。 ES就是为高可用和可扩展而生的。一方面可以通过升级硬件来完成系统扩展，称为垂直或向上扩展（Vertical Scale/Scaling Up）。 另一方面，增加更多
Elasticsearch：API 网关 Apache APISIX 集成 Elasticsearch 实现实时日志监控
Elastic 中国社区官方博客
09-21 1063
​APISIX 以HTTP请求的方式向发送 APISIX 的Runtime日志。插件采用bulk的格式进行日志上报，这允许 APISIX 可以将多条日志合并后再进行上报，这使得 APISIX 在对进行日志上报方面更加灵活并且具有较好的性能。你可以参考文档APISIX 批处理器对日志合进行更加细致的配置。​当然，在使用过程中我们也可以通过插件提供的元数据配置，来设置发送至的日志数据结构。通过设置log_format数据，可以控制发送的数据类型。比如以下数据中的$host、等，都是来自于NGINX。
求mysql倒序并且限制查询的条数的查询语句？
weixin_33691700的博客
11-22 4086
2019独角兽企业重金招聘Python工程师标准>>> ...
Elasticsearch：使用 Apache Flink、Elasticsearch 打造实时事件处理及搜索
Elastic 中国社区官方博客
10-12 2608
从实时持续生成的数据中获取可操作的见解是当今许多企业的共同要求。 实时数据处理的一个广泛用例是仪表板。 支持此类用例的典型架构基于数据流处理器、具有低延迟读/写访问的数据存储和可视化框架。 在这篇博文中，我们演示了如何使用 Apache Flink 和 Elasticsearch 为流数据分析构建实时事件处理及搜索。 下图描述了我们的系统架构。在实际的应用中，我们可以使用 Kibana 共同打造实时仪表板解决方案。 在我们的架构中，Apache Flink 执行流分析作业，这些作业摄取数据流，应用转
Apache Solr vs Elasticsearch
布道
12-13 2514
我们都知道业界两个最流行的开源搜索引擎，Solr和ElasticSearch。两者都建立在Apache Lucene开源平台之上，它们的主要功能非常相似，但是在部署的易用性，可扩展性和其他功能方面也存在巨大差异。 1. Apache Solr 在过去的十年里，solr发展壮大，拥有广泛的用户群体。solr提供分布式索引、分片、副本集、负载均衡和自动故障转移和恢复功能。不少互联网巨头，如Netf...
SQL学习笔记(order和limit)
jziwjxjd的博客
05-07 555
简单的层次可以表示为简单的层次可以表示为简单的层次可以表示为 select 列 from 表 where 条件 order by 列 数字 limit 数字 offset 数字 举个例子 select title from movies//从movies表显示title这一列 where director="John Lasseter"//筛选条件是director="John Lassete...
ES的一知半解
我相信......
01-21 1142
一个互联网应用（例如网上商城），搜索功能基本上是必备的。搜索的解决方案要快，最好有一个零配置和完全免费的搜索模式，能够简单地使用JSON通过HTTP的索引数据。搜索服务器始终可用，并能够从一台扩展到数百台，搜索的实时性要好...... Elasticsearch（简称ES）不仅可以解决这些问题，而且可以做更多的事情。 ES 是什么 ES是基于Lucene的实时搜索和分析引擎，可以用来做全...
Python数据分析入门：语言特性与应用优势
第2章-Python数据分析简介详细讲解了Python在数据分析领域的核心地位及其特性。Python作为一门简单易学且功能强大的编程语言，它的优点主要体现在以下几个方面： 1. **高效的数据结构和面向对象编程**： Python...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值