4. pandas使用2

最新推荐文章于 2024-09-18 20:39:31 发布
最新推荐文章于 2024-09-18 20:39:31 发布
阅读量883 收藏
点赞数
分类专栏： 数据分析 文章标签： python pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/archmagus/article/details/107049651
版权 
import pandas as pd
import numpy as np

示例 股票数据离散化

stock=pd.read_csv("/home/python/练习/stock_day/stock_day.csv")
stock.head()
open high close low volume price_change p_change ma5 ma10 ma20 v_ma5 v_ma10 v_ma20 turnover
2018-02-27 23.53 25.88 24.16 23.53 95578.03 0.63 2.68 22.942 22.142 22.875 53782.64 46738.65 55576.11 2.39
2018-02-26 22.80 23.78 23.53 22.80 60985.11 0.69 3.02 22.406 21.955 22.942 40827.52 42736.34 56007.50 1.53
2018-02-23 22.88 23.37 22.82 22.71 52914.01 0.54 2.42 21.938 21.929 23.022 35119.58 41871.97 56372.85 1.32
2018-02-22 22.25 22.76 22.28 22.02 36105.01 0.36 1.64 21.446 21.909 23.137 35397.58 39904.78 60149.60 0.90
2018-02-14 21.49 21.99 21.92 21.48 23331.04 0.44 2.05 21.366 21.923 23.253 33590.21 42935.74 61716.11 0.58 
qcut=pd.qcut(stock["p_change"], 10)

qcut.value_counts



<bound method IndexOpsMixin.value_counts of 2018-02-27                   (1.738, 2.938]
2018-02-26                    (2.938, 5.27]
2018-02-23                   (1.738, 2.938]
2018-02-22                    (0.94, 1.738]
2018-02-14                   (1.738, 2.938]
2018-02-13                    (0.94, 1.738]
2018-02-12                    (2.938, 5.27]
2018-02-09    (-10.030999999999999, -4.836]
2018-02-08                     (0.26, 0.94]
2018-02-07                 (-2.444, -1.352]
2018-02-06                 (-4.836, -2.444]
2018-02-05                   (1.738, 2.938]
2018-02-02                     (0.26, 0.94]
2018-02-01    (-10.030999999999999, -4.836]
2018-01-31                   (-0.462, 0.26]
2018-01-30                   (-0.462, 0.26]
2018-01-29                 (-4.836, -2.444]
2018-01-26                     (0.26, 0.94]
2018-01-25                 (-4.836, -2.444]
2018-01-24                 (-1.352, -0.462]
2018-01-23                    (0.94, 1.738]
2018-01-22                   (-0.462, 0.26]
2018-01-19                   (1.738, 2.938]
2018-01-18                   (-0.462, 0.26]
2018-01-17                     (0.26, 0.94]
2018-01-16                    (2.938, 5.27]
2018-01-15                 (-4.836, -2.444]
2018-01-12                   (1.738, 2.938]
2018-01-11                 (-1.352, -0.462]
2018-01-10                 (-1.352, -0.462]
                          ...              
2015-04-13                    (5.27, 10.03]
2015-04-10                 (-1.352, -0.462]
2015-04-09                    (5.27, 10.03]
2015-04-08                    (2.938, 5.27]
2015-04-07                    (5.27, 10.03]
2015-04-03                    (0.94, 1.738]
2015-04-02                     (0.26, 0.94]
2015-04-01                     (0.26, 0.94]
2015-03-31                 (-2.444, -1.352]
2015-03-30                    (2.938, 5.27]
2015-03-27                    (5.27, 10.03]
2015-03-26                 (-2.444, -1.352]
2015-03-25                 (-2.444, -1.352]
2015-03-24                   (1.738, 2.938]
2015-03-23                   (-0.462, 0.26]
2015-03-20                   (-0.462, 0.26]
2015-03-19                     (0.26, 0.94]
2015-03-18                     (0.26, 0.94]
2015-03-17                   (1.738, 2.938]
2015-03-16                   (1.738, 2.938]
2015-03-13                   (1.738, 2.938]
2015-03-12                 (-1.352, -0.462]
2015-03-11                 (-2.444, -1.352]
2015-03-10                   (1.738, 2.938]
2015-03-09                   (-0.462, 0.26]
2015-03-06                    (5.27, 10.03]
2015-03-05                   (1.738, 2.938]
2015-03-04                    (0.94, 1.738]
2015-03-03                    (0.94, 1.738]
2015-03-02                   (1.738, 2.938]
Name: p_change, Length: 643, dtype: category
Categories (10, interval[float64]): [(-10.030999999999999, -4.836] < (-4.836, -2.444] < (-2.444, -1.352] < (-1.352, -0.462] ... (0.94, 1.738] < (1.738, 2.938] < (2.938, 5.27] < (5.27, 10.03]]>



pd.get_dummies(qcut,prefix="rise")
rise_(-10.030999999999999, -4.836] rise_(-4.836, -2.444] rise_(-2.444, -1.352] rise_(-1.352, -0.462] rise_(-0.462, 0.26] rise_(0.26, 0.94] rise_(0.94, 1.738] rise_(1.738, 2.938] rise_(2.938, 5.27] rise_(5.27, 10.03]
2018-02-27 0 0 0 0 0 0 0 1 0 0
2018-02-26 0 0 0 0 0 0 0 0 1 0
2018-02-23 0 0 0 0 0 0 0 1 0 0
2018-02-22 0 0 0 0 0 0 1 0 0 0
2018-02-14 0 0 0 0 0 0 0 1 0 0
2018-02-13 0 0 0 0 0 0 1 0 0 0
2018-02-12 0 0 0 0 0 0 0 0 1 0
2018-02-09 1 0 0 0 0 0 0 0 0 0
2018-02-08 0 0 0 0 0 1 0 0 0 0
2018-02-07 0 0 1 0 0 0 0 0 0 0
2018-02-06 0 1 0 0 0 0 0 0 0 0
2018-02-05 0 0 0 0 0 0 0 1 0 0
2018-02-02 0 0 0 0 0 1 0 0 0 0
2018-02-01 1 0 0 0 0 0 0 0 0 0
2018-01-31 0 0 0 0 1 0 0 0 0 0
2018-01-30 0 0 0 0 1 0 0 0 0 0
2018-01-29 0 1 0 0 0 0 0 0 0 0
2018-01-26 0 0 0 0 0 1 0 0 0 0
2018-01-25 0 1 0 0 0 0 0 0 0 0
2018-01-24 0 0 0 1 0 0 0 0 0 0
2018-01-23 0 0 0 0 0 0 1 0 0 0
2018-01-22 0 0 0 0 1 0 0 0 0 0
2018-01-19 0 0 0 0 0 0 0 1 0 0
2018-01-18 0 0 0 0 1 0 0 0 0 0
2018-01-17 0 0 0 0 0 1 0 0 0 0
2018-01-16 0 0 0 0 0 0 0 0 1 0
2018-01-15 0 1 0 0 0 0 0 0 0 0
2018-01-12 0 0 0 0 0 0 0 1 0 0
2018-01-11 0 0 0 1 0 0 0 0 0 0
2018-01-10 0 0 0 1 0 0 0 0 0 0
... ... ... ... ... ... ... ... ... ... ...
2015-04-13 0 0 0 0 0 0 0 0 0 1
2015-04-10 0 0 0 1 0 0 0 0 0 0
2015-04-09 0 0 0 0 0 0 0 0 0 1
2015-04-08 0 0 0 0 0 0 0 0 1 0
2015-04-07 0 0 0 0 0 0 0 0 0 1
2015-04-03 0 0 0 0 0 0 1 0 0 0
2015-04-02 0 0 0 0 0 1 0 0 0 0
2015-04-01 0 0 0 0 0 1 0 0 0 0
2015-03-31 0 0 1 0 0 0 0 0 0 0
2015-03-30 0 0 0 0 0 0 0 0 1 0
2015-03-27 0 0 0 0 0 0 0 0 0 1
2015-03-26 0 0 1 0 0 0 0 0 0 0
2015-03-25 0 0 1 0 0 0 0 0 0 0
2015-03-24 0 0 0 0 0 0 0 1 0 0
2015-03-23 0 0 0 0 1 0 0 0 0 0
2015-03-20 0 0 0 0 1 0 0 0 0 0
2015-03-19 0 0 0 0 0 1 0 0 0 0
2015-03-18 0 0 0 0 0 1 0 0 0 0
2015-03-17 0 0 0 0 0 0 0 1 0 0
2015-03-16 0 0 0 0 0 0 0 1 0 0
2015-03-13 0 0 0 0 0 0 0 1 0 0
2015-03-12 0 0 0 1 0 0 0 0 0 0
2015-03-11 0 0 1 0 0 0 0 0 0 0
2015-03-10 0 0 0 0 0 0 0 1 0 0
2015-03-09 0 0 0 0 1 0 0 0 0 0
2015-03-06 0 0 0 0 0 0 0 0 0 1
2015-03-05 0 0 0 0 0 0 0 1 0 0
2015-03-04 0 0 0 0 0 0 1 0 0 0
2015-03-03 0 0 0 0 0 0 1 0 0 0
2015-03-02 0 0 0 0 0 0 0 1 0 0

643 rows × 10 columns

bins=[-100,-7,-5,-3,0,3,5,7,100]
cut=pd.cut(stock['p_change'], bins)
cut.value_counts



<bound method IndexOpsMixin.value_counts of 2018-02-27      (0, 3]
2018-02-26      (3, 5]
2018-02-23      (0, 3]
2018-02-22      (0, 3]
2018-02-14      (0, 3]
2018-02-13      (0, 3]
2018-02-12      (3, 5]
2018-02-09    (-7, -5]
2018-02-08      (0, 3]
2018-02-07     (-3, 0]
2018-02-06    (-5, -3]
2018-02-05      (0, 3]
2018-02-02      (0, 3]
2018-02-01    (-7, -5]
2018-01-31     (-3, 0]
2018-01-30      (0, 3]
2018-01-29     (-3, 0]
2018-01-26      (0, 3]
2018-01-25    (-5, -3]
2018-01-24     (-3, 0]
2018-01-23      (0, 3]
2018-01-22     (-3, 0]
2018-01-19      (0, 3]
2018-01-18      (0, 3]
2018-01-17      (0, 3]
2018-01-16      (3, 5]
2018-01-15    (-5, -3]
2018-01-12      (0, 3]
2018-01-11     (-3, 0]
2018-01-10     (-3, 0]
                ...   
2015-04-13    (7, 100]
2015-04-10     (-3, 0]
2015-04-09      (5, 7]
2015-04-08      (5, 7]
2015-04-07      (5, 7]
2015-04-03      (0, 3]
2015-04-02      (0, 3]
2015-04-01      (0, 3]
2015-03-31     (-3, 0]
2015-03-30      (3, 5]
2015-03-27      (5, 7]
2015-03-26     (-3, 0]
2015-03-25     (-3, 0]
2015-03-24      (0, 3]
2015-03-23      (0, 3]
2015-03-20     (-3, 0]
2015-03-19      (0, 3]
2015-03-18      (0, 3]
2015-03-17      (0, 3]
2015-03-16      (0, 3]
2015-03-13      (0, 3]
2015-03-12     (-3, 0]
2015-03-11     (-3, 0]
2015-03-10      (0, 3]
2015-03-09      (0, 3]
2015-03-06    (7, 100]
2015-03-05      (0, 3]
2015-03-04      (0, 3]
2015-03-03      (0, 3]
2015-03-02      (0, 3]
Name: p_change, Length: 643, dtype: category
Categories (8, interval[int64]): [(-100, -7] < (-7, -5] < (-5, -3] < (-3, 0] < (0, 3] < (3, 5] < (5, 7] < (7, 100]]>



one_hot=pd.get_dummies(qcut,prefix="涨跌幅").head()
one_hot
涨跌幅_(-10.030999999999999, -4.836] 涨跌幅_(-4.836, -2.444] 涨跌幅_(-2.444, -1.352] 涨跌幅_(-1.352, -0.462] 涨跌幅_(-0.462, 0.26] 涨跌幅_(0.26, 0.94] 涨跌幅_(0.94, 1.738] 涨跌幅_(1.738, 2.938] 涨跌幅_(2.938, 5.27] 涨跌幅_(5.27, 10.03]
2018-02-27 0 0 0 0 0 0 0 1 0 0
2018-02-26 0 0 0 0 0 0 0 0 1 0
2018-02-23 0 0 0 0 0 0 0 1 0 0
2018-02-22 0 0 0 0 0 0 1 0 0 0
2018-02-14 0 0 0 0 0 0 0 1 0 0 
# 数据的合并
pd.concat([stock,one_hot],axis=1).head()
open high close low volume price_change p_change ma5 ma10 ma20 ... 涨跌幅_(-10.030999999999999, -4.836] 涨跌幅_(-4.836, -2.444] 涨跌幅_(-2.444, -1.352] 涨跌幅_(-1.352, -0.462] 涨跌幅_(-0.462, 0.26] 涨跌幅_(0.26, 0.94] 涨跌幅_(0.94, 1.738] 涨跌幅_(1.738, 2.938] 涨跌幅_(2.938, 5.27] 涨跌幅_(5.27, 10.03]
2015-03-02 12.25 12.67 12.52 12.20 96291.73 0.32 2.62 12.520 12.520 12.520 ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
2015-03-03 12.52 13.06 12.70 12.52 139071.61 0.18 1.44 12.610 12.610 12.610 ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
2015-03-04 12.80 12.92 12.90 12.61 67075.44 0.20 1.57 12.707 12.707 12.707 ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
2015-03-05 12.88 13.45 13.16 12.87 93180.39 0.26 2.02 12.820 12.820 12.820 ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
2015-03-06 13.17 14.48 14.28 13.13 179831.72 1.12 8.51 13.112 13.112 13.112 ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN

5 rows × 24 columns

stock
open high close low volume price_change p_change ma5 ma10 ma20 v_ma5 v_ma10 v_ma20 turnover
2018-02-27 23.53 25.88 24.16 23.53 95578.03 0.63 2.68 22.942 22.142 22.875 53782.64 46738.65 55576.11 2.39
2018-02-26 22.80 23.78 23.53 22.80 60985.11 0.69 3.02 22.406 21.955 22.942 40827.52 42736.34 56007.50 1.53
2018-02-23 22.88 23.37 22.82 22.71 52914.01 0.54 2.42 21.938 21.929 23.022 35119.5
最低0.47元/天 解锁文章
archmagus
关注
专栏目录
Old-Lady-2048:2048 - 有老太太版
06-28
#Old-Lady-2048 ###有一个老太太吞了苍蝇版 如果你不记得这里的韵脚是 飞——“也许她会死。” 蜘蛛——“那在她体内扭动、摇晃和挠痒痒。” 鸟——“多么荒谬。” 猫——“想象一下。” 狗——“真是个猪。” 山羊——“她刚刚打开了她的喉咙。” 牛——“我不知道怎么做。” 马——“她当然死了。” 有一些令人惊讶的角色，所以继续 ＃＃＃团队成员 ####迈克尔·安吉洛 GitHub： : 领英： : 电子邮件： ####科里尼兰 GitHub： : 领英： : 邮箱： ####克里斯科尔斯 GitHub： : 领英： : 电子邮件：
【POJ】1003 Hangover
Manjushri的知识库
11-28 955
Hangover Time Limit: 1000MS   Memory Limit: 10000K Total Submissions: 73705   Accepted: 34947 Description How far can you make a stack of cards overhang a table? If you
错误'undefined symbol: __gxx_personality_v0'
cszskkk1的博客
04-22 1447
这个错误 因为用c++编译器编译的.o文件  然后用gcc去链接成的动态库  导致无法被使用         File "/usr/lib64/python2.6/ctypes/__init__.py", line 431, in LoadLibrary     return self._dlltype(name)   File "/usr/lib64/python2.6/ctypes/
Pandas进阶
.
07-21 1065
文章目录1 文件读取与储存CSVHTML2.缺失值处理2.1 如何处理nan缺失值处理2.2 不是缺失值nan，有默认标记的如一些特殊符号3. 数据的离散化3.1 如何实现数据的离散化3.2 案例：股票的涨跌幅离散化4. 高级处理-合并Pandas综合案例1.准备数据2. **需求1**3. **需求2**4.**需求3** 1 文件读取与储存 csv(Comma-Separated value...
VC++ Windows服务
老狼的专栏
12-26 1178
1、安装服务 BOOL InstallService(LPSTR lpszModulePath) { SC_HANDLE schSCManager,schService; schSCManager = ::OpenSCManager(NULL,NULL,SC_MANAGER_ALL_ACCESS); if (schSCManager == NULL) return FALSE;...
1.Pandas 教程 _ 菜鸟.pdf
01-16
Pandas 官网：https://pandas.pydata.org/ Pandas 源代码：https://github.com/pandas-dev/pandas Pandas 是一个功能强大且灵活的数据分析工具，广泛应用在各个数据分析领域。如果你想学习 Pandas，可以阅读我们的...
pandas使用手册.pdf
03-29
### Pandas使用手册知识点介绍 #### 1. Pandas简介 Pandas是一个开源的Python数据分析库，提供了一系列数据结构和数据分析工具。它被广泛应用于数据清洗、准备、转换、聚合和可视化等多种场合。Pandas是基于NumPy...
4.Pandas 数据结构 – DataFrame _ 菜鸟.pdf
01-16
pandas.DataFrame( data, index, columns, dtype, copy) 参数说明： * data：一组数据（ndarray、series, map, lists, dict 等类型）。 * index：索引值，或者可以称为行标签。 * columns：列标签，默认为 Range...
4.Pandas教程_筛选数据-使用条件过滤行与列.mp4
08-10
youtube精品python pandas课程
pandas基础使用教程.pdf
05-10
使用 pandas.MultiIndex 显式创建多级行索引 显式地创建多级索引可以通过 `pd.MultiIndex.from_tuples` 或其他构造方法来实现。 **示例**： ```python index = pd.MultiIndex.from_tuples([('a', 1), ('a', 2), ('...
VC 可用的字符串处理函数集源码下载.rar
07-10
VC 可用的字符串处理函数集源码下载，这是一个来自国外的C 字符串操作函数集，里面有很多英文的注释，里面的字符串函数主要有把小写字符串变成大写串、把大写变成小写串、检查是否为数字串、截掉串尾的空格、截掉串开始处的空格、截掉串尾的空格、从右到左截掉字符、从左到右截掉字符、截掉从某个起始位置到右边位置的字符等。
Clustered Index and Non-Clustered Index
orzlzro的专栏
02-09 1944
Clustered Index Vs. Non-Clustered Index In SQL Server http://www.devtoolshed.com/content/clustered-index-vs-non-clustered-index-sql-server Those new to SQL Server performance tuning or datab
忽悠VC的10大招术
java-t-go
06-22 127
有谁知道“忽悠”的确切定义是什么？ 1） “我有个很好的Idea，绝对是颠覆性的、独一无二” (Idea) 【上当指数：☆☆】 不想打击你的自尊，引用上个世纪的一位美国专利局长的话供你参考：“这世界上至少有五个人已经想到了或正在想和你完全相同的这个Idea”。 问题是： * 一个Idea能不...
项目实战！对近7000只基金进行一个深度分析
Python学习部落
04-09 2466
菜鸟独白最近国际金融动荡，股市起起伏伏，前几天黄金股开始异动，涨幅非常凶猛！但是到底买哪个黄金股票呢，不如我们自己动手分析一下股票的详细数据，只要50行搞定！1.三大黄金...
python处理行情数据_Python获取股票历史、实时数据与更新到数据库
weixin_39866874的博客
11-21 778
要做量化投资，数据是基础，正所谓“巧妇难为无米之炊”在免费数据方面，各大网站的财经板块其实已提供相应的api，如新浪、雅虎、搜狐。。。可以通过urlopen相应格式的网址获取数据而TuShare正是这么一个免费、开源的python财经数据接口包，已将各类数据整理为dataframe类型供我们使用。主要用到的函数：1.实时行情获取tushare.get_today_all()一次性获取当前交易所有股...
[Python数据可视化]Plotly Express: 地图数据可视化的魅力
William数据分析的博客
09-17 1014
在数据分析和可视化的世界中，地图数据可视化是一个强大而直观的工具，它可以帮助我们更好地理解和解释地理数据。Python 的 Plotly Express 库提供了一个简单而强大的方式来创建各种地图。本文将通过一个简单的示例，展示如何使用 Plotly Express 来创建一个交互式的地图，并探讨其在地图数据可视化方面的应用。
Pandas的入门操作-Series对象
最新发布
weixin_58305115的博客
09-18 760
data参数data是Series构造函数中最主要的参数，它用来指定要存储在Series中的数据。data可以是多种数据类型，例如：Python 列表（list）或元组（tuple），如pd.Series([1, 2, 3])或pd.Series((4, 5, 6))。NumPy 数组，例如pd.Series(np.array([7, 8, 9]))。标量值（单个数值、字符串等），如pd.Series(5, index=[0, 1, 2])，这将创建一个包含相同标量值的Series。
Leetcode 2183. 统计可以被 K 整除的下标对数目
m0_51437455的博客
09-17 181
第二步，理论：两个数字的乘积能被k整除 两个数字各自与k的最大公约数的乘积能被k整除。循环两层遍历最大公约数，获取两两组合的频数乘积的和。在这里，对于合法的(i,j)对，会被枚举两次，(i,j)和(j,i)两对相同；同时对于不合法的(i,i)对，会被枚举一次。第四步，result除以2，消除(i,j)和(j,i)重复对的影响，并返回结果。nums[i] * nums[j] 能被 k 整除。第三步，去掉多枚举的不合法的(i,i)对。哈希表 + 辗转相除法求最大公约数。
文档内容识别系统源码分享
xuehaishijue的博客
09-17 1851
数据集信息展示在当今信息爆炸的时代，文档内容识别系统的有效性和准确性愈发重要。为了提升YOLOv8在文档内容识别任务中的表现，我们采用了名为“FULL 2”的数据集进行训练和评估。该数据集专为文档图像的多样性和复杂性而设计，涵盖了多种类别的文本元素，使其成为优化深度学习模型的理想选择。
tqdm.pandas
03-12
df = pd.DataFrame({'col1': [1, 2, 3, 4, 5], 'col2': [6, 7, 8, 9, 10]}) # 使用tqdm_pandas函数添加进度条 tqdm_pandas(tqdm()) # 在apply操作中使用tqdm_pandas df['new_col'] = df['col1'].progress_apply...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值