python大数据分析
积累知识,学习不止。
Bruce小鬼
**高级测试开发**
- 技术是在不断打磨中成长,
- 能力是在不断采坑中成熟,
- 技术人的路就是在采坑中寻找乐趣,在成长过程中不断成熟。
> 书山有路勤为径,学海无涯苦作舟
关注:brucelong.blog.csdn.net
展开
-
python-Numpy数据分析(二)
python-Numpy数据分析(二)利用数组进行数据处理 将条件逻辑表述为数组运算'''利用数组进行数据处理 将条件逻辑表述为数组运算• 列表推导的局限性• 纯Python代码,速度不够快。• 无法应用于高维数组• where和where的嵌套'''import numpy as npimport numpy.random as np_randomprint('通过真值表选择...原创 2018-06-13 11:13:28 · 873 阅读 · 0 评论 -
python-Numpy数据分析-数组的保存与读取(三)
python-Numpy数据分析-数组的保存与读取(三)1. 数组以二进制格式保存np.save和np.load是读写磁盘数组数据的两个主要函数。默认情况下,数组以未压缩的原始二进制格式保存在扩展名为npy的文件中,以数组a为例np.save("filename.npy",a)b = np.load("filename.npy")利用这种方法,保存文件的后缀名字一定会被置为.npy2. 存取文本...转载 2018-06-13 11:18:15 · 2200 阅读 · 0 评论 -
python-pandas之Series数据分析(四)
python-pandas之Series数据分析(四)'''Series的定义:Series是一种类似于一维数组的对象,它由一组数据(各种NumPy数据类型)以及一组与之相关的数据标签(即索引)组成。Series对象本质上是一个NumPy的数组,因此NumPy的数组处理函数可以直接对Series进行处理。但是Series除了可以使用位置作为下标存取元素之外,还可以使用标签下标存取元素,这一点...原创 2018-06-13 15:33:50 · 1080 阅读 · 0 评论 -
python-pandas之DataFrame数据分析(五)
python-pandas之DataFrame数据分析(五)'''DataFrame是一个表格型的数据结构,它含有一组有序的列,每列可以是不同的值类型(数值、字符串、布尔值等)。• DataFrame既有行索引也有列索引,它可以被看做由Series组成的字典(共用同一个索引) 可以输入给DataFrame构造器的数据类型 说明二维ndarray 数据矩阵,还可以传入行标和列标。由...原创 2018-06-13 17:21:51 · 1012 阅读 · 0 评论 -
python-pandas之Index数据分析(六)
python-pandas之Index数据分析(六)索引对象'''数据结构 索引对象• pandas的索引对象负责管理轴标签和其他元数据(比如轴名称等)。构建Series或DataFrame时,所用到的任何数组或其他序列的标签都会被转换成一个Index。• Index对象是不可修改的(immutable),因此用户不能对其进行修改。不可修改性非常重要,因为这样才能使Index对象在多个...原创 2018-06-14 10:11:46 · 7792 阅读 · 0 评论 -
Windows下的Jupyter Notebook 安装与自定义启动
这是我自定义的Python 的安装目录 (D:\SoftWare\Python\Python36\Scripts)1、Jupyter Notebook 和 pip 为了更加方便地写 Python 代码,还需要安装 Jupyter notebook。 利用 pip 安装 Jupyter notebook。 为什么要使用 Jupyter?参考: https://www.zhihu.com/ques...转载 2018-06-16 19:15:48 · 1109 阅读 · 0 评论 -
1-Pandas数据介绍--数据分析
Pandas数据分析import pandas as pddf = pd.read_csv('C:/JupyterWork/data/titanic.csv')dfPassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked0 1 0 3 Braund, Mr. Owen Harri...原创 2018-06-17 15:49:01 · 970 阅读 · 0 评论 -
2-Pandas索引--数据分析
Pandas索引import pandas as pddf = pd.read_csv('C:/JupyterWork/data/titanic.csv'):5df['Age'][:5]0 22.01 38.02 26.03 35.04 35.0Name: Age, dtype: float641、指定显示两个列以上的数据:5df[...原创 2018-06-17 15:52:50 · 740 阅读 · 0 评论 -
3-Groupby分组统计--数据分析
3-Groupby分组统计In [2]:import pandas as pddf = pd.DataFrame({'Key':['A','B','C','A','B','C','A','B','C'], 'data':[0,5,10,5,10,15,10,15,20]})dfOut[2]: Keydata0A01B52C103A54B105C156A107B15...原创 2018-06-17 16:25:03 · 1738 阅读 · 0 评论 -
5-数值运算--数据分析
创建DataFrame格式数据,指定他的行索引名称和列索引名称In [3]:import pandas as pddf = pd.DataFrame([[1,2,3],[4,5,6]],index=['a','b'],columns=['A','B','C'])dfOut[3]: ABCa123b456默认按列求和计算In [4]:df.sum()Out[4]:A 5B 7C ...原创 2018-06-17 19:58:44 · 842 阅读 · 0 评论 -
6-对象操作--数据分析
Series对象的增删改查In [1]:import pandas as pdIn [2]:data = [10,11,12]index = ['a','b','c']s = pd.Series(data=data,index=index)sOut[2]:a 10b 11c 12dtype: int64通过boolean类型来显示符合条件的数据查询数据In [3]:mask...原创 2018-06-17 21:13:37 · 783 阅读 · 0 评论 -
7-Merge--数据分析
Meger合并多个表格中相同字段的数据In [1]:import pandas as pdIn [2]:left = pd.DataFrame({'key':['k0','k1','k2','k3'], 'A':['A0','A1','A2','A3'], 'B':['B0','B1','B2','B3']})right ...原创 2018-06-19 22:36:05 · 763 阅读 · 0 评论 -
8-显示设置--数据分析
显示设置In [1]:import pandas as pd查看默认显示的最大行数In [2]:pd.get_option('display.max_rows')Out[2]:60更改显示的行数In [9]:pd.set_option('display.max_rows',8)In [10]:pd.Series(index = range(0,100))Out[10]:0 NaN1 ...原创 2018-06-19 22:37:54 · 650 阅读 · 0 评论 -
10-时间操作--数据分析
数据表的时间类型操作In [59]:import datetimeIn [5]:dt = datetime.datetime(year=2017,month=11,day=23,hour=7,minute=30)dtOut[5]:datetime.datetime(2017, 11, 23, 7, 30)In [6]:print(dt)2017-11-23 07:30:00打印时间戳In [19...原创 2018-06-20 19:54:52 · 915 阅读 · 0 评论 -
11-pandas常用操作--数据分析
pandas常用操作In [3]:import pandas as pddata = pd.DataFrame({'group':['a','a','a','b','b','b','c','c','c'], 'data':[4,3,2,1,12,3,4,5,7]})dataOut[3]: groupdata0a41a32a23b14b125b36c47c58c7...原创 2018-06-21 17:27:30 · 757 阅读 · 0 评论 -
12-Groupby扩展操作--数据分析
<!DOCTYPE HTML><html><head> <meta charset="utf-8"> <title>Jupyter Notebook</title> <link id="favicon" rel="shortcut icon&原创 2018-06-21 18:30:38 · 1554 阅读 · 0 评论 -
13-字符串操作--数据分析
字符串操作In [1]:import pandas as pdimport numpy as nps = pd.Series(['A','B','C','gaer','GAER',np.nan])sOut[1]:0 A1 B2 C3 gaer4 GAER5 NaNdtype: object字符串转换为小写In [2]:s.str....原创 2018-06-22 09:59:43 · 739 阅读 · 0 评论 -
14-索引扩展--数据分析
索引扩展In [2]:import pandas as pdimport numpy as npIn [5]:s = pd.Series(np.arange(5),index = np.arange(5)[::-1],dtype='int64')sOut[5]:4 03 12 21 30 4dtype: int64isin([1,3,4]) 查看数据表中是否...原创 2018-06-22 11:16:25 · 674 阅读 · 0 评论 -
15-pandas绘图--数据分析
pandas绘图In [2]:%matplotlib inlineimport pandas as pdimport numpy as npSeries数据类型画图In [10]:s = pd.Series(np.random.randn(10),index = np.arange(0,100,10))s.plot()Out[10]:<matplotlib.axes._subplots.Ax...原创 2018-06-22 15:25:38 · 703 阅读 · 0 评论 -
16-大数据处理技巧--数据分析
大数据处理技巧In [1]:import pandas as pdgl = pd.read_csv('game_logs.csv')gl.head()C:\Anaconda3\lib\site-packages\IPython\core\interactiveshell.py:2717: DtypeWarning: Columns (12,13,14,15,19,20,81,83,85,87,9...原创 2018-06-26 19:33:18 · 990 阅读 · 0 评论 -
17-1Matplotlib基本操作
原创 2018-06-26 19:39:02 · 604 阅读 · 0 评论 -
18-2Matplotlib 风格设置--数据分析
原创 2018-06-27 14:56:17 · 848 阅读 · 0 评论 -
Python 数据科学入门教程:Matplotlib入门教程总结
Matplotlib 入门教程来源:Introduction to Matplotlib and basic line译者:飞龙协议:CC BY-NC-SA 4.0在线阅读PDF格式EPUB格式MOBI格式代码仓库第一章 Matplotlib 简介欢迎阅读 Python 3+ Matplotlib 系列教程。 在本系列中,我们将涉及 Matplotlib 数据可视化模块的多个方面。 Matplot...转载 2018-06-28 14:13:40 · 1009 阅读 · 0 评论 -
19-3Matplotlib 条形图--数据分析
原创 2018-06-28 14:26:55 · 614 阅读 · 0 评论 -
20-4Matplotlib 盒式图--数据分析
原创 2018-06-29 10:24:35 · 706 阅读 · 0 评论 -
21-5Matplotlib 细节设置--数据分析
原创 2018-07-03 15:55:55 · 626 阅读 · 0 评论 -
22-5Matplotlib 直方图and散点图--数据分析
原创 2018-07-03 17:03:50 · 729 阅读 · 0 评论