Python数据处理分析简介
- Python作为当下最为流行的编程语言之一
- 可以独立完成数据分析的各种任务
- 数据分析领域里有海量开源库
- 机器学习/深度学习领域最热门的编程语言
- 在爬虫,Web开发等领域均有应用
- 与Excel,PowerBI,Tableau等软件比较
- Excel有百万行数据限制
- PowerBI ,Tableau在处理大数据的时候速度相对较慢
- Excel,Power BI 和Tableau 需要付费购买授权
- Python功能远比Excel,PowerBI,Tableau等软件强大
- Python跨平台,Windows,MacOS,Linux都可以运行
- 与R语言比较
- Python在处理海量数据的时候比R语言效率更高
- Python的工程化能力更强,R专注于统计与数据分析领域
- Python在非结构化数据(文本,图像)和深度学习领域比R更有优势
- 在数据分析相关开源社区,python相关的内容远多于R语言
- 总结
- Python应用广泛, 且是当下最热门的编程语言之一.
- Python功能强大, 且开源, 免费.
- Python的社区活跃度相对较高.
2.常用Python数据分析开源库介绍
- NumPy(Numerical Python)
- 它是 Python 语言的一个扩展程序库。是一个运行速度非常快的数学库.
- 主要用于数组计算
- 包含:
- 一个强大的N维数组对象 ndarray
- 广播功能函数
- 整合 C/C++/Fortran 代码的工具
- 线性代数、傅里叶变换、随机数生成等功能
- Pandas
- Pandas是一个强大的分析结构化数据的工具集
- 它的使用基础是Numpy(提供高性能的矩阵运算)
- 用于数据挖掘和数据分析,同时也提供数据清洗功能
- Pandas利器之 Series,是一种类似于一维数组的对象
- Pandas利器之 DataFrame,是Pandas中的一个表格型的数据结构
- Matplotlib
- 它是一个功能强大的数据可视化开源Python库
- Python中使用最多的图形绘图库
- 可以创建静态, 动态和交互式的图表
- Seaborn
- 它是一个Python数据可视化开源库, 建立在matplotlib之上,并集成了pandas的数据结构
- Seaborn通过更简洁的API来绘制信息更丰富,更具吸引力的图像
- 面向数据集的API,与Pandas配合使用起来比直接使用Matplotlib更方便
- Sklearn
- scikit-learn 是基于 Python 语言的机器学习工具
- 简单高效的数据挖掘和数据分析工具
- 可供大家在各种环境中重复使用
- 建立在 NumPy ,SciPy 和 matplotlib 上
- jupyter notebook
- 它不是开源库, 它是一个开源Web应用程序, 可以创建和共享代码