Python数据处理分析简介
- Python作为当下最为流行的编程语言之一
- 可以独立完成数据分析的各种任务
- 数据分析领域里有海量开源库
- 机器学习/深度学习领域最热门的编程语言
- 在爬虫,Web开发等领域均有应用
- 与Excel,PowerBI,Tableau等软件比较
- Excel有百万行数据限制
- PowerBI ,Tableau在处理大数据的时候速度相对较慢
- Excel,Power BI 和Tableau 需要付费购买授权
- Python功能远比Excel,PowerBI,Tableau等软件强大
- Python跨平台,Windows,MacOS,Linux都可以运行
- 与R语言比较
- Python在处理海量数据的时候比R语言效率更高
- Python的工程化能力更强,R专注于统计与数据分析领域
- Python在非结构化数据(文本,图像)和深度学习领域比R更有优势
- 在数据分析相关开源社区,python相关的内容远多于R语言
- 总结
- Python应用广泛, 且是当下最热门的编程语言之一.
- Python功能强大, 且开源, 免费.
- Python的社区活跃度相对较高.
2.常用Python数据分析开源库介绍
- NumPy(Numerical Python)
- 它是 Python 语言的一个扩展程序库。是一个运行速度非常快的数学库.
- 主要用于数组计算
- 包含:
- 一个强大的N维数组对象 ndarray
- 广播功能函数
- 整合 C/C++/Fortran 代码的工具
- 线性代数、傅里叶变换、随机数生成等功能
- Pandas
- Pandas是一个强大的分析结构化数据的工具集
- 它的使用基础是Numpy(提供高性能的矩阵运算)
- 用于数据挖掘和数据分析,同时也提供数据清洗功能
- Pandas利器之 Series,是一种类似于一维数组的对象
- Pandas利器之 DataFrame,是Pandas中的一个表格型的数据结构
- Matplotlib
- 它是一个功能强大的数据可视化开源Python库
- Python中使用最多的图形绘图库
- 可以创建静态, 动态和交互式的图表
- Seaborn
- 它是一个Python数据可视化开源库, 建立在matplotlib之上,并集成了pandas的数据结构
- Seaborn通过更简洁的API来绘制信息更丰富,更具吸引力的图像
- 面向数据集的API,与Pandas配合使用起来比直接使用Matplotlib更方便
- Sklearn
- scikit-learn 是基于 Python 语言的机器学习工具
- 简单高效的数据挖掘和数据分析工具
- 可供大家在各种环境中重复使用
- 建立在 NumPy ,SciPy 和 matplotlib 上
- jupyter notebook
- 它不是开源库, 它是一个开源Web应用程序, 可以创建和共享代码、公式、可视化图表、笔记文档
- 是数据分析学习和开发的首选开发环境, 作用如下:
- 数据清理和转换
- 数值模拟
- 统计分析
- 数据可视化
- 机器学习等
3.Python数据分析环境搭建-本地环境
主要有本地环境 和 虚拟机环境两种, 区别是: 看在哪里安装Anaconda软件.
-
Anaconda介绍
- Anaconda 是最流行的数据分析平台,全球两千多万人在使用
- Anaconda 附带了一大批常用数据科学包
- Anaconda 是在 conda(一个包管理器和环境管理器)上发展出来的
- 可以帮助你在计算机上安装和管理数据分析相关包
- 包含了虚拟环境管理工具
-
Anaconda安装
-
Anaconda 可用于多个平台( Windows、Mac OS X 和 Linux)
-
可以在官网上下载对应平台的安装包
-
如果计算机上已经安装了 Python,安装不会对你有任何影响
-
下载链接为: https://www.anaconda.com/products/individual
-
安装的过程很简单,一路下一步即可
-
检测是否安装成功
-
-
Anaconda界面介绍
-
Anaconda的命令操作
-
安装包的命令
# 安装包的命令 conda install 包名字 pip install 报名字 # 注意,使用pip时最好指定安装源, 参考镜像地址, 阿里云:https://mirrors.aliyun.com/pypi/simple/ 豆瓣:https://pypi.douban.com/simple/ 清华大学:https://pypi.tuna.tsinghua.edu.cn/simple/ 中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/ # 完整格式如下 pip install 包名 -i https://mirrors.aliyun.com/pypi/simple/ #通过阿里云镜像安装
-
操作虚拟环境(沙箱)的命令
通过命令行创建虚拟环境 conda create -n 虚拟环境名字 python=python版本 #创建虚拟环境 conda activate 虚拟环境名字 #进入虚拟环境 conda deactivate 虚拟环境名字 #退出虚拟环境 conda remove -n 虚拟环境名字 --all #删除虚拟环境 conda env list # 查看所有虚拟环境(沙箱)
-
-
以管理员的身份打开 Anaconda的命令窗口, 运行jupyter lab 或者 jupyter notebook即可
4.Jupyter Lab初体验
-
去Linux虚拟机中, 启动 jupyter环境即可
-
打开浏览器, 输入上边的网址.
5.Jupyter NoteBook初体验
-
确保你的C盘hosts文件, 配置了域名映射
-- 路径为: C:\Windows\System32\drivers\etc\hosts -- 内容如下: 192.168.88.161 node1.itcast.cn node1
-
去Linux虚拟机中, 启动 jupyter环境即可
-
打开浏览器, 输入上边的网址, 新建1个 numpy文件夹
-
新建1个test1测试文件.
-
输入测试代码, 测试执行即可.
6.Jupyter NoteBook的使用
-
菜单栏中相关按钮功能介绍
Jupyter Notebook的代码的输入框和输出显示的结果都称之为cell,cell行号前的 * ,表示代码正在运行
-
常用快捷键
Jupyter Notebook中分为两种模式:命令模式和编辑模式
-
两种模式通用快捷键
Shift+Enter
,执行本单元代码,并跳转到下一单元Ctrl+Enter
,执行本单元代码,留在本单元
-
按ESC进入命令模式
Y
,cell切换到Code模式M
,cell切换到Markdown模式A
,在当前cell的上面添加cellB
,在当前cell的下面添加cell双击D
:删除当前cell
-
编辑模式:按Enter进入,或鼠标点击代码编辑框体的输入区域
- 撤销:
Ctrl+Z
(Mac:CMD+Z) - 反撤销:
Ctrl + Y
(Mac:CMD+Y) - 补全代码:变量、方法后跟
Tab键
- 为一行或多行代码添加/取消注释:
Ctrl+/
(Mac:CMD+/) - 代码提示:
shift + Tab
- 撤销:
-
-
使用Markdown
-
在命令模式中,按M即可进入到Markdown编辑模式
-
使用Markdown语法可以在代码间穿插格式化的文本作为说明文字或笔记
-
Markdown基本语法:标题和缩进
-
代码如下:
-
效果图如下
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
-
-
7.配置PyCharm连接Anaconda
-
连接本地的Anaconda环境
!
-
连接本地的Anaconda环境
-
确保Linux的Jupyter环境开启了
-
配置方式和上述步骤一样,只不过把URL地址换成 http://192.168.88.161:8888
-