【学习笔记】南京大学-用Python玩转数据

最新推荐文章于 2022-05-12 10:06:28 发布
最新推荐文章于 2022-05-12 10:06:28 发布
阅读量1.2k 收藏 2
点赞数 1
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36226586/article/details/114372706
版权

这里写目录标题

在这里插入图片描述

2 python常用标准库函数

2.1 数学运算 import math

在这里插入图片描述

2.2 处理文件 import os

在这里插入图片描述

2.3 生成随机数 import random

2.4 时间日期 import datetime

在这里插入图片描述

3 数据获取与表示

3.1 打开文件 open

help(open) #查看帮助
在这里插入图片描述
在这里插入图片描述

f1 = open('d://abc.txt')  # 默认'r'读文件,文件必须存在
f2 = open(r'd:/abc.txt','w') # 'w'表示写文件(清空原内容)
f3 = open('d:/abc.txt','w',0)

# a模式是追加，在文件尾部加内容
#  r+ = r + w , w+ = w + r , a+ = a + r

在这里插入图片描述

为什么要用 with 语句

with 语句适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行必要的“清理”操作，释放资源，比如文件使用后自动关闭／线程中锁的自动获取和释放等
因此无需再另外写 close()语句

文件指针 seek

在这里插入图片描述

代码示例：批量读取文件（循环）

在这里插入图片描述
在这里插入图片描述

3.2 网络数据获取

在这里插入图片描述
读取文件常用 r.text
假设获取的是二进制文件，用r.content

有些网站会对http请求的Headers的User-Agent进行检测，需将headers信息传递给get函数的headers参数，例如豆瓣最近也有了此要求，例如知乎，直接访问会返回400，加上headers参数后可正确返回
headers = {'user-agent':'Mozilla/5.0'｝

网页数据解析

在这里插入图片描述

3.3 序列

序列是Python中最基本的数据结构

6种序列， 字符串 ’ '、列表 [ ]、==元组( )==是最常用形式
在这里插入图片描述

索引：N个元素的序列，第一个元素索引是 0 ，最后一个元素索引是 N-1; 或者 最后一个元素索引 -1，第一个元素索引 -N

在这里插入图片描述

标准类型运算符

在这里插入图片描述

序列类型运算符

在这里插入图片描述

序列类型转换

在这里插入图片描述

序列类型常用内建函数

在这里插入图片描述
enumerate

类型说明符

在这里插入图片描述
在这里插入图片描述

字符串常用方法

在这里插入图片描述
在这里插入图片描述

转义字符

在这里插入图片描述

列表

在这里插入图片描述

元组

在这里插入图片描述

3.4 正则表达式

在这里插入图片描述

函数式编程

在这里插入图片描述

4 数据结构和Python扩展库

4.1 字典

在这里插入图片描述
在这里插入图片描述

字典的基本操作

在这里插入图片描述

字典的内建函数

在这里插入图片描述

4.2 集合

在这里插入图片描述

集合比较

在这里插入图片描述

集合关系运算

在这里插入图片描述

在这里插入图片描述

集合内建函数

在这里插入图片描述

SciPy

https://scipy.org/
在这里插入图片描述
在这里插入图片描述

SciPy中的数据结构

在这里插入图片描述

Numpy

在这里插入图片描述

Matplotlib

在这里插入图片描述

pandas

在这里插入图片描述
在这里插入图片描述

ndarray

在这里插入图片描述
在这里插入图片描述

axis=0 即沿着第0轴进行操作，即对每一列进行操作
axis=1 即沿着第1轴进行操作，即对每一行进行操作

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

a.reshape(2, -1) #2行 n列
a.reshape(-1, 1) #n行 1列 常用于机器学习向量计算

在这里插入图片描述
在这里插入图片描述

Series(变长字典)

在这里插入图片描述

DataFrame（数据分析）

在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
词频
在这里插入图片描述

Numpy常见应用

5 Python数据统计与挖掘

5.1 便捷数据获取

sklearn

nltk

5.2 Python绘图基础

matplotlib

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

pandas

可以实现基于Series和DataFrame的某些功能，有时比matplotlib方便

.loc基于标签绘图，可以直接将DataFrame的index作为X轴，各组Values作为Y轴
在这里插入图片描述
在这里插入图片描述

数据预处理工作通常要占到数据分析和挖掘过程的一半以上

5.3 数据预处理-数据清洗

在这里插入图片描述

缺失值的检测和处理

在这里插入图片描述

DataFrame

.dropna #缺失值删除
.fillna #缺失值填充 （mean均值填充，也可换成其他统计量）

异常值的检测和处理

在这里插入图片描述
.boxplot 箱型图 describe的图形表现

☆剔除3倍std

在这里插入图片描述

5.4 数据预处理-数据变换

在这里插入图片描述

数据规范化

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

sklean

在这里插入图片描述
在这里插入图片描述

连续属性离散化

在这里插入图片描述

特征二值化

5.5 数据预处理-数据规约（降维）

在这里插入图片描述
PCA是最常用的线性降维方法

sklearn

在这里插入图片描述
在这里插入图片描述

Kele-17369
关注
专栏目录
《用Python玩转数据》第1周学习笔记(Part 1)
然后呢
11-08 2605
刚学完《An Introduction to Interactive Programming in Python (Part1 & Part2)》，又注册了南京大学的《用Python玩转数据》。这次花了29美金，希望能顺利获得证书。为了避免被种木马，翻墙从Github下载了Pythonxy。第1周是基础知识，已经学到的就不记笔记了，这里只记没有在莱斯大学学到的。1、Python没有常量，只有变量。约
Python机器学习笔记之pandas绘图
applecool95的博客
05-12 1078
前言 本文基于南京大学张莉老师的《用python玩转数据》记录Python绘图学习历程。 一、pandas绘图目的 pandas 绘图是基于Series和DataFrame的绘图，可直接将DataFrame横坐标作为X，里面值作为Y轴数据，相对于Matpoltlib有时更为简便。 二、使用步骤 1.构建一个DataFrame样例用于后续调研 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.pyplot as plt
python教程 -- 南京大学公开课
11-24
南京大学一个关于python的公开课，这是该课程所有ppt的整合版。
南京大学张莉-用Python玩转数据--03 Python 数据结构与Python库
我思故我在！
09-03 759
1. 字典          2. 字典的使用              3. 集合          4. 扩展库Scipy       5. NDARRAY           6. SERIES     7. DATAFRAME     ...
南京大学用python玩转数据答案_2020中国大学mooc用Python玩转数据章节答案
weixin_42468240的博客
02-11 995
【单选题】下面程序的执行结果是( ) i = 10 j = 20 If i < j Then Print j; Print i【填空题】1. A resume is a brief description of your ______, experience, and other relevant information.【判断题】在HTML中，标记中可以嵌套标记【判断题】2. Put ...
南京大学python_Python future模块
weixin_39932479的博客
12-01 122
今天看到了Pyhon中的模块__future__，查了一下资料，感觉这个module很有用。从python2.1开始以后, 当一个新的语言特性首次出现在发行版中时候, 如果该新特性与以前旧版本python不兼容, 则该特性将会被默认禁用. 如果想启用这个新特性, 则必须使用 "from __future__import *" 语句进行导入.示例：1. Python 2.7中也有一个 __futur...
南京大学张莉-用Python玩转数据--04 Python 数据统计与可视化
我思故我在！
09-04 502
                                       
Python学习笔记.txt
05-14
南京大学慕课资源的Python玩转数据课程资料，代码整理，全部手敲，包括每一张的课程简介和代码实现，包括Python入门语法，爬虫，GUI等，作为入门资料挺好的。
Python 机器学习笔记之matplotlib的应用
applecool95的博客
05-12 485
#Python机器学习笔记 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习笔记之matplotlib的应用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、matplotlib是什么？二、简单绘图1.折线、散点、直方图绘制代码示例2.更改图形颜色线条示例3.设置图形、图例位置及标签4.设置多个图形窗口总结 前言 提示：这里可以添加本文要记录的大概内容： 机器学习训练模型后，需对模型进行评价，图表是对评价结果的直观
pythonMooc-master.zip
03-30
"pythonMooc-master.zip"是一个压缩包，包含了某位学习者在南京大学开设的“用Python玩转数据”慕课（MOOC）课程中的笔记、代码以及个人开发的爬虫项目。这是一次全面学习Python编程的宝贵资源，涵盖了理论与实践的...
用python 玩转数据.docx
08-06
来自《用python玩转数据》这一课程，属于笔记型文档，用作自己以后的复习和回顾
python 南京大学_python 南京大学MOOC学习笔记
weixin_42140716的博客
02-03 205
http://www.icourse163.org/learn/NJU-1001571005?tid=1001785013#/learn/content?type=detail&id=1002296504Day2.新建简单的窗口>>>import wx>>>app = wx.App()>>>frame =wx.Frame(None, t...
南京大学张莉-用Python玩转数据--06 面向对象 & Python GUI
我思故我在！
09-06 1878
1. 文本界面范例 # Calculating sum of all input data, end until find dot "." def foo(): '''add function''' listA=[] print("input the numbers:") while True: num=input() if ...
南京大学张莉-用Python玩转数据--02 Python 数据获取与表示
我思故我在！
08-26 644
1. 本地数据获取                    2 网络数据获取        3 序列                    4 字符串                    5. 列表            6. 元组                     ...
用Python玩转数据——20180911学习笔记
arrontn的博客
09-11 323
知识点总结： （1）序列类型函数 enumerate(), reversed(), sorted(), zip() （2）字符串类型方法 join(), strip(), replace(), split(), translate(),startswith() 其中translate()需要使用maketrans()方法： z = str.maketrans(x,y) #in P...
用Python玩转数据——20180912学习笔记
arrontn的博客
09-12 449
reversed(sequence) 返回序列sequence逆序排列后的迭代器，若要返回字符串、列表、元组时，需将返回的对象转化成对于序列。”.join()、list()、tuple() zip(iter1 [,iter2 […]]) 返回一个zip对象，可生成一个迭代器，该迭代器的第n个元素是每个可迭代对象的第n个元素组成的元组 iter1 = (1,2,3) iter2 = ('mon...
MOOC用Python玩转数据笔记 2
whateveranyhow
04-06 379
pandas
南京大学MOOC用python玩转数据课程笔记
olu
08-16 2965
常用的python数据处理库：numpy，pandas，matplotlib，IPython，SciPy，scikit-learn，Theano。 对于python自身属性的定义，可以视作为胶水语言可以与其他语言集成开发，是一门脚本语言，是一门OOP语言。 python官网上的PyPI页面代表python软件包索引，一般使用pip命令进行安装python库，一般python环境都具备pip命令
用Python玩转数据——20180928学习笔记
arrontn的博客
09-28 598
import pandas as pd import numpy as np djidf = pd.read_csv(r'C:\Users\USER\Desktop\^DJI.csv') pd.set_option('display.max_columns',500) pd.set_option('display.width',5000) djidf.index = range(1, len(dj...
Python学习笔记：数据类型转换与字符串操作
"这是一份关于Python学习的笔记，涵盖了`type()`函数、数据类型转换、标识符规则、字符串拼接以及字符串格式化的基础知识。" 在Python编程中，`type()`函数是一个非常基础且重要的工具，它用于查看或检查变量的数据...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值