Python数据分析
本系列为作者的一个学习笔记资料绝大部分来自于天池训练营,记录自己的学习时可以为大家想通过python的学习提供一些帮助,学习什么是数据分析,能解决哪些问题,采用的什么方法。尽量快速上手。如果有什么疑问大家也可以一起相互学习。
就直接都是学习的干货了,这里不介绍python的一些背景优点什么的了
Python基础
常用操作符
常用的操作符有算术操作符,赋值操作符,比较操作符,逻辑操作符。
算术操作符:
操作符 | 描述 |
---|---|
+ | 加 |
- | 减 |
* | 乘 |
/ | 除 |
% | 模 |
** | 指数 |
// | 取商 |
赋值操作符
赋值操作符主要是“=”,其他的都是运算操作符和“=”的结合,其存在的一一都是简化代码。
比较操作符
通过操作符的比较,来输出是“True”“False”。
操作符 | 描述 |
---|---|
== | 值相等 |
!= | 值不相等 |
<> | 值不相等 |
(其他的较简单)
逻辑操作符
and,or,not分别对应逻辑学的与、或、非,逻辑操作符的两端一般是布尔值的数据。
位运算符、三元运算符、其他运算符
操作符 | 描述 |
---|---|
~ | 按位取反 |
& | 按位与 |
‘ | 按位或 |
^ | 按位异或 |
<< | 左移 |
>> | 右移 |
其他运算符
操作符 | 描述 |
---|---|
in | 存在 |
not in | 不存在 |
is | 是 |
not is | 不是 |
变量和赋值
变量名可以包括字母、数字、下划线、但变量名不能以数字开头。
Python 变量名是大小写敏感的
数据类型和转换
类型 | 名称 |
---|---|
int | 整型 <class ‘int’> |
float | 浮点型<class ‘float’> |
bool | 布尔型<class ‘bool’> |
bin()查询一个整型的二进制表示
length()用来表述一个数据类型的长度
有时候我们想保留浮点型的小数点后 n 位。可以用 decimal 包里的 Decimal 对象和 getcontext() 方法来实现。(其中默认的对象的精度值位28位)
# 通过用 getcontext().prec 来调整精度。
decimal.getcontext().prec = 4
c = Decimal(1) / Decimal(3)
print(c)
# 0.3333
布尔 (boolean) 型变量只能取两个值,True 和 False。当把布尔型变量用在数字运算中,用 1 和 0 代表 True 和 False。
用 bool(X) 来创建变量,其中 X 可以是
- 基本类型:整型、浮点型、布尔型
- 容器类型:字符串、元组、列表、字典和集合
确定bool(X) 的值是 True 还是 False,就看 X 是不是空,空的话就是 False,不空的话就是 True - 对于数值变量,0, 0.0 都可认为是空的。
- 对于容器变量,里面没元素就是空的。
获取类型信息
type(object)
- type() 不会认为子类是一种父类类型,不考虑继承关系。
- isinstance() 会认为子类是一种父类类型,考虑继承关系。
如果要判断两个类型是否相同推荐使用 isinstance()。
类型转换
- 转换为整型 int(x, base=10)
- 转换为字符串 str(object=’’)
- 转换为浮点型 float(x)
print()函数
print(*objects, sep=' ', end='\n', file=sys.stdout, flush=False)
#将对象以字符串表示的方式格式化输出到流文件对象file里。其中所有非关键字参数都按str()方式进行转换为字符串输出;
#关键字参数sep是实现分隔符,比如多个参数输出时想要输出中间的分隔字符;
#关键字参数end是输出结束时的字符,默认是换行符\n;
#关键字参数file是定义流输出的文件,可以是标准的系统输出sys.stdout,也可以重定义为别的文件;
#关键字参数flush是立即把内容输出到流文件,不作缓存
没有参数时,每次输出都会换行。每次结束都用用end设置的参数&结尾,并没有默认换行。
shoplist = ['apple', 'mango', 'carrot', 'banana']
print("This is printed without 'end'and 'sep'.")
for item in shoplist:
print(item)# 默认换行
print(item,end='&')# 没有换行
条件语句
if语句
if expression:
expr_true_suite
# if 语句的 expr_true_suite 代码块只有当条件表达式 expression 结果为真时才执行,否则将继续执行紧跟在该代码块后面的语句。
# 单个 if 语句中的 expression 条件表达式可以通过布尔操作符 and,or和not 实现多重条件判断。
if expression:
expr_true_suite
else:
expr_false_suite
# Python 提供与 if 搭配使用的 else,如果 if 语句的条件表达式结果布尔值为假,那么程序将执行 else 语句后的代码。
if expression1:
expr1_true_suite
elif expression2:
expr2_true_suite
.
.
elif expressionN:
exprN_true_suite
else:
expr_false_suite
# elif 语句即为 else if,用来检查多个表达式是否为真,并在为真时执行特定代码块中的代码。
assert 关键词
assert这个关键词我们称之为“断言”,当这个关键词后边的条件为 False 时,程序自动崩溃并抛出AssertionError的异常。
my_list = ['lsgogroup']
my_list.pop(0)
assert len(my_list) > 0
# AssertionError
循环语句
while语句
while 布尔表达式:
代码块
# while循环的代码块会一直循环执行,直到布尔表达式的值为布尔假。同时,仅仅给出数值之类的条件也是可以的
while 布尔表达式:
代码块
else:
代码块
# 当while循环正常执行完的情况下,执行else输出,如果while循环中执行了跳出循环的语句,比如 break,将不执行else代码块的内容。
for循环
for循环是迭代循环,在Python中相当于一个通用的序列迭代器,可以遍历任何有序序列,如str、list、tuple等,也可以遍历任何可迭代对象,如dict。
# for 迭代变量 in 可迭代对象:
# 代码块
for i in 'ILoveLSGO':
print(i, end=' ') # 不换行输出
# I L o v e L S G O
for 迭代变量 in 可迭代对象:
代码块
else:
代码块
# 当for循环正常执行完的情况下,执行else输出,如果for循环中执行了跳出循环的语句,比如 break,将不执行else代码块的内容,与while - else语句一样。
range()函数
range([start,] stop[, step=1])
#这个BIF(Built-in functions)有三个参数,其中用中括号括起来的两个表示这两个参数是可选的。
#step=1 表示第三个参数的默认值是1。
#range 这个BIF的作用是生成一个从start参数的值开始到stop参数的值结束的数字序列,该序列包含start的值但不包含stop的值。
enumerate()函数
enumerate(sequence, [start=0])
- sequence:一个序列、迭代器或其他支持迭代对象。
- start:下标起始位置。
- 返回 enumerate(枚举) 对象
seasons = ['Spring', 'Summer', 'Fall', 'Winter']
lst = list(enumerate(seasons))
print(lst)
# [(0, 'Spring'), (1, 'Summer'), (2, 'Fall'), (3, 'Winter')]
lst = list(enumerate(seasons, start=1)) # 下标从 1 开始
print(lst)
# [(1, 'Spring'), (2, 'Summer'), (3, 'Fall'), (4, 'Winter')]
enumerate()与for循环的结合使用用 enumerate(A) 不仅返回了 A 中的元素,还顺便给该元素一个索引值 (默认从 0 开始)。此外,用 enumerate(A, j) 还可以确定索引起始值为 j。
for i, language in enumerate(languages, 2):
print(i, 'I love', language)
print('Done!')
# 2 I love Python
# 3 I love R
# 4 I love Matlab
# 5 I love C++
# Done!
其他语句
break语句
跳出当前所在层的循环
continue语句
continue终止本轮循环并开始下一轮循环
pass语句
pass 语句的意思是“不做任何事”,如果你在需要有语句的地方不写任何语句,那么解释器会提示出错,而 pass 语句就是用来解决这些问题的。
异常处理
Python标准异常总结
- BaseException:所有异常的 基类
- Exception:常规异常的 基类
- StandardError:所有的内建标准异常的基类
- ArithmeticError:所有数值计算异常的基类
- FloatingPointError:浮点计算异常
- OverflowError:数值运算超出最大限制
- ZeroDivisionError:除数为零
- AssertionError:断言语句(assert)失败
- AttributeError:尝试访问未知的对象属性
- EOFError:没有内建输入,到达EOF标记
- EnvironmentError:操作系统异常的基类
- IOError:输入/输出操作失败
- OSError:操作系统产生的异常(例如打开一个不存在的文件)
- WindowsError:系统调用失败
- ImportError:导入模块失败的时候
- KeyboardInterrupt:用户中断执行
- LookupError:无效数据查询的基类
- IndexError:索引超出序列的范围
- KeyError:字典中查找一个不存在的关键字
- MemoryError:内存溢出(可通过删除对象释放内存)
- NameError:尝试访问一个不存在的变量
- UnboundLocalError:访问未初始化的本地变量
- ReferenceError:弱引用试图访问已经垃圾回收了的对象
- RuntimeError:一般的运行时异常
- NotImplementedError:尚未实现的方法
- SyntaxError:语法错误导致的异常
- IndentationError:缩进错误导致的异常
- TabError:Tab和空格混用
- SystemError:一般的解释器系统异常
- TypeError:不同类型间的无效操作
- ValueError:传入无效的参数
- UnicodeError:Unicode相关的异常
- UnicodeDecodeError:Unicode解码时的异常
- UnicodeEncodeError:Unicode编码错误导致的异常
- UnicodeTranslateError:Unicode转换错误导致的异常
Python标准警告总结
Warning:警告的基类
- DeprecationWarning:关于被弃用的特征的警告
- FutureWarning:关于构造将来语义会有改变的警告
- UserWarning:用户代码生成的警告
- PendingDeprecationWarning:关于特性将会被废弃的警告
- RuntimeWarning:可疑的运行时行为(runtime behavior)的警告
- SyntaxWarning:可疑语法的警告
- ImportWarning:用于在导入模块过程中触发的警告
- UnicodeWarning:与Unicode相关的警告
- BytesWarning:与字节或字节码相关的警告
- ResourceWarning:与资源使用相关的警告
try-except语句
try:
检测范围
except Exception[as reason]:
出现异常后的处理代码
- 首先,执行try子句(在关键字try和关键字except之间的语句)
- 如果没有异常发生,忽略except子句,try子句执行后结束。
- 如果在执行try子句的过程中发生了异常,那么try子句余下的部分将被忽略。如果异常的类型和except之后的名称相符,那么对应的except子句将被执行。最后执行try - except语句之后的代码。
- 如果一个异常没有与任何的except匹配,那么这个异常将会传递给上层的try中
try:
f = open('test.txt')
print(f.read())
f.close()
except OSError as error:
print('打开文件出错\n原因是:' + str(error))
# 打开文件出错
# 原因是:[Errno 2] No such file or directory: 'test.txt'
一个try语句可能包含多个except子句,分别来处理不同的特定的异常。最多只有一个分支会被执行
try - except - finally 语句
try: 检测范围 except Exception[as reason]: 出现异常后的处理代码 finally: 无论如何都会被执行的代码
不管try子句里面有没有发生异常,finally子句都会执行
def divide(x, y):
try:
result = x / y
print("result is", result)
except ZeroDivisionError:
print("division by zero!")
finally:
print("executing finally clause")
divide(2, 1)
# result is 2.0
# executing finally clause
divide(2, 0)
# division by zero!
# executing finally clause
divide("2", "1")
# executing finally clause
# TypeError: unsupported operand type(s) for /: 'str' and 'str'```
try-except-else语句
如果在try子句执行时没有发生异常,Python将执行else语句后的语句。
else后面为如果没有异常则执行那块代码
else语句的存在必须以except语句的存在为前提,在没有except语句的try语句中使用else语句,会引发语法错误。
有raise语句可以抛出一个指定的异常。