Python编程及高级数据分析

一、介绍（11月22日）

小问题找函数 大问题找包

python数据分析常用的包

数据库实现的功能的在panda包里面找
其中M\S\P是数据可视化工具
深度学习使用的包是pytorch(facebook支持)
中文的nlp：Jieba、pynlpir
英文的nlp:NLTK

学python前的准备工作

Pycharm: 是按照程序员的使用习惯设计的软件
机器语言翻译成人的语言可以分为：
1、编译：一次性翻译
2、解释：顺序翻译，依次进行翻译
Python是解释性语言 C面向软件开发 Java先编译后解释 先转换成class。

Pip和conda是两个服务器：pip是python专用的 pip来源于pip.org
Conda包含多种通用包
两个都会使用 pip位于国外 安装会很慢 通常需要镜像

Anaconda 的兄弟是miniconda（占用内存较小）
门户：Anaconda Navigator(将上面四个功能同一在一起) 在数据分析领域最受欢迎的平台

Jupyter注意事项：cs结构 browser-server （和Tomcat很像）
1、 包含browser端和server端(一台电脑既是服务器又是浏览器)
2、 所有标点符号都是英文
3、 英文大小写要注意好
4、 缩进要正确

常用快捷键

常用的编译的快捷键

高质量python代码
1、优雅 高效 明确
2、Zen:禅
3、PEP8：PYTHON ENHANCE PRESENTATION8
4、基于Guido’s python Style Guide

数据类型

记忆方式：
括号前有单词就是函数 没有单词就是元组
查看数据类型：Type()

容器：
1、中括号（多个整数 列表）
2、小括号（元组）
3、大括号（集合（只有数字）、字典（带有索引的；既有key 又有value； 包括很多眼睛））
Int float bool string list tuple set dict 说明：单双引号作用相同
说明：
1 int
‘1’ \“1” string
[1] list
(1) tuple
{1} set
{‘a’:1} dict

判断数据类型

Isinstance(a,b) 对a进行判断 是否是符合b类型的变量
bool是整型的子类 继承了整型的 true=1 false=0

数据类型转换

int(1.6) 目标数据类型（目标数据）

特殊数据类型

None 缺失值
NotImplemented:函数没有实现
Ellipsis:

函数：print() 可以对函数进行参数的调整
help(函数名)=？函数名：查看函数使用说明
内置函数 python的解释器 kernel里面内嵌的函数
当函数有问题的时候 可以通过help调参进行修改（tips：Arguments:参数）
例子
x=1
y=2
Print(x, end=”……”) # end默认“\n“
Print(y)
output x…y

4.5序列类型

[2,1] 和 [1,2] 是不同的列表
切片 a[1:4:2] 2是步长 [] 前面有单词是切片 没单词是列表

7 赋值语句

链式赋值语句：I=J=2
复合赋值语句： I*=8
序列的拆包式赋值： a ,b ,c=1,2,3
两个变量值的调换
a=1
b=2
a , b=b, a
a, b
（c语言需要中间变量）

And 与和or（短路运算） 只要有一个是假的就都是假的（and） 真的就都是真的

函数

9.2内置函数

（BIF函数 built-in function 在解释器中自带的函数 常用c语言写的 少部分用java写的）
Pow（2，10） 2的十次方
Round（2.999，2）对2.999保留两位小数

9.3 math(数学函数)

Import math
负数的运算找cmath

9.4优先级与结合方向

223 由右向左 256
（2**2）**3 64 有括号先括号
1+2 and 3+4
从右向左 到7就短路了 返回7（原因是非零是true 零是false）

10. if语句

10.1基本语法

顺序、选择
elif=else if

if 与三元运算
例子
X=0
Results=”Y” if x>0 or y>0

Import calendar
calendar.isleap(2021) #判断是否为闰年

sum=0
for i in (1,2,3): #123循环执行
sum=sum+1
print(i,sum)

（待解决问题：惰性运算的问题）

List(range(1,10)) (list用于惰性运算)

循环问题

Break 往下跳，跳出循环 今天上午完事 你就玩完啦
Continue 往上跳，跳到循环体外面 今天上午过完 下午不做了 明天接着

二、数据加工和数据准备

三、统计学习

四、数据可视化

五、机器学习

六、图像处理

七、nlp

八、Spark编程

九、NoSQL编程

十、数据分析方法与技能