数据处理 :
算子 map filter groupby apply
数据切片
pandas :
1.官网
https://pandas.pydata.org/
2.概述:
pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool,
【pandas就是一个数据分析的工具】
3.编程模型【数据类型】
1.Series
2.DataFrame
1.Series
1.Series is a one-dimensional labeled array
【Series 就是一个 一维 标签数组】
2.capable of holding any data type 【integers, strings, floating point numbers, Python objects, etc.).】
【存各种数据类型】
3.The axis labels are collectively referred to as the index
标签 就是索引 【可以用索引 取Series元素】
实例化:
2.df
1.DataFrame is a 2-dimensional labeled data structure with columns of potentially different types
【DataFrame 就是一个 二维 标签数组,多个不同数据类型的列】
【 index (row labels) and columns 】
【【DataFrame就是一个table 有行有列】
2.如何创建df :
Dict of 1D ndarrays, lists, dicts, or Series
2-D numpy.ndarray
Structured or record ndarray
A Series
Another DataFrame
【df 可以由多种数据 转化而来】
3.a dict of Series objects
df =》 table =》 有行有列
DataFrame = DataFrame【Series】
实例化:
总结:
1.df 就是table
2.Series 是一个table 就一个列 没有列名
3.df = df [Series + 列名]
思考:
数据分析师 拿到一个数据一般做哪些事情? 【大数据工程师也是一样】
1.数据加载 source
2.数据分析 transform
3.数据输出 sink
df 基本操作:
1.数据加载
处理的数据文件格式:
csv json text
结构化数据:
csv: 按逗号进行分割 =》 excel打开的
json: kv
text:
普通文本数据
切片:
取值
先练习一下上午讲的内容
filter :
a=> b=> c
select
ifnull(name,0) as name_etl
from table
where
name is null
is not null
id name age score
select
name,
sum(score) as score_all
from table
group by
name ;
作业:
https://blog.csdn.net/