数据分析学习

数据分析全流程

1. 数据采集 MySQL数据库+python爬虫
2. 数据处理 Numpy矩阵计算+Pandas数据清晰
3. 数据可视化 Matplotlib可视化+ PyEcharts可视化

#去掉分红色的警告
import warnings
warnings.filterwarnings('ignore')
#数据的导入
abbr=pd.read_csv('./data-USstates-master/state-abbrevs.csv')
#数据的合并
pop2=pd.merge(pop,abbr,how='outer',left_on='state/region',right_on='abbreviation')
#空值的查询
pop2.isnull().any()
pop3.notnull().all()
#数据的删除   删除labels这一列
pop2.drop(labels='abbreviation',axis=1,inplace=True)
#数据的填充
pop3.fillna(3790399,inplace=True)
#去掉重复元素
cond=pop2['state'].isnull()
a=pop2['state/region'][cond]
a.unique()
#query查询
pop_2010=pop3.query("year==2010 and ages=='total'")
#数据的计算
pop_density=pop_2010['population']/pop_2010['area (sq. mi)']
#排序
result.sort_values(by='pop_density')
#数据的查看
pop2.shape
pop.head()
pop2.info()
display(pop3.head(),pop3.shape)
#数据的存储
result.to_csv('./pop_2010.csv')
pop3.to_excel('./pop2010.xls')