基于python的大数据分析与应用环境的搭建

一、主要目的：

初步熟悉Python数据分析工具，通过查阅相关说明文档掌握Numpy、Scipy和Pandas包的基本使用方法。对于不同形式的源数据文件，能够基于python开发环境正确的完成数据导入。

二、主要内容：

1、Python开发环境安装以及数据分析包的加载

（1）Anaconda安装过程

（2）相关第三方库的加载 如 爬虫scrapy包。

提示：

① Anaconda下载地址：

Free Download | Anaconda

② Anaconda安装参考：

https://blog.csdn.net/weixin_37766087/article/details/100742198

2、通过简要的实例代码熟悉开发环境以及数据分析包的基本功能

（1）代码实例展示Spyder的基本功能

例如：代码提示、变量浏览、图形查看

1. 代码实例展示Pandas 中的数据结构

① Series:一维数组系列，也称序列

② DataFrame:二维表格型数据结构。可以将DataFrame理解为Series的容器。

1. 数据的导入与导出

1. 导入不同形式的文件，例如.txt/.csv/.excel
2. 导出到csv/excel
3. 导入导出MySql库[附选]

三、实验过程：

1.Anaconda安装过程

已安装

2.Spyder

① Series:一维数组系列，也称序列

② DataFrame:二维表格型数据结构。

导入不同形式的文件，例如.txt/.csv/.excel

导入excle

1. df = pd.read_excel(io='自己的文件路径',index_col='序号')  
2. print(df)  

导出到csv/excel

Excel：

1. writer = pd.ExcelWriter('age-name.xlsx')  
2. df.to_excel(writer)  
3. writer.save()  

CSV：

1. csv_data = df.to_csv("自己的文件路径",sep='|')  

导入导出MySql库[附选]

1. 从mysql中导出dataframe对象

1. conn = pymysql.connect(host="localhost",port=3306,user="root",  
2.  password="密码已经被和谐",database="school",charset="utf8")  
3. sql = "select * from student;"  
4. df = pd.read_sql(sql,conn)  
5. print(df) 
6. 导入dataframe数据到mysql

• from sqlalchemy import create_engine  
• engine = create_engine("mysql+pymysql://root:密码已被和谐@localhost:3306/school?charset=utf8")  
• data = [['小明',14],['东东',18],['奥图码',53]]  
• df = pd.DataFrame(data,columns=['姓名','年龄'])  
• df.to_sql("try", engine, schema="try")