一、数据挖掘概述
1.数据分析
二、数据挖掘方式
例:图像识别
1.数据挖掘场景:
2.数据挖掘常用库
三、案例操作
1.需求分析
版本:V1.0
需求:预测模型----预测股票的波动趋势
功能描述:
某网站股票数据爬取
数据指标分析
数据可视化显示
数据趋势预估
2.pandas库
1)数据获取
获取方案:
爬虫:一段自动抓取互联网信息的程序,从互联网上抓取对于我们有价值的信息
requests库是实现数据获取
2)数据处理
对于数据科学家,无论数据分析还是数据挖掘来说,Pandas是一个非常重要的Python包。
Pandas提供了很多方法,使得数据处理非常简单,同时在数据处理速度上也做了很多优化,使得和Python内置方法相比时有了很大的优势。
3)可视化
四、数据分析代码实现
"""
数据分析操作流程:
1- 获取数据
2- 存储数据
3- 洗数据--数据过滤
4- 算法介入
5- 结果展示
6- 分析汇总
"""
# 1- 获取数据:1.本地获取2.网上获取
import csv
import threading
import time
import pandas
import requests
# 创建数据存储文件csv
fo = open("股票数据.csv", mode='w', encoding='utf-8', newline='')
# 1- 写入csv列名
csv_write = csv.DictWriter(fo, fieldnames=["股票名称", "股票代码", "当前价格", "成交量"])
# 写入
csv_write.writeheader()
urlList = [
'https://xueqiu.com/service/v5/stock/screener/quote/list?p