修改后的结构如下图所示:
common目录下是通用文件,test目录下是功能文件,test目录下的agudata用于保存A股每月的数据
一、xgb_data.py,用于保存xgb网站需要的个人信息,如登录的账号密码,第二次使用的COOKIE信息等
二、mysql_oper.py 对mysql数据库的操作,连接数据库,查询和增删改
三、datetime_oper.py 将指定月份的日期保存到List
四、dapan_paint.py 根据保存的大盘数据画趋势图
五、xuangubao.py 对“选股宝”网站的登录、读取数据等操作
六、proxyip.py 从常个IP代理提供网站爬取代理IP
下载代理IP运行效果如下:
选股宝网站数据爬取效果如下: