- 博客(9)
- 收藏
- 关注
RSS订阅原创 使用Pandas进行股票买卖策略评估分析
使用Pandas库 进行简单的股票买卖策略评估主要目标：以股价超出十日均线买入，跌破十日均线卖出为策略，计算股票买卖点、股票收益率（固定股数/固定资金）。用到的重要函数：rolling函数使用工具：jupyter notebook，新建一个python3项目原始数据：（数据来源：使用python爬虫获取纳斯达克(NASDAQ)网站亚马逊股票历史数据，url： https://www.n...
2019-10-14 17:10:51
1325
1
原创 使用Numpy快速分析股票数据——计算移动平均线及日周均线之间的转换
使用工具：jupyter notebook，新建一个python3项目以分析亚马逊股票近一年的历史数据为例一、按年度日均线数据做基础处理加载指定的文件import numpy as npstock_info = np.loadtxt('AMZN_STOCK.csv',skiprows=1,delimiter=',',usecols=[0,1,2,3,4],dtype='f8,S10,...
2019-10-12 15:50:07
3561
原创 python爬虫：Scrapy框架爬取纳斯达克(NASDAQ)股票数据
思路：1、纳斯达克网站 https://www.nasdaq.com；2、以亚马逊AMZN普通股票为例，找到股票历史数据详情页url=https://www.nasdaq.com/market-activity/stocks/amzn/historical；3、网站采用动态加载数据，使用Selenium获取 AMZN 5年股票历史数据4、xpath解析数据，保存至csv文件。一、准备工作...
2019-10-09 18:37:57
4969
原创 爬取全国空气质量数据
思路：1、空气质量在线监测平台 https://www.aqistudy.cn/；2、分析网站，找到历史数据查询入口：https://www.aqistudy.cn/historydata/，首页为各城市入口，二层统计各月份数据，三层为每日数据；3、使用crawspider获取每月url；4、xpath解析数据，保存至csv和redis数据库中。出现的问题：除首页外，网页使用了动态JS...
2019-10-05 21:19:32
11860
5
原创 爬取豆瓣电影TP250（文字信息+保存图片）
思路：1、豆瓣电影TOP250 url=https://movie.douban.com/top2502、使用crawspider获取250个电影详情页url3、使用xpath解析数据：获取电影标题、导演、演员、简介、热门第一评论、评论人数等详细信息4、保存250部电影海报图片一、准备工作创建一个scrapy project: scrapy startproject DBMOVIE...
2019-09-25 18:14:04
1850
原创 Crawlscrapy获取果壳问答信息
思路：1、果壳网精彩问答界面url=https://www.guokr.com/ask/highlight/2、自动获取多页url3、自动获取每页问答界面url4、使用css解析数据，获取访问界面问题标题、排位第一的答案文字和图片信息一、准备工作创建一个scrapy project: scrapy startproject MTZF创建crawspider filescrapy...
2019-09-23 22:46:09
223
原创 scrapy框架下自动保存cookie --访问个人中心页面
思路：1、代码访问login页面，自动保存cookie拼接请求参数scrapy框架自动解析登陆网址中from表单中的参数2、访问个人中心页面import scrapyclass YaozhiSpider(scrapy.Spider): name = 'yaozhi' allowed_domains = ['yaozh.com'] #先进入登录界面，需要指定...
2019-09-23 17:07:54
699
原创 获取租房网站信息
思路：1、麦田网租房信息url=http://bj.maitian.cn/zfall/2、获取标题描述、房屋面积信息、位置信息，房屋价格及二层url的细节评价3、设置翻页循环4、使用xpath解析数据5、首页和细节页数据存入同一张表里遇到的问题：二层页面右键无法点击（简单的反爬）一、准备工作创建一个scrapy project: scrapy startproject MT...
2019-09-21 14:42:05
364
原创 简易爬取免费代理IP
爬取maitian屡次被封，先建立一个免费代理ip池吧暂时保存为txt格式思路：1、找到免费的ip代理网站以西刺代理的4个网站为例：国内普通代理： http://www.xicidaili.com/nt/国内高匿代理： http://www.xicidaili.com/nn/国内https代理：http://www.xicidaili.com/wn/国外http代理： http:/...
2019-09-20 18:31:15
1016
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人