- 博客(7)
- 收藏
- 关注
RSS订阅原创 Scrapy 爬取数据时遇到网络延迟导致数据抓不全的解决方案。
在使用python的scrapy框架进行爬取外贸网站ebay上某类别产品销量时，我遇到了这个问题，每次爬取数据十个里面总有两三个会遗漏，有时候甚至连着四五条数据被遗漏。这个问题一直困扰了我好几天。一开始以为是并发开的太多，程序运行太快，或者是被网站屏蔽等。其实都不是。也考虑到了网络延迟等原因，调整了速度和等待时间，反复的调试了好多次都没用，总会有那么几条数据会被遗漏。后来我在尝试了使用sele...
2019-07-10 04:01:57
3467
原创 python爬虫自动登录github时获取authenticity_token的坑
python爬虫自动登录github时获取authenticity_token，如果直接调用BeautifulSoup来找到name=authenticity_token的值是行不通的，此时会得到一个不一样的authenticity_token。所以解决办法是直接用xpath来采集路径得到authenticity_token代码如下：import requestsfrom lxml im...
2019-06-14 00:06:02
3498
原创 git pull 没有指定branch报错的解决办法
如果git pull 没有指定branch会出现如下错误：$ git pullEnter passphrase for key ‘/c/Users/Administrator/.ssh/id_rsa’:There is no tracking information for the current branch.Please specify which branch you want to...
2019-06-12 15:01:05
21555
原创 win7安装玩64位量化交易常用包talib后，使用时遇到的坑
win7安装玩64位量化交易常用包talib后，使用时遇到的坑操作系统：win7-64位，python3.6修改成如下形式就没问题了：操作系统：win7-64位，python3.6由于64位系统不能直接使用pip install ta-lib，所以直接下载轮子文件，地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#ta-lib安装完成后突然发现直接...
2019-06-05 23:20:54
800
原创 python3实现量化交易策略时调用pandas的rolling_mean遇到的错误处理
python3实现量化交易策略时调用pandas的rolling_mean遇到的错误处理以沪深300为例的简单策略代码修改后的代码如下：以沪深300为例的简单策略代码import tushare as tsimport pandas as pdimport matplotlib.pyplot as pltimport numpy as nphs300 = ts.get_hist_da...
2019-06-05 00:46:02
15037
原创 Solidity中memory在0.5和0.4不同版本的区别
Solidity中memory在0.5和0.4不同版本用法有些区别, 0.5的string变量需要在传值的时候加上memory以下是0.4版本代码：pragma solidity ^0.4.4;contract a1 { string _name; function a1(string name) { _name = name; } funct...
2019-05-23 23:46:55
1518
原创 第一个solidity智能合约遇到的坑
自学solidity智能合约遇到的第一个坑，照着老师的写了一段代码，编译的时候遇到版本问题，语法发生了巨大改变范例的代码：如果没有选择正确的版本号，编译会出现如下错误，我们来一步一步解决：下面我把修改后的完整代码贴出来：范例的代码：pragma solidity ^0.4.4; 表示0.4.4以上，0.5以下版本兼容：编译环境是在http://remix.ethereum.org需要注意选...
2019-05-23 15:12:46
9443
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人