- 博客(3)
- 资源 (1)
- 收藏
- 关注
原创 python判断交易日
节假日api调用来自于 http://tool.bitefu.net/jiari/交易日判断为非节假日且非周六周日代码如下:import urllib.request as requestimport datetime'''@query a single date: string '20170401';@api return day_type: 0 workday 1 week
2017-04-05 23:11:35 11733 1
原创 用python+selenium+firefox爬取动态网页
以某网站为例:我们需要爬取的信息如下:一般的静态网页中,信息是直接写在源代码里面的:可以方便使用正则表达式抓取。但是对于js生成的动态页面,就需要我们模拟浏览器的行为加载页面,再爬取:所以我们需要准备的是python3+selenium+firefox 其中firefox 需要安装Xpath checker 和firebug两个插件(用于xpath定位)
2016-01-27 23:29:51 2159
原创 关于使用Python3进行网络爬虫的字符问题
使用Python3进行网络爬虫的时候,对于某一些网页,使用utf-8编码是没有问题的。比如:import urllib.requesturl = "https://www.baidu.com/" data = urllib.request.urlopen(url).read()reqstr = data.decode('utf-8')但是对于某些网页,如新浪,它会使用一些非UTF-8的
2015-09-22 15:43:19 689
spyder-2.3.6-win64-py3.4
2015-09-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人