爬虫
云金杞
量化研究员\CTA量化基金经理,金融硕士,CIIA,CFP,FRM,CFA,擅长使用python进行数据分析和建模,熟练使用backtrader、tbquant等量化平台。
展开
-
32个Python爬虫项目让你一次吃到撑
今天为大家整理了32个Python爬虫项目。整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心。所有链接指向GitHub,祝大家玩的愉快~O(∩_∩)OWechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫,返回结果是列表,每一项均是公众号具体信息字典。DouBanSpider [2]- 豆瓣读转载 2017-11-08 10:26:50 · 2544 阅读 · 0 评论 -
python爬取同方全球人寿万能险利率
#不会正则表达式,爬虫效率比较低,需要仔细学习一下import requestsfrom bs4 import BeautifulSoupimport pandas as pdresult_tongfang=pd.DataFrame()for i in range(9,27): url='http://www.aegonthtf.com/rate/ratedetail原创 2017-11-13 14:42:34 · 999 阅读 · 0 评论 -
第一次学会使用正则表达式爬网页,纪念下,下一步学习动态网页爬取
import pandas as pdimport requestsfrom bs4 import BeautifulSoupimport re#获取保险链接以及名字url='http://www.bocommlife.com/sites/main/index.htm'page=requests.get(url,timeout=15)soup=BeautifulSoup(page.t原创 2017-11-14 16:27:53 · 761 阅读 · 0 评论 -
中英人寿爬虫爬取,使用selenium自动化和正则表达式
import reimport requestsfrom bs4 import BeautifulSoupimport pandas as pdimport numpy as npfrom selenium import webdriverfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.co原创 2017-11-15 12:05:04 · 719 阅读 · 0 评论 -
python爬取保险岛17000多个保险顾问的个性标签,并做词云图
#先上图#代码import timeimport reimport requestsfrom bs4 import BeautifulSoupimport pandas as pdimport numpy as npfrom selenium import webdriverfrom selenium.webdriver.common.keys import Keys原创 2017-12-14 16:59:34 · 1809 阅读 · 0 评论 -
python网络爬虫自动化下载股票类电子书(1)
写了一个自动化下载的程序,下载了几个试了一下,发现当百度云中要下载的文件过大的时候,频繁下载需要验证码的时候,不使用百度云下载的时候,会出现下载失败,程序还要进一步改进。姑且跑一边试试#2018-02-07:今天又尝试下载了一下,面临两个问题,第一个是百度网盘下载次数多之后会出现验证码,第二个是百度网盘的文件数是几个是不确定的,原代码仅仅只能适用一个文件的情形。后续可以尝试保存到自己的网盘中,原创 2017-12-10 21:24:39 · 842 阅读 · 0 评论