luckycdy的博客

2018.11.22前提：安装好 Anaconda（Python 版本为 3.6）一、环境因为已经安装好了 Anaconda，所以在 Anaconda 控制台（Anaconda Prompt）中输入 conda install scrapy在安装过程中，是否安装所需要的框架，选择是（输入 y）。验证：在控制台中输入 python 进入 Python，然后输入import scrapy,不...

2018.11.23上一篇采用 Selenium 和 Ajax 参数分析两种方法来爬取了基金信息。链接：https://blog.csdn.net/luckycdy/article/details/84342640本篇介绍更快、更强的工具-Scrapy 框架！爬虫要求：目标 url：http://gs.amac.org.cn/amac-infodisc/res/pof/fund/inde...

知识点：request 带密码登录、selenium+headless Chrome、pandas、思路：request 爬虫模拟登录，下载文档，再用 pandas 进行数据分析

上一篇文章讲了用 request 模拟登录（https://blog.csdn.net/luckycdy/article/details/87981842 ）虽说后来提供了一种新方法，更方便模拟登录，但是想了想后面还要按各种按钮，然后才能下载文档。若是用 request 来撸的话，就要对一个个动作进行抓包然后再post，这好像也有点繁琐。本着只是下载一次文档，不需要太高效率，于是乎决定，用 se...