fengyang182的博客

1 文件下载项目目的：爬取seaborn案例源文件seaborn的网址为http://seaborn.pydata.org/应用案例展示的网址为http://seaborn.pydata.org/examples/index.html进入想要创建项目的目录，创建爬虫项目seaborn_file_download# dir 为要创建项目的目录cd dirscrapy startproj...

1 反爬虫技术及突破措施1.1 降低请求频率降低请求频率以模仿人类用户，而不是机器。settings.py中设置DOWNLOAD_DELAY即可# 即两次请求间隔为 3 秒DOWNLOAD_DELAY = 3另外，为了防止请求过于规律，可以使用RANDOMIZE_DOWNLOAD_DELAY设置一个介于0.5* DOWNLOAD_DELAY和1.5 *DOWNLOAD_DELAY之间...

1 构造登录请求构造一个登录请求，将用户登录的信息作为参数一起传递给网站服务器。但是如果登录时有验证码，这种方法就不行了。1.1 实现data 里面的数据是登录时提交的表单数据，可以在“开发者工具”中查看。parse 里面处理登录是否成功的逻辑。如果登录成功，就由 parse_doulist 处理接下来的爬取数据的逻辑。parse_doulist 处理爬取数据的逻辑，和其他爬虫逻辑一样...

1 Selenium实现动态页面爬取1.1 安装python 支持的Selenium库pip install selenium1.2 安装浏览器驱动程序chromedriver 的下载地址：https://chromedriver.storage.googleapis.com/index.html 或者 http://npm.taobao.org/mirrors/chromedriver...

1 存储到 mysql 数据库1.1 创建数据库确认有 mysql 环境创建数据库及表 hot，创建 hot 表的sql 为：CREATE TABLE `hot` ( `id` int(20) NOT NULL AUTO_INCREMENT COMMENT 'primary key', `name` varchar(50) COLLATE utf8_bin DEFAULT NULL...

要实现爬虫功能，只要执行四个步骤：定义spider 类确定 spider 的名称（name）获取初始化请求（start_request）解析数据 parse()

1 scrapy 安装1.1 scrapy 安装进入 cmd 界面，使用命令：pip install scrapy1.2 安装问题如果因为权限原因导致安装失败，就以管理员身份运行 cmd，再使用上面的命令。如果出现 Microsoft Visual C++14.0 is required 错误，则在安装 Anaconda 之后执行命令：conda install -c scrapi...

1 环境搭建环境搭建前准备：python(一定要是 python3)windows 系统1.1 下载及安装 Anaconda使用 Anaconda 安装 scrapy 来避免一些安装错误下载地址：https://www.anaconda.com/download/，或者对应的镜像地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archi...