东方财经财富号爬虫流程(1) -- 基本结构搭建

feiyy404

于 2019-12-18 18:45:29 发布

阅读量240

点赞数

分类专栏：爬虫

本文链接：https://blog.csdn.net/Enjolras_fuu/article/details/103602019

版权

49 篇文章 4 订阅

订阅专栏

在这里插入图片描述

# 创建虚拟环境并且进入 
$ workon dog    
# 查看是否创建成功 
$ ls
# 进入项目文件夹 
$ cd EastMoneyBusiness
# 初始化项目仓库 
$ git init

在这里插入图片描述
主要是

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

# business 是爬虫文件以及爬虫项目的名称 
# so.eastmoney.com 是域名
scrapy genspider business so.eastmoney.com

生成了爬虫文件 business.py
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
运行结果：

刚开始是有数据的，后来就是 403 了，所以我们要先把代理 ip 的问题处理一下。

更新时间： 2019-12-18

关注

专栏目录