安装scrapy填坑

最新推荐文章于 2021-09-10 20:25:39 发布

小红Lyons

最新推荐文章于 2021-09-10 20:25:39 发布

阅读量297

点赞数

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/baidu_32929291/article/details/78968367

版权

python 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

前言：在笔记本安装了python2.7和python3.5，pip的指令分别更改为pip2以及pip3，当使用pip2安装scrapy时顺利安装，使用pip3安装时出错了

报错1：unable to find vcvarsall.bat

无法找到vcvarsall这个批处理文件，网上的答案是缺少了vs2015的编译器组件，于是上官网下载，安装（3G多..），完事后报了另外一个错

报错2：command ‘c1.exe’ failed:No such file or directory

这个时候两脸懵逼了..定睛一看发现是有蹊跷，卡在twisted这个组件这里了，没安装成功。于是重新安装一次，无果

最后解决的方法如下

下载wheel组件，用于安装编译.whl文件

pip3 install wheel

下载对应版本的twisted，34、35、36对应的python版本

下载链接
下载完成，在下载的目录下执行（示例）

pip3 install Twisted-16.6.0-cp36-cp36m-win_amd64.whl

安装scrapy（使用豆瓣代理）

pip3 install -i https://pypi.douban.com/simple/ scrapy

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小红Lyons

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Airflow安装部署

zhiquxun4268的博客

09-03

1417

Airflow安装部署新闻信息是通过爬虫获取，使用scrapy框架进行爬虫任务；使用airflow工作流监控平台对爬虫任务进行管理、监控（可使用CeleryExecutor分布式，也可使用LocalExecutor多进程进行数据采集）。以下主要是对airflow的安装和配置。 1.系统环境目前使用的系统环境为Centos Linux release 7.4.1708 (core),l...

windows安装Anaconda3，Anaconda3安装scrapy抓取链家数据入门例子

一个真实、有温度的无名小卒

12-12

1203

一 windows安装Anaconda3 主要介绍scrapy在win7下的安装，这里的话并不推荐大家用python+pip安装，推荐使用Anaconda进行安装，为什么呢？因为如果你选择前者，填坑的过程可能会让你绝望，说不定会让你砸键盘、内分泌失调，所以强烈建议用Anaconda！不信的话大家可以试试！这里的话简单介绍一下anaconda的下载，下载地址为：https://www.anacon...

1 条评论您还未登录，请先登录后发表或查看评论

command ‘ cl.exe‘ failed: No such file or directory 问题的另一种解决办法

KingGugu的博客

09-10

1729

博主的python3.6版本下使用指令时 pip install pycocotools 出现以下报错： command ' cl.exe' failed: No such file or directory 尝试了很多办法，包括安装对应版本Visual Studio、对应版本Visual Studio C++ Build Tools等，仍然无法解决。之后在另一台同为python3.6版本的电脑上成功安装pycocotools。于是将Lib\site-packages目录下（Lib中的L可能为大写，也可能为

windows下安装python的C扩展编译环境（解决“error: command 'cl.exe' failed: No such file or directory”）

热门推荐

u010899985的博客

01-25

3万+

接上一篇博客中在python2中解决了： Debugger speedups using cython not found. 发现在python3.5中又出现了同样的问题，原来python需要使用VC++ Compiler 来编译安装（也可使用MInGW，一般不推荐，在windows下使用pip安装一些python的第三方库，有很多使用C写了一些扩展，需要使用VC++ Compil

关于Airflow的一些使用小结

BAStriver的博客

07-24

2599

1.首先，官网文档在这：Airflow Documentation。 2.然后，记录一下我觉得写得很不错的几篇关于Airflow的文章。 1)AirFlow简介 2)AirFlow使用第一个DAG示例 3)浅谈调度工具——Airflow 3.关于如何安装，还没试过所以就不总结这个了，而对于Airflow的概念介绍也在上面几篇文章可以详细了解到。一下才是我主要想总结的一些使用的注意事...

python scrapy爬虫代码及填坑

09-18

Python Scrapy是一个强大的爬虫框架，它为开发者提供了构建网络爬虫的便利工具。本教程将深入探讨如何使用Scrapy来编写爬虫代码，并解决在实际应用中可能遇到的问题。首先，我们来看`KaoshiBqgSpider`类，这是...

Win10环境Python3.6安装Scrapy1.4（好多坑）

jian_ming_zhang的博客

09-05

5056

最近刚刚开始学习Python，先看了一些Python爬虫技术的文章，其中很多人都提到了Scrapy框架，于是想安装学习一下，结果弄了好久，遇到了各种坑，找了各种方法，终于填完。写下此文，希望对后来的小伙伴有些帮助。我的系统环境是Win1064位，安装了Python3.6。先说一下我遇到的几个大坑： 1、Scrapy1.4是支

airflow入坑指南

u013496080的博客

10-31

2055

1.安装默认的安装目录是在~/airflow目录下，为了安装到制定目录需要配置环境变量 vi /root/.bashrc # vi /etc/profile 没起作用 >> export AIRFLOW_HOME=/data/airflow #修改默认安装目录 source /root/.bashrc # source /etc/profile #使配置生效 sudo pi...

Airflow1.8 分布式工作流平台搭建

fsh_walwal的博客

07-19

2959

版本信息： python 2.7.15 airflow==1.8.0 SQLAlchemy==1.1.18 flower==0.9.2 其中SQLAlchemy的版本如果是1.2.x版本会在创建用户是报错， [root@localhost ~]# python2 create_user.py [2018-07-18 18:51:09,336] {__init__.py:57} INFO...

一篇很好的airflow前端操作详解，收藏下

黄油猫

07-16

2073

https://www.jianshu.com/p/cbff05e3f125

Python scrapy 爬取拉勾网招聘信息

12-04

5386

Python scrapy 爬取拉勾网招聘信息。周末折腾了好久，终于成功把拉钩网的招聘信息爬取下来了。现在总结一下！

pip install报错：error: command 'cl.exe' failed with exit status 2

weixin_43578216的博客

01-03

1万+

在pip install 某依赖文件时出现该报错：error: command ‘cl.exe’ failed with exit status 2，一般该报错还伴随着error: Microsoft Visual C++ 9.0 is required. Get it from http://aka.ms/vcpython27 出现，这不但是我遇到的问题，在查找了许多方法后，发现很多人也是如此。...

command ' cl.exe' failed: No such file or directory解决办法

weixin_30412167的博客

04-14

1206

1.安装C ++编译器https://pan.baidu.com/s/1D1-tM-mWO4TVLdTrh3k1GA 提取码：ym67 2.找到安装文件夹：Visual C++ Build Tools 3.打开Visual C++ 2015 x86 x64 Cross Build Tools Command Prompt 4.输入pip install xxx(packag...

airflow整体架构

Ran

10-29

4369

run命令运行过程读取dag文件生成task依赖关系，然后生成封装airflow run的command命令，通过celery发送到executor端，重新执行该airflow run命令。 scheduler命令运行过程：调度器通过SchedulerJob类run方法执行整个流程，包括使用多进程处理DagDir，包括生成Dag，产生DagRun，每个DagRun下又生成多个TaskInsta...

scrapy主动触发关闭爬虫

fsh_walwal的博客

07-23

1万+

项目需求：采集昨日产生的数据，比如新闻，需要避免数据重复，因为新闻都是按照发布时间逆序排列的，所以只需根据新闻发布时间进行过滤，当发现采集到比昨天更早的数据时关闭爬虫。可以在直接spider、pipeline和downloaderMiddlewares中关闭爬虫在spider中时在方法里直接写 self.crawler.engine.close_spider(self, 'respon...

airflow的安装和配置

python_tty的专栏

12-14

3313

安装 virtualenv airflow export AIRFLOW_HOME=~/airflow source airflow/bin/activate pip install airflow 这个过程时间有点长，airflow安装了很多依赖包，数据库同步工具alembic, orm工具sqlalchemy, flask等 2.初始化数据库 airflow默认的数据库是sql

win10 安装scrapy报错error: command 'cl.exe' failed: No such file or directory

小人物大梦想

02-15

2694

环境win10 ,pthon3.6 因为scrapy需要依赖twisted，所以要先安装twisted 给出下载地址 http://www.lfd.uci.edu/~gohlke/pythonlibs/ 找到对应的系统和python版本下载twisted。我下载的是 Twisted‑18.9.0‑cp36‑cp36m‑win_amd64.whl pip install Twiste...

windows下安装Scrapy出错cl.exe failed with exit status2解决方法

记录点滴

04-17

3万+

在用pip install Scrapy安装scrapy时出错 error: command 'C:\\Users\\rainer\\AppData\\Local\\Programs\\Common\\Microsoft\\Visual C++ for Python\\9.0\\VC\\Bin\\cl.exe' failed with exit status2 网上找了很久，发现很多人遇到

Anaconda快速安装Scrapy框架指南

本文将详细介绍如何利用Anaconda这个流行的Python数据科学平台，简化scrapy框架的安装过程。Scrapy是一个强大的网络爬虫框架，对于数据抓取任务非常实用。通常情况下，直接使用pip安装scrapy会涉及许多依赖库的安装...