在Mac上快速安装Scrapy，一键安装工具（不分别安装scrapy和twisted）

最新推荐文章于 2021-02-07 12:48:39 发布
最新推荐文章于 2021-02-07 12:48:39 发布
阅读量2.5k 收藏 3
点赞数 2
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xx1710/article/details/51118889
版权

新配置了iMac 27，准备以它为主要的工作平台并控制分布式爬虫 
总是在不同的设备上配置scrapy，于是需要一些较为快捷的方案

1.安装conda工具

Anaconda for OS X                       python 2.7 64-bit
如果使用的是别的操作系统（Windows或者Linux）请进入官网下载页面选择想对应的系统位数以及版本进行下载
我使用的是Python 2.7:
bash Anaconda2-4.0.0-MacOSX-x86_64.sh
进行安装conda工具

2.使用conda安装scrapy

终端执行
sudo conda install scrapy

 

 

 


 

                

        

        

    




    

      

        

            

              
                
                  上海菁数信息——实时数字智能
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    2
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    3
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
关于如何安装scrapy

				
			

			

				

					12-21
				

			

		

		

			
				
Scrapy是一个强大的Python爬虫框架，它为开发者提供了构建网络爬虫所需的各种工具和功能，使得数据抓取和处理变得更加高效和便捷。然而，对于初学者来说，安装Scrapy可能会遇到一些挑战，尤其是在某些特定环境下。...

			
		

	



                

              
                



	

		

			

				
					
Mac中Python 3环境下安装scrapy的方法教程

				
			

			

				

					09-21
				

			

		

		

			
				
 - 遵循安装向导进行安装，确保在安装过程中勾选“Add Python to PATH”选项，这样可以在命令行中直接使用`python3`命令。  - 安装完成后，打开终端（Terminal），输入`python3`，如果出现Python的欢迎信息，说明...

			
		

	



                


  
              

                


	

		

			

				
					
快速安装scrapy

				
			

			

				

					Sincere_Cry的博客
				

				

					05-15
					
					333
					
				

			

		

		

			
				
本文是关于python2.7对scrapy的安装方法，应该python3也类似，看到网上很多博客都是对各个包进行逐一安装，曾今我也安装同样方法安装，但太浪费时间，安装一次需要好几个小时。今天安装前想时间已过这么久，应该python也在发展pip应该更加的完善，抱着试一试的态度用pip重新安装了一遍没想到如此快速。以下便是安装的方法：采用pip  install scrapy 的方式进行安装 
当然会

			
		

	





	

		

			

				
					
scrapy安装_Python爬虫架构Scrapy快速安装

				
			

			

				

					weixin_39777163的博客
				

				

					12-08
					
					92
					
				

			

		

		

			
				
Scrapy的安装相对来说比较简单，不过它会完全依赖于你从哪里起步。为了能够支持尽可能多的用户，运行和安装Scrapy以及所有示例的“官方”方式是通过Vagrant，该软件能够让你在不考虑宿主操作系统的情况下，运行一个标准的Linux系统，在该系统中我们已经安装好所有需要用到的工具。我们将会在接下来的几小节中给出Vagrant的使用说明以及一些常用操作系统中的指引。MacOS为了更加方便地阅读本书...

			
		

	



		

			
		



	

		

			

				
					
MAC下安装twisted, 并设置为eclipse插件使用

				
			

			

				

					sinat_17263695的专栏
				

				

					07-05
					
					1642
					
				

			

		

		

			
				
首先你需要确认两件事：
1.你是否有安装python；
2.你是否有zop

			
		

	





	

		

			

				
					
Twisted MAC安装

				
			

			

				

					oxxther的博客
				

				

					11-11
					
					1477
					
				

			

		

		

			
				
MAC 下装Twisted

			
		

	





	

		

			

				
					
twisted安装

				
			

			

				

					weixin_34321753的博客
				

				

					04-30
					
					191
					
				

			

		

		

			
				
在安装scrapy中，使用了pip install scrapy。
安装过程前端顺利，可是后面自动化安装过程中需要安装twisted，错误提示
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio...

			
		

	





	

		

			

				
					
Windows下安装Scrapy

				
			

			

				

					09-20
				

			

		

		

			
				
Scrapy是一个用Python编写的快速、高层次的屏幕抓取和Web抓取框架，用于抓取网站并从页面中提取结构化的数据。Scrapy是用于数据挖掘、监测和自动化测试的理想工具，其作为框架的灵活性和丰富的爬虫基类，如...

			
		

	





	

		

			

				
					
python安装Scrapy图文教程

				
			

			

				

					09-21
				

			

		

		

			
				
在安装过程中，确保你的Python环境和所有依赖都是最新版本，并且检查系统环境变量是否设置正确，以便pip能够找到正确的编译工具。此外，确保你的系统满足所有依赖项的编译要求，比如C++编译器和Visual C++ Build ...

			
		

	





	

		

			

				
					
Twisted开始（一）安装

				
			

			

				

					常城的专栏
				

				

					05-24
					
					5730
					
				

			

		

		

			
				
首先，说一下为什么要用twisted。   我要写一个网络应用。我曾有两个选择，一，用C++的ACE去写；二，python的twisted写。想了想，python我更熟悉，开发效率更高，而且，去年我做新浪微博接入的时候，发现微薄广场的python调用接口，就是用的twisted。那么好，今年我也用twisted吧。   Twisted是基于事件的、异步网络通信框架。异步网络通信框架允许编写的程序在处理事件时保持响应，却不需要使用线程。（而同步的网络框架就要引入线程或者进程来处理了。比如fork，sel

			
		

	





	

		

			

				
					
mac 下安装Scrapy

				
			

			

				

					u013839178的博客
				

				

					07-09
					
					287
					
				

			

		

		

			
				
1.  sudo pip
 install Scrapy --ignore-installed six 忽略six版本问题
2. 重新安装six：
   1） sudo rm -rf /Library/Python/2.7/site-packages/six*
2）
sudo rm -rf /System/Library/Frameworks/Python.framework/Versi

			
		

	





	

		

			

				
					
Mac安装Scrapy及踩坑经验

				
			

			

				

					zhuangmezhuang的博客
				

				

					09-25
					
					1562
					
				

			

		

		

			
				
Mac下安装Scrapy，有点小麻烦，但是解决后发现了其实也不难。

问题：我在pycharm里面安装scrapy 运行scrapy完全没有问题。

显示图片如下：



这个意思就是scrapy好使的意思了。

我在macbook电脑上开始一波pip install scrapy

下面就是见证智障的时刻了。

问题一:


scrapy: command not found
	OSError:...

			
		

	





	

		

			

				
					
全网友遇到的Mac安装Scrapy框架所有问题

				
			

			

				

					qq_36302589的博客
				

				

					10-12
					
					581
					
				

			

		

		

			
				
每次配什么环境算是能遇到所有的问题，参考一个blog配置下来并将新问题罗列如下：



准备工作
安装开始前，你需要知道的几点注意事项和工具：


MAC OS是自带python 2.7的，而目前Scrapy也只是在python 2.7版本较为稳定，所以你不需要再安装或者配置python环境了，只需要按步骤安装好Scrapy就好了。

作为一个想在Mac上用Scrapy的人，我

			
		

	





	

		

			

				
					
mac 安装Scrapy成功测试

				
			

			

				

					只有香如故的博客
				

				

					03-19
					
					7147
					
				

			

		

		

			
				
mac系统自带python2.7版本，所以在直接使用pip的时候，找不到pip，我们通过重新安装python更新pip的版本，然后用pip安装Scrapy(S大写)。

			
		

	





	

		

			

				
					
MAC+Anaconda+Scrapy安装以及简单使用

				
			

			

				

					StriveZs'Blog
				

				

					02-07
					
					532
					
				

			

		

		

			
				
title: MAC+Anaconda+Scrapy安装以及简单使用
categories:

MAC
Anaconda
Scrapy

tags:

Scrapy
Python
MAC
Anaconda


MAC+Anaconda+Scrapy安装以及简单使用
Scarpy
Scrapy由 Python 编写的爬虫框架。如果你刚接触并且好奇这门语言的特性以及Scrapy的详情， 对于已经熟悉其他语言并且想快速学习Python的编程老手， 我们推荐 Learn Python The Hard Way ，.

			
		

	





	

		

			

				
					
pip安装twisted错误

				
			

			

				

					qq_38001986的博客
				

				

					09-02
					
					1569
					
				

			

		

		

			
				
更新incremental之后再安装
sudo pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ --upgrade incremental



			
		

	





	

		

			

				
					
Mac安装scrapy的坑

				
			

			

				

					Jo_Andy的专栏
				

				

					04-26
					
					433
					
				

			

		

		

			
				
Mac上的环境：OS X 10.11.6 python 2.7 & python3.5 共存
使用命令 pip3 install scrapy 后报错:
ERROR: Complete output from command python setup.py egg_info:
    ERROR: Download error on https://pypi.python.org/simp...

			
		

	





	

		

			

				
					
Windows环境下Python及Scrapy安装全攻略

				
			

			

				

					
				

			

		

		

			
				
通过这个教程，读者将能够全面了解Python在Windows上的安装过程，以及如何配置和安装Scrapy所需的依赖库，从而顺利搭建Scrapy开发环境。这个过程虽然略显繁琐，但遵循每个步骤都能确保成功安装和使用Python和Scrapy...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值