Scrapy导入items.py出错源自逻辑冲突

已于 2024-06-15 15:33:27 修改
阅读量350 收藏 4
点赞数 2
文章标签： scrapy
于 2024-06-15 15:26:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28461249/article/details/139702975
版权

  最近根据网上视频学习Scrapy爬虫框架，我的pycharm用的是python10, 发现容器那个类items.py我导不进去。    from spider2107.items import MovieItem  # 失败。    

  在网上搜索，试过相对路径还是不行， from  ..import  items  这种取巧的方式，也容易在执行 scrapy crawl 爬虫的时候出错.

  解决办法

         重新检查项目，找到原因：习惯性打开pycharm，会先新建项目，然后在项目中新建爬虫scrapy项目, 关键是scrapy也是项目，问题出现了，在项目中新建项目，我猜是因为出现了逻辑冲突，才导致失败

         解决办法： 在单纯的文件夹中新建scrapy项目（注意：这个文件夹本身不能是pycharm的项目，比如你在桌面建立爬虫项目，桌面文件夹就不可能是pycharm的项目）

          可以试试在cmd中先新建scrapy项目，再拖拽进pycharm，就可以运行通过


                

        

        

    

  


    

      

        

            

              
                
                  湖上月光
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
使用scrapy做爬虫遇到的一些坑：导入Module的时候总显示no module named ×××.items？

				
			

			

				

					weixin_41931602的博客
				

				

					05-03
					
					1万+
					
				

			

		

		

			
				
估计很多人和我遇到过这样的坑，就是scrapy做爬虫时，导入Module的时候总显示no module named ×××.items？可是检查很多遍都没发现什么大问题啊？我明明是按照教程来打的案例！！！原来这是因为编译器的问题，pycharm不会将当前文件目录自动加入自己的sourse_path。那么具体的解决方法如下：1,找到你的scrapy项目上右键2.然后点击make_directory ...

			
		

	



                

              
                



	

		

			

				
					
【Scrapy】Scrapy的items.py用法

				
			

			

				

					gz-郭小敏的博客
				

				

					05-16
					
					3955
					
				

			

		

		

			
				
之前写了pipelines.py的一些用法：【Scrapy】Scrapy的pipelines管道使用方法，主要是用来处理获取数据后做的操作。

而这次介绍的items.py，它的作用主要是用来处理获取的的数据，做数据清洗用的，具体也很难一时讲清，先看代码。

1.首先我们通过ItemLoader 获取到数据




import sys
sys.path.append(r'E:\projects...

			
		

	



                


  
              

                


	

		

			

				
					
Python Scrapy遇到的问题(二)

				
			

			

				

					m0_64139004的博客
				

				

					11-20
					
					917
					
				

			

		

		

			
				
本文记录了在学习scrapy爬虫过程中的一些问题，如Scrapy开启多条管道下载时的问题，scrapy xx.py文件中import出错的问题，以及pycharm使用过程中的快捷键整理

			
		

	





	

		

			

				
					
Python爬虫练习一

				
			

			

				

					p_jinsan的博客
				

				

					08-14
					
					344
					
				

			

		

		

			
				
Python爬虫练习一
一个简单的基于scrapy框架爬虫的练习
GItHub：https://github.com/P-jinsan/doubanbook
环境
Pycharm
Python3.8
谷歌浏览器
要求


网址：豆瓣读书


要求：获取每本书的标题、作者、评分



将获取的信息输出到一个excle文件中


注意
需要获取的内容可能不只是一页
过程


文件目录,以下只列出该练习需要用到的文件



dbbook.py


import scrapy
import re
from doub

			
		

	



		

			
		



	

		

			

				
					
PyCharm使用Scrapy导入items失败

				
			

			

				

					Ikaros的博客
				

				

					04-02
					
					1344
					
				

			

		

		

			
				
PyCharm使用Scrapy导入items提示未找到

			
		

	





	

		

			

				
					
Scrapy导入item类报错：NameError: name is not defined

				
			

			

				

					yvonne15的博客
				

				

					08-10
					
					1226
					
				

			

		

		

			
				
Scrapy导入item类报错：NameError: name is not defined

			
		

	





	

		

			

				
					
Scrapy中无法导入items.py解决办法

					
最新发布

				
			

			

				

					m0_65504171的博客
				

				

					12-21
					
					607
					
				

			

		

		

			
				
观察items.py的位置，在douban文件里的douban文件下，因此我们连续写下两个douban，即from douban.douban.items import DoubanItem。使用douban.items import DoubanItem无法成功导入，改为from douban.douban.items import DoubanItem即可。

			
		

	





	

		

			

				
					
Scrapy中的items导入问题解决

				
			

			

				

					qq_45060674的博客
				

				

					11-19
					
					872
					
				

			

		

		

			
				
scrapy中items导入问题的解决

			
		

	





	

		

			

				
					
scrapy导入item出错

				
			

			

				

					qq_49349528的博客
				

				

					09-12
					
					2404
					
				

			

		

		

			
				
需要在douban.py文件里面导入items模块，可见两个不是在同一级目录下。：被调用的py文件在上一级目录，需要在对象名称前加“

			
		

	





	

		

			

				
					
Python库 | nimbus_scrapy-3.1.4-py2.py3-none-any.whl

				
			

			

				

					02-27
				

			

		

		

			
				
python库。 资源全名：nimbus_scrapy-3.1.4-py2.py3-none-any.whl

			
		

	





	

		

			

				
					
scrapy_pipelines.py

				
			

			

				

					02-26
				

			

		

		

			
				
scrapy的pipline文件

			
		

	





	

		

			

				
					
scrapy_settings.py

				
			

			

				

					02-26
				

			

		

		

			
				
scrapy的setting

			
		

	





	

		

			

				
					
scrapy--使用items.py 文件处理数据

				
			

			

				

					江玉郎
				

				

					08-13
					
					6109
					
				

			

		

		

			
				
在前面的两节介绍了使用scrapy 爬取图片与保存到文件的方式，可以看到，我们所有的提取操作都是在主文件中进行的，虽然也能取出来数据，但是在对数据进行一些修改操作时，就比较麻烦了，而且代码臃肿，重复量高。 
所以今天介绍如何在items.py 文件分离数据、操作数据。 
这里以伯乐在线的全部文章为例，目的是提取每篇文章的标题、时间、点赞数、评论数、喜欢数，并且存到数据库中 
1 我们先创建一个sc...

			
		

	





	

		

			

				
					
python使用scrapy框架引入模块的报错解决办法-关于运行SCRAPY项目时提示 MODULENOTFOUNDERROR: NO MODULE NAMED的解决

				
			

			

				

					nhm_lxy的专栏
				

				

					09-20
					
					833
					
				

			

		

		

			
				
以上是pycharm自动填充的，相对路径没有问题，是从项目根目录开始的，然鹅，执行项目就报错------>ModuleNotFoundError: No module 			named ‘scrapy项目名.scrapy项目名’运行SCRAPY项目时提示 MODULENOTFOUNDERROR: NO MODULE NAMED。items import item类名。

			
		

	





	

		

			

				
					
爬虫学习bug记录--解决scrapy中items包导入不正确的问题

				
			

			

				

					sweetqp的博客
				

				

					02-01
					
					1380
					
				

			

		

		

			
				
项目场景：

做毕业设计，学习scrapy中，照着网上的教程做到导入items包时报错...

问题描述：

 from testsc.items import TestscItem 

ModuleNotFoundError: No module named 'testsc.testsc'：

原因分析：

文件导入的问题

解决方案：

将这个项目的文件设置成源文件就????

①这是我的项目结构



②右击它，设置成源文件



③ 运行成功
...

			
		

	





	

		

			

				
					
scrapy框架运行报错ModuleNotFoundError: No module named ‘items‘

				
			

			

				

					weixin_45774350的博客
				

				

					03-30
					
					3705
					
				

			

		

		

			
				
在文件中导入items里面的类时，报错，
from items import FirstspiderItem
ModuleNotFoundError: No module named ‘items’
这是由于item相较于spiders下的文件为上一级目录中，所以在前面加上…
from ..items import FirstspiderItem

原先报错的代码：
from items import FirstspiderItem


class MyscrapySpider(scrapy.Spider)

			
		

	





	

		

			

				
					
Scrapy中的items导入问题解决！本地包导入不了怎么办？看这里！

				
			

			

				

					weixin_42726887的博客
				

				

					04-11
					
					8748
					
				

			

		

		

			
				
原因：
本来想尝试一下Scrapy,在网上找了个入门级别的实例，照着跑一下，一模一样的代码，就是出现以下的错误，就是怎么也不能把本地的包导入进来，

查阅资料发现可以这样解决！
方法：
1.把项目的根目录设置为源路径

2.如果上述操作还不能解决问题，则在文件菜单选择清除并重启选项，如下图所示位置，即可搞定！


...

			
		

	





	

		

			

				
					
使用scrapy做爬虫遇到的一些坑：No module named items以及一些解决方案

					
热门推荐

				
			

			

				

					weixin_41931602的博客
				

				

					05-05
					
					2万+
					
				

			

		

		

			
				
最近在学习scrapy，因为官方文档看着比较累，所以看着崔庆才老师写的博客来做：https://cuiqingcai.com/3472.html# -*- coding: utf-8 -*-
import re
import scrapy  # 导入scrapy包
from bs4 import BeautifulSoup
from scrapy.http import Request  ##一个...

			
		

	





	

		

			

				
					
scrapy中setting.py作用

				
			

			

				

					05-24
				

			

		

		

			
				
在Scrapy框架中，`settings.py`文件用于管理Scrapy项目的全局配置和选项。该文件包含了许多可配置的选项，可以用来控制Scrapy框架的行为和功能。  具体来说，`settings.py`文件的作用包括：  1. 配置Scrapy项目的...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值