No module named 'baidujs.settings'; 'baidujs' is not a package

在把scrapy爬虫整合成插件形式的时候,遇到了No module named ‘baidujs.settings’; ‘baidujs’ is not a package这个问题,百度之后发现是文件名的问题,文件名和文件夹的名字相同了,所以就错了,改过来就好啦!
本来是酱的:

现在是酱的:
在这里插入图片描述
嘻嘻!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Scrapy 默认使用 SQLite 数据库进行数据存储,如果你想要将数据存储到 MySQL 数据库中,你需要进行以下操作: 1. 安装 Python MySQL 驱动程序,如 `mysql-connector-python` 或 `pymysql`。 2. 在 Scrapy 项目的 `settings.py` 文件中进行如下配置: ``` ITEM_PIPELINES = { 'myproject.pipelines.MySQLPipeline': 300, } MYSQL_HOST = 'localhost' MYSQL_DATABASE = 'mydatabase' MYSQL_USER = 'myusername' MYSQL_PASSWORD = 'mypassword' MYSQL_PORT = 3306 ``` 3. 创建一个 `pipelines.py` 文件,在其中实现 MySQL 数据库的存储: ``` import mysql.connector class MySQLPipeline(object): def __init__(self, host, database, user, password, port): self.host = host self.database = database self.user = user self.password = password self.port = port @classmethod def from_crawler(cls, crawler): return cls( host=crawler.settings.get('MYSQL_HOST'), database=crawler.settings.get('MYSQL_DATABASE'), user=crawler.settings.get('MYSQL_USER'), password=crawler.settings.get('MYSQL_PASSWORD'), port=crawler.settings.get('MYSQL_PORT') ) def open_spider(self, spider): self.cnx = mysql.connector.connect( host=self.host, database=self.database, user=self.user, password=self.password, port=self.port ) self.cursor = self.cnx.cursor() def close_spider(self, spider): self.cursor.close() self.cnx.close() def process_item(self, item, spider): data = (item['field1'], item['field2'], item['field3']) self.cursor.execute("INSERT INTO mytable (field1, field2, field3) VALUES (%s, %s, %s)", data) self.cnx.commit() return item ``` 以上是 Scrapy 存储数据到 MySQL 的简单配置和示例,你可以根据自己的需求进行相应的修改。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值