当当网 用什么数据库 mysql_当当网爬取数据到MySQL数据库,没有信息。

使用scrapy框架写的当当网数据爬取,数据能爬下来,但是导入不进去数据库中

大神,又来打扰你了

1.数据库名称:

dd:数据库名

ddw 表名

c9dfd1760142589da80fd1100308b76c.png

2.问题报错

176cb1ffe7ab30526d64a8e30d254083.png

3.代码:

3.1 items文件代码:

import scrapy

class DangdangItem(scrapy.Item):

title=scrapy.Field()

link=scrapy.Field()

comment =scrapy.Field()

3.2 ddd文件代码:

import scrapy

from dangdang.items import DangdangItem

class DdSpider(scrapy.Spider):

name = 'ddd'

allowed_domains = ['dangdang.com']

start_urls = ['http://category.dangdang.com/pg1-cid4010275.html']

def parse(self, response):

item=DangdangItem()

item['title']=response.xpath('//p[@class="name"]/a/@title').extract()

item['link']=response.xpath('//p[@class="name"]/a/@href').extract()

item['comment']=response.xpath('//p[@class="star"]/a/text()').extract()

yield item

3.3pipeline文件代码

import pymysql

from dangdang.items import DangdangItem

class DangdangPipeline(object):

def process_item(self, item, spider):

conn=pymysql.connect(host="127.0.0.1",user="root",passwd="562390",db="dd")

cursor=conn.cursor()

for i in range(0,len(item["title"])):

title=item["title"][i]

link=item["link"][i]

comment=item["comment"][i]

sql="insert into ddw(title,link,comment)values('"+title+"','"+link+"','"+comment+"')"

conn.query(sql)

conn.close()

return item

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值