pycharm中入mysql数据库 mongo 数据库 response返回网址内容

安装模块

下载模块在cdm中 pip install pymysql 

在pip文件中

db=pymysql.connect(user='root',password='',db='数据库名',charser='utf8')
cursor = db .cursor()
sql = 'insert into 表名(title,rank,rankValue) VALUES("{}","{}","{}")'.formart(title,rank,rankValue)
curson.execute(sql)
db.commit()
db.close()
returm item

mongo入库

db1=pymongo.MongoClient()['数据库名'][‘表名']
db1.insert(dict(item)) 

replace 用于替换 replace(’ ‘,’ ') 后面用来替换前面的

response返回网址内容
一.url为路径 yield返回给 下一个函数

def  parse(self):
    ~~~~~`
	    url=i.xpath('路径').extract()[0]
	    yield  scrapy.Request(url,self.show,meta={'变量名':变量名.........})
	    生成并返回给下一个函数

二.show函数 用来返回网址内容
def show(self,response):

     tmp = reponse.xpath('路径').extract()[0]
     变量名 = reponse.meta['变量名']
     item['变量名']=变量名
     yield item