自己写了个python爬虫程序,将爬取的网页内容存储到sqlite3数据库中。
之前用
结果是content只截取页面内容从开始到第一个引号之间的内容,并且存储失败。
解决方法:
需要做把传入sql的参数做转义,否则sql的解析可能会因为遇到特殊字符而被阶段。推荐这样执行,数据库接口会自动帮你转义:
之前用
cu.execute(u'insert into URLS (title, url, content) values(%s,%s, %s)' %(url, title, content) #content为text类型
结果是content只截取页面内容从开始到第一个引号之间的内容,并且存储失败。
解决方法:
需要做把传入sql的参数做转义,否则sql的解析可能会因为遇到特殊字符而被阶段。推荐这样执行,数据库接口会自动帮你转义:
cu.execute('insert into URLS(title,url, content) values(?, ?, ?)', (title, url, content))