- 博客(6)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 异步保存数据到mysql或mssql 学习笔记
from twisted.enterprise import adbapiclass NewtqPipeline: #def process_item(self, item, spider): #print(item['city'],item['day'],item['gw'],item['dw'],item['tq'])#以上两行为直接打印出啦 def __init__(self,mssql_config): self.adbpool = ad...
2021-10-25 23:08:18
338
原创 创建crawlspider爬虫 学习笔记
创建crawlspider爬虫新建项目 scrapy project newtq创建爬虫 scrapy genspider -t crawl 爬虫名 域名相关参数说明：scrapy shell 解析网址 在跟response.xpath('//div[@class="con today clearfix"]//div[@id="7d"]/ul/li')测试是语法是否正确及数据...
2021-10-18 22:54:45
244
原创 scrapy Pipline保存到数据库
import jsonimport pymssqlclass TqybPipeline: # #保存到当前路径 # def open_spider(self,spider): # self.fp=open("天气.txt",'w',encoding='utf-8') # def process_item(self, item, spider): # self.fp.write(json.dumps(dict(item),ensure_ascii.
2021-10-17 22:10:08
170
转载 python 插入数据库 b“Incorrect syntax near ‘,‘.DB-Lib error message 20018
python 插入数据库 b"Incorrect syntax near ','.DB-Lib error message 20018，插入的内容包含特殊字符"Incorrect syntax near ','，pymssql连接mssql2008出错，报错信息20017, 'DB-Lib error message 20017, severity 9数据库连接字符集出错：charset:utf-8使用 Python 将数据写到 SQL Server 数据库，但是在进行数据库连接操作时却报以下.
2021-10-17 17:38:18
4419
原创 学习scrapy使用
运行scrapy 中的spider新建run.pyfrom scrapy import cmdlinecmdline.execute("scrapy crawl tq".split(" "))判断获取元素的类型print(type(sevenday(对象)))获取对象中所有数据 对象.getall(); 对象.get()中的第一元素组装数组：在items中组装字段import scrapyfrom ..items import TqybItemclass TqS.
2021-10-14 22:58:13
150
空空如也
celery 中如何做定时任务(语言-python)
2022-01-29
TA创建的收藏夹 TA关注的收藏夹
TA关注的人