摇就完事了-CSDN博客

原创 SQL必知必会笔记

MySQL数据类型DECIMAL(N,M)，N代表总长度，M代表小数部分长度创建外键 alter table orderitems（表） add constraint fk_orderitems_orders(外键的ID) foreign key (order_num) references orders(order_num); 在创建表时绑定外键 cust_id CHAR(

2018-01-08 01:25:24 388

原创 SCRAPY_part7_杂记

TIPSCookie 一般情况下在 Settings 里激活COOKIES_ENABLED = True能够调用浏览器的Cookie。如果需要特定的Cookie、可以像这样使用、还可以设置参数不与浏览器传回来的COOKIE融合def start_requests(self): yield Request(url='http://www.auchandrive.fr/d

2018-01-04 13:21:59 134

原创 SCRAPY_part5_Item Loaders

Item Loaders : 通过自动解析获得的原始数据在 scrapy 的执行过程中填充 Items。换句话说，Item 提供了一种存储 scrapy 爬取的数据的容器，而 Item Loaders 则提供了一种填充这种容器的机制每一个 Item 在 Item Loader中都有一个 input processor 和一个output processor。input processor 将通过

2017-12-25 17:19:41 202

原创 SCRAPY_part2_基础TIPS

创建一个新的Scrapy项目在想放代码的地方运行scrapy startproject project_name一些基本的属性和方法name：标识爬虫名字。它在项目中必须是唯一的，不能为不同的爬虫设置相同的名称。start_requests（）：必须返回一个迭代的 requests （可以返回一个列表或者写一个生成器函数），Spider将开始抓取这些 requests 。随后的 reques

2017-12-20 23:07:33 171

quote.css('span.text::text').extract_first() 通过CSSQ选择器选择要素Scrapy的一个主要优势：请求被异步调度和处理。这意味着Scrapy不需要等待一个请求被完成和处理，它可以发送另一个请求或者同时做其他事情。这也意味着即使某些请求失败或处理时发生错误，其他请求也可以继续。虽然这可以使您快速执行爬网（同时以容错方式发送多个并发请求），但Scrapy还

2017-12-20 00:43:26 204

原创后端_第十三课_FLASK

TIPSBlueprintjsonify flask中的jsonify（）函数返回已经具有合适的内容类型头“application / json”的flask.Response（）对象用于json响应，而json.dumps（）将返回一个编码的字符串，需要手动添加 JSON头部#json.dumps(data): [{"id": "4ea856fd6506ae0db42702dd", "ti

2017-12-18 11:30:49 144