【Scrapy】Scrapy的items.py用法

之前写了pipelines.py的一些用法:【Scrapy】Scrapy的pipelines管道使用方法,主要是用来处理获取数据后做的操作。 而这次介绍的items.py,它的作用主要是用来处理获取的的数据,做数据清洗用的,具体也很难一时讲清,先看代码。 1.首先我们通过ItemLoader ...

2019-05-16 14:16:35

阅读数 3

评论数 0

【python】for循环获取index

需要获取index: list = ['a','b','c'] for index ,v in enumerate(list): print(index) print(v) 不需要获取index: for v in list: print(v)

2019-05-16 12:04:46

阅读数 3

评论数 0

HTML标签的maxlength无效的原因

定义和用法 maxlength 属性规定输入字段的最大长度,以字符个数计。 maxlength 属性与 <input type="text"> 或 <input type="password"> 配...

2019-05-06 14:52:16

阅读数 7

评论数 0

【Scrapy】Scrapy的pipelines管道使用方法

在讲解pipelines之前,我先举个例子,这样好了解爬取数据的具体过程: 发送请求 获取到数据(从网站上爬取了数据) 数据清洗(处理数据) 存储(把数据存储起来) 而现在,我介绍一下pipelines,它可以负责的就是第3和第4步的工作,专业述语就是管道。我们通过定义一个或多个class...

2019-04-29 15:35:27

阅读数 28

评论数 0

Uncaught TypeError: Cannot assign to read only property 'exports' of object '

1、问题描述 项目之前正常的路由配置是这样的: 2、路由配置说明 第一种做法: 每个页面模块目录通过一个 index.js 主入口来导出(module.exports)对应的vue文件,然后 router.js 中通过 require 方法去引入资源。 这一做法是没毛病的,因为这...

2019-04-19 10:09:54

阅读数 27

评论数 0

【vue】报错:mapState is not defined

场景: vue-cli项目引入了vuex,在vue component模块中调用以下代码报错。 export default { computed:{ ...mapState({ isLogin: state => state.isLogin, userNam...

2019-04-16 17:09:04

阅读数 90

评论数 0

优化浏览器标签loading效果时间过长思路

首先要弄清楚浏览器loading效果是由什么引起的: document.readyState !=complete 一个文档的readyState可以是以下之一: loading /加载 document仍在加载。 interactive /互动 文档已经完成加载,文档已被解析,但...

2019-04-12 09:00:30

阅读数 23

评论数 0

【vue】vue 使用highlight.js的坑:highlight效果经常没有了

首先,我说下我为啥会遇到这个吭。。。。 项目如下:https://github.com/guosimin/data-management, 当然如果给我来个star,我会很开心的。 1.我用的是vue-cli 搭建的前端项目 2.我的内容来源是csdn中的博文,而博文里面用到的代码通过调用h...

2019-04-10 17:20:55

阅读数 51

评论数 0

selenium.common.exceptions.WebDriverException: Message: Service C:\Program F

原因 找不到driver的路径,需要将driver的路径加上 解决办法: 1. 下载: FireFox的驱动,gechodriver(蜥蜴驱动?!),找如下链接里面对应操作系统的: https://github.com/mozilla/geckodriver/releases IE...

2019-04-10 10:56:41

阅读数 95

评论数 0

【mongoDB】MongoClient find分页实现

代码如下(第3页,加载10条数据): dbo.collection("page"). find({}).skip(2).limit(10).toArray(function(err, result) { // 返回集合中所有数据 models = re...

2019-04-08 17:03:07

阅读数 31

评论数 0

【mongoDB】MongoClient find全部数据并返回指定字段

数据库中的写法是: db.page.find({},{"title":1,"link":1,'create_time':1}) 在代码中的写法是: 详细文档如下:http://mongodb.github.io/node-mongodb-nati...

2019-04-08 16:55:05

阅读数 82

评论数 0

【Scrapy】使用Scrapy框架遇到的坑

碍于我英文实在是烂,然后我学习新技术我一般优先找中文文档,而在网上的Scrapy框架的中文档好像都已经有点历史了,各种运行不上,然后好不容易找到相对较新的:http://www.scrapyd.cn/doc/ 下面则是我按着文档上教程遇到的坑: 1.执行的是文件中的方法,方法的name为min...

2019-04-03 15:57:59

阅读数 20

评论数 0

【Scrapy】Scrapy框架安装错误

问题描述: win7, python3.6.3 ,64位 在windows下,在dos中运行pip install Scrapy报错 解决方案: 1.打开https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 2.然后下载twain‑1...

2019-04-02 18:08:05

阅读数 20

评论数 0

win定制执行python脚本(记录csdn博客阅读量和评论量变化)

技术栈: ui框架:element-ui框架 前端框架:vue-cli 后端框架:koa 前、后语言:javascript 爬虫语言:python 爬虫代码(定时执行) https://github.com/guosimin/python-spider/tree/master/c...

2019-04-02 15:13:55

阅读数 12

评论数 0

改变窗口大小,使用charts.js多次绘制的图表,会恢复成第一次绘制的样子

原因: 窗口大小改变会触发canvas的重绘(至于为啥是恢复成第一次,这个暂时没深入了解) 解决办法: 1.网上的做法是remove掉canvas元素,然后重新添加 2.使用charts.js中的方法xxx.destroy()去卸载(本人亲测) function _renderCh...

2019-03-29 18:37:11

阅读数 8

评论数 0

【koa】解决koa-router获取请求参数的问题

前端代码: $.ajax({ url:'http://localhost:7777/charts/query', type: 'POST', contentType: 'application/json', data: JSON.stringify({"cccc":...

2019-03-29 15:18:40

阅读数 72

评论数 0

【vue】利用koa-cors实现vue-cli项目的跨域请求后端

错误提示: Access to XMLHttpRequest at 'http://localhost:7777/charts/query' from origin 'http://localhost:8081' has been blocked by CORS policy: Response...

2019-03-27 18:51:45

阅读数 231

评论数 0

消除vue文件在webstrom中报错

(1)打开 Settings => File Types 找到 HTML 添加 *.vue

2019-03-22 18:05:15

阅读数 41

评论数 0

editorConfig配置

一、常用属性配置 1、root<boolean> 是否是顶级配置文件,设置为true的时候才会停止搜索.editorconfig文件 2、charset<"latin" | "utf-8" ...

2019-03-22 15:36:10

阅读数 69

评论数 0

【vue】搭建vue-cli脚手架(超详细攻略并附上具体操作截图)

在使用vue-cli之前,请确认你的电脑已经安装了 node,建议版本在 8.0.0 以上 1.安装 webpack-cli (这里我们确认已安装过node) a.检查之前是否安装过:下面这个样子的肯定是没成功的,成功的话会出现对应的版本号 b.反正我先用使用npm install we...

2019-03-22 14:40:42

阅读数 30

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭