- 博客(8)
- 收藏
- 关注
RSS订阅原创 scrapy知网爬虫项目-2（项目创建）
新建一个目录文件开启命令行进入该文件夹下输入命令：scrapy startproject mySpider创建的项目目录如下：zhiwang/ scrapy.cfg zhiwang/ __init__.py items.py pipelines.py settings.py spiders/ ...
2019-05-27 17:11:30
518
转载 scrapy知网爬虫项目-1（scrapy了解及环境搭建）
Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。Downloader(下载器): 负责下载Scrapy Engine(引擎)发送的所有Requests请求...
2019-05-27 14:29:05
650
原创 scrapy获取目标cookie
python2.7代码实现：爬虫主文件：# -*- coding: utf-8 -*-import sysfrom scrapy.http import Request#python语言转码，非必要reload(sys)sys.setdefaultencoding("utf-8")import scrapy#定义爬虫类，必须继承scrapy.Spiderclass Dmo...
2019-05-26 20:15:52
2020
原创 关于linux远程断开，后台进程关闭问题
linux远程连接设置 后台运行任务 关闭连接后 便会被kill 如下：后台运行任务： # nohup node 路径 > 日志文件 2>&1 & 查看后台任务： # jobs 这时候直接关闭远程连接 再次开启 查看后台任务 发现没有东西了： # jobs 这样断开远程连接就自动ki...
2018-08-14 10:40:39
4460
3
原创 setTimeout定时器的异步及let循环中的同步异步问题 个人理解笔记
新手个人理解 如有误解 敬请各位前辈评论指出 谢谢例1： for循环setTimeout定时器：for(var i = 1 ; i <= 5; i++){ (function(){ setTimeout(function timer(){ console.log(i); },1000*i); })();}上述代码预期分别输出 1 2 3 4 5 但是实际输出 6 6 ...
2018-07-05 23:10:46
2367
2
原创 JavaScript let声明变量 个人笔记
let允许你声明一个作用域被限制在块级中的变量、语句或者表达式。在一个作用域里，只允许你声明一次不允许再次声明。例1 ：(function fun1(){ let a = 3 ; console.log( a ); //输出3})(); (function fun2(){ var a = 3 ; var a = 6 ; console.log( a ); //输出6})();(functi...
2018-07-04 16:27:54
252
原创 javascript严格模式 未声明变量问题笔记
“严格模式”是在ES5中引入的。它痛正常模式，或者说宽松、懒惰模式相比，严格模式在行为上有很多不同。其中一个不同的兴伟是严格模式禁止自动或隐式地创建变量。而正常模式在发现未声明的变量时则会自动声明但不赋值。例（正常模式与严格模式比较）：function foo(a){ b = a; console.log(a + b); }foo(2);输出：4function foo(a){ "use stri...
2018-07-04 10:22:36
2115
原创 java后端本地打包文件 上传linux云服务器 启动服务
本地打包先install：mvn clean install -DskipTests 或 mvn clean install -Dmaven.test.skip=true再打包：mvn package -DskipTests 或 mvn package -Dmaven.test.skip=true上传至云服务器安装ftp传输工具 上传后端项目 xxx.jar 至服务器 /home/jars ...
2018-05-01 23:54:20
628
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人