- 博客(195)
- 收藏
- 关注
RSS订阅转载 Scrapy之twisted模块
scrapy框架(内部去下载内容就是使用twisted异步非租塞模块) 1.依赖twisted 内部基于事件循环的机制实现爬虫的并发 非租塞：不等待 发起连接请求，不等待连接再去连接下一个，发送一个之后马上发送下一个 异步：回调 体现就是通知 只要发送成功回来就自动通知 事件循环：...
2019-08-31 21:38:00
393
转载 Scrapy之start_urls、爬虫中间件之深度，优先级以及源码流程
start_urls内部原理 步骤1 scrapy引擎来爬虫中取起始的url:2 1.调用start_requests并获取返回值3 2.v = iter(返回值)4 3.5 req1 = 执行v.__next__()6 req2 = 执行v.__next__()7 req3 =...
2019-08-31 21:36:00
799
转载 Scrapy之下载中间件中的代理中间件HttpProxyMiddleware
简单的使用内置的代理中间件 1 # -*- coding: utf-8 -*- 2 import scrapy 3 from wyb.items import WybItem 4 from scrapy.dupefilters import RFPDupeFilter 5 from scrapy.http.response.html import HtmlResp...
2019-08-31 21:36:00
723
转载 Java中类的加载顺序介绍(ClassLoader)
https://blog.csdn.net/weixin_37766296/article/details/80545283转载于:https://www.cnblogs.com/linliquan/p/11438552.html
2019-08-31 12:14:00
71
转载 django的下载与使用
下载安装命令行pip3 install django==1.11.23 -i https://pypi.tuna.tsinghua.edu.cn/simplepycharmfile -- > settings --> Project Interpreter --> + --> 选择响应的版本下载创建项目...
2019-08-31 11:19:00
691
转载 Scrapy之dupefilters(去重)以及源码分析/depth
避免重复访问 scrapy默认使用 scrapy.dupefilter.RFPDupeFilter 进行去重，相关配置有： 1 DUPEFILTER_CLASS = 'scrapy.dupefilter.RFPDupeFilter'2 DUPEFILTER_DEBUG = False3 JOBDIR = "保存记录的日志路径，如：/root/" # 最终路径为 /...
2019-08-30 21:22:00
138
转载 初识Scrapy
Scrapy常规命令与文件目录解读 1 Scrapy 2 # 创建project 3 scrapy startproject wyb 4 wyb 5 wyb/ 6 spiders # 爬虫文件 7 chouti.py 8 ...
2019-08-30 21:21:00
81
转载 Scrapy之持久化pipelines/items
基于上篇博文存在的问题 https://www.cnblogs.com/Alexephor/p/11432195.html -无法完成爬虫刚开始 打开连接 爬虫关闭时：关闭连接 -分工不明确本篇博文解决以上两问题 上篇博文不足之处主要体现在爬虫部分parse中在爬数据的过程操作了实时打开关闭文件处理，而且爬虫逻辑分工不明确 处理方式：1...
2019-08-30 21:21:00
72
转载 sql
优化是我们程序员过不去的槛，我们在还没有精通看源码知道其数据结构和设计原则前所谓的优化都是在网上看的优化建议；不巧本人也是这个阶段，在网上看了很多的建议和技巧容易混淆所以我写这文章梳理下，等以后真正精通了可能会写一些自己的感悟。可以从哪几个方面进行数据库的优化？答：A、 SQL及索引优化根据需求写出良好的SQL，并创建有效的索引，实现某一种需求可以多种写法，这时候我...
2019-08-30 13:45:00
91
转载 java按位运算符(&、|、~、^) 移位操作符(>> >> )
https://blog.csdn.net/mxiaoyem/article/details/78569782转载于:https://www.cnblogs.com/linliquan/p/11433853.html
2019-08-30 11:04:00
46
转载 << 和>> 的计算公式
在java中,一个数左移n位,就是将这个数乘以2的n次方,右移就是将这个数除以2的n次方。如：8>>2 = 2 (8/2^2)15 << 3 = 120 (15*(2^3))-2&3 = 2（负号也参与补码的运行）转载于:https://www.cnblogs.com/linliquan/p/11433698.html...
2019-08-30 10:46:00
265
转载 gc
Gc调优1我们为什么要了解gc和内存分配？需要排查各种内存溢出、内存泄漏问题，当垃圾收集成为系统达到更高并发量的瓶颈时。2对象的状态？：2..1堆中几乎存放了java所有对象，要想让垃圾回收器回收需要判断是死是活。2.1.1引用计数法：给对象添加一个计数器，有引用+1 引用失效-1计数器为0的对象不可能再被使用。它有着区域性，实时性高。但是浪费cpu资源最大缺陷是...
2019-08-29 21:10:00
95
转载 requests库解析
库的概述 Requests 是使用 Apache2 Licensed 许可证的 基于Python开发的HTTP 库，其在Python内置模块的基础上进行了高度的封装，从而使得Pythoner进行网络请求时，变得美好了许多，使用Requests可以轻而易举的完成浏览器可有的任何操作。方法requests.get(url, params=None, **kwargs)r...
2019-08-29 20:52:00
226
转载 死锁面试题（什么是死锁，产生死锁的原因及必要条件）
https://blog.csdn.net/hd12370/article/details/82814348转载于:https://www.cnblogs.com/linliquan/p/11430940.html
2019-08-29 17:25:00
94
转载 jvm
Jdk： java程序设计语言和java虚拟机、java api类库组成Jre：java api类库中的javase api 子集和java虚拟机组成运行时数据区域Java源文件(*.java)，通过java编译器(javac)编译生成一个ByteCode字节码文件(*.class)，字节码由java自己设计的一个计算机(即java虚拟机，JVM)解释执行...
2019-08-29 15:34:00
96
转载 WEB框架初识
HTTP介绍Hyper Text Transfer Protocol，超文本传输书协议，是万维网数据通信的基础，规定了请求和响应标准。HTTP工作原理HTTP 请求以及响应的步骤客户端连接到Web服务器。一个HTTP客户端，通常是浏览器，与Web服务器的HTTP端口（默认为80）建立一个TCP套接字连接；发送HTTP请求。通过TCP套接字，客户端向We...
2019-08-28 20:58:00
100
转载 第四章 Go语言开发应用
一、接口 定义 接口定义了一个对象的行为规范，制定以规范并不实现，具体的对象需要实现规范的细节//接口定义type 接口名 interface { //定义一个接口 Talk() Eat() int //返回int型 Run()} 接口的实现 一个对象只要包含接口中的方法，那么就是实现了这个接口，...
2019-08-27 22:05:00
84
转载 Elasticsearch之索引模板
解决的问题 当索引类型和配置信息都一样，就可以使用索引模板来处理，不然我们就会手动创建索引。创建索引模板PUT _template/2019{ "index_patterns": ["20*", "product1*"], "settings":{ "number_of_shards": 2, "number_of_rep...
2019-08-27 20:16:00
104
转载 Elasticsearch之别名
别名解决的问题 在运行的集群中可以从一个索引切换到另一个索引 可以给多个索引进行分组 可以与路由搭配使用别名的相关操作准备数据阶段PUT l1/doc/1{ "title":"我想要睡你"}PUT l2/doc/1{ "title":"你却拿我当兄弟"}PUT l3/doc/1{ "title":"不...
2019-08-27 20:15:00
84
转载 Eclipse中安装JRebel热部署教程
Eclipse中安装JRebel热部署教程前言 Eclipse安装JRebel插件可快速实现热部署，节省了大量重启时间，提高开发效率。本文只介绍Eclipse安装JRebel插件版本的方法。若要查看Maven插件版，可参考Eclipse中使用JRebel实现项目热部署（Maven插件版）一、首先要下载JRebel的压缩包https://download.csdn....
2019-08-27 09:26:00
202
转载 Elasticsearch之路由（routing）
路由 主要解决的是文档应该存储在哪个分片中 实际过程是根据公式计算出进行分配 1 # 路由哈希值 % 主分片的数量2 shard = hash(routing) % number_of_primary_shards3 # 路由默认值是文档的_id自定义路由1 PUT r1/doc/1?routing=user12 {3 "titl...
2019-08-26 23:12:00
149
转载 Elasticsearch之recovery
定义recovery是一个索引的分片分配到另外一个节点的过程，一般发生在快照恢复，索引复制分片的变更，节点故障或者重启节点时候发生。recovery的过程消耗额外的资源cpu 内存 节点点的网络带宽等等。减少集群full restart造成的数据来回拷贝 1.在集群启动的过程中，一旦有了多少启动成功再执行恢复的过程 master节点和data节点都算在其中1 gat...
2019-08-26 23:11:00
158
转载 jQuery事件操作
bind绑定事件 1 bind(type,data,fn) 2 【参数描述】 3 type (String) : 事件类型 4 data (Object) : (可选) 作为event.data属性值传递给事件对象的额外数据对象 5 fn ( Function) : 绑定到每个匹配元素的事件上面的处理函数 6 // bind 参数都是选传的,接收参数...
2019-08-26 22:37:00
67
转载 第三章 go语言函数
一、函数基础 定义：有输入、有输出、用来执行一个指定任务的代码块func 函数名(形参列表)(返回值列表){ 执行代码 return 返回值列表}//无参数和返回值func test(){ fmt.Println("helloWorld")}func main(){ test()}//函数的多返回值...
2019-08-26 21:53:00
56
转载 Elasticsearch之集群，本地搭建集群
概述 在Elasticsearch中，一个节点就是es对象，而一个集群（cluster）是由一个或者多个节点构成，它们具有相同的集群名字，相互协同工作，分享数据和负载的能力，如果有新的节点加入或者被删除掉，集群会自动感知到并且还能够平衡数据。 若构建高可用和扩展的系统，可扩展的方式：纵向扩展（买更好的机器），横向扩展（买更多的机器，推荐），这样如果单点挂掉其它的也可用，也就证...
2019-08-26 21:24:00
290
转载 Kibana之配置文件
Kibana服务相关1 server.host: "localhost"，kibana的主机地址。2 server.port: 5601，kibana的默认监听端口。3 server.basePath: ""，如果您在代理后面运行，则可以指定安装Kibana的路径。使用server.rewriteBasePath设置告诉Kibana是否应从其收到的请求中删除basePat...
2019-08-26 21:24:00
622
转载 ElasticSearch之核心配置文件
配置文件目录elasticsearch.keystore 密钥库elasticsearch.yml es相关的配置jvm.options Jave jvm相关配置log4j2.properties 日志相关的配置 log4j的日志框架role_mapping ...
2019-08-26 21:23:00
55
转载 再谈包访问权限 子类为何不能使用父类protected方法
https://blog.csdn.net/noteless/article/details/82599324转载于:https://www.cnblogs.com/linliquan/p/11414597.html
2019-08-26 20:06:00
58
转载 Elasticsearch之建议器suggester
建议器功能 对用户搜索的内容做纠正帮助用户搜索到精确度高的关键字 搜索关键字的时候做出补全的功能建议器种类 词条建议器（term suggester） 词组建议器（phrase suggester） 完成建议器 （completion suggester） 上下文建议器（context suggester）term suggester功能...
2019-08-25 20:06:00
282
转载 Elasticsearch的CURD、复杂查询、聚合函数、映射mappings
基本增删改查（CURD）操作中注意：1.当执行PUT命令时，如果数据不存在，则新增该条数据，如果数据存在则修改该条数据。 2.PUT命令，在做修改操作时，如果未指定其他的属性，则按照指定的属性进行修改操作。 3.POST命令，这里可用来执行修改操作（还有其他的功能），POST命令配合_update完成修改操作，指定修改的内容放到doc中。 1 PU...
2019-08-23 22:36:00
162
转载 Python操作Elasticsearch对象
操作几个方面结果过滤，对于返回结果做过滤，主要是优化返回内容。直接操作elasticsearch对象，处理一些简单的索引信息。一下几个方面都是建立在es对象的基础上。Indices，关于索引的细节操作，比如创建自定义的mappings。Cluster，关于集群的相关操作。Nodes，关于节点的相关操作。Cat API，换一种查询方式，一般的返回都是json类型...
2019-08-23 22:35:00
442
转载 Python连接Elasticsearch
安装依赖包1 pip3 install -i https://pypi.douban.com/simple elasticsearchPython连接elasticsearch 1 from elasticsearch import Elasticsearch 2 3 # es = Elasticsearch() 4 # es = Elasticse...
2019-08-23 22:35:00
546
转载 Elasticsearch的分析过程,内置字符过滤器、分析器、分词器、分词过滤器（真是变态多啊！美滋滋）...
分析过程当数据被发送到elasticsearch后并加入倒排序索引之前，elasticsearch会对文档进行处理： 字符过滤：使用字符过滤器转变字符。文本切分为分词：将文本（档）分为单个或多个分词。分词过滤：使用分词过滤器转变每个分词。分词索引：最终将分词存储在Lucene倒排索引中。整体流程：目的是达到人性化的分词内置字符过滤器...
2019-08-23 22:34:00
426
转载 jQuery动画效果
show显示动画方式一：无参数，表示让指定的元素直接显示出来，底层是通过display:block实现的，这就是说，要显示的元素一开始不能是隐藏的 $(选择器).show(); 方式二：通过控制元素的宽高、透明度、display属性，逐渐显示，例如：3秒后显示完毕。 $(选择器).show(speed); 方式三：和方式二类似，...
2019-08-23 21:08:00
59
转载 Java socket详解,看这一篇就够了
https://www.jianshu.com/p/cde27461c226转载于:https://www.cnblogs.com/linliquan/p/11400165.html
2019-08-23 15:12:00
317
转载 InputStream 、 InputStreamReader和BufferedReader
https://blog.csdn.net/hskw444273663/article/details/85706136转载于:https://www.cnblogs.com/linliquan/p/11400157.html
2019-08-23 15:11:00
56
转载 Windows 安装 verilator
windows bubun(cygwin)下载verilatortar xvzf verilator*.t*gzcd verilator*./configure报错./configure /...
2019-08-23 15:05:00
1863
转载 SpringIOC和AOP原理 设计模式
https://www.cnblogs.com/duwamish/p/10382574.html转载于:https://www.cnblogs.com/linliquan/p/11398433.html
2019-08-23 10:17:00
88
转载 JQuery II
jQuery事件的绑定 1 <body> 2 <button>点击1</button> 3 <button>点击2</button> 4 </body> 5 6 <script src="jquery.3.4.1.js"></script&...
2019-08-22 20:46:00
163
转载 npm上发布vue插件
1.初始化项目vue init webpack-simple XXXXX(此处为插件名)使用vue创建一个简单的项目，删除src中除了main.js和app.vue外的文件，清空app.vue中无用内容插件编写完成 可以本地app.vue先运行一下 是否效果正常 再调整2.更改配置文件在index.js内import headerNavbar fr...
2019-08-22 17:12:00
68
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人