灵动的艺术的博客

新开始,新旅程

大数据预测CSDN2018博客之星评选结果

大数据预测CSDN2018博客之星评选结果 闲话不多说,我们直接用数据说话。(因为绝大多数同学都只是关心一下结果,后面再给大家演示数据是怎么得到的) 按照CSDN的要求: 自荐方式如下:在评论中放上您的CSDN博客地址、并进行简要说明。 候选人自荐截止时间为2018年12月11日。 则目前为止...

2018-12-11 12:27:12

阅读数 8770

评论数 34

深度学习Python协程

深度学习Python协程基本定义可迭代对象迭代器生成器yield协程基本案例协程状态使用协程连续计算平均值协程返回值yield fromyield from与同步非阻塞 基本定义 可迭代对象 可迭代对象(Iterable):可以直接作用于for循环的对象统称为可迭代对象。可以使用isinstanc...

2018-12-24 19:49:06

阅读数 332

评论数 2

精通RabbitMQ之死信队列与延迟任务调度

精通RabbitMQ之死信队列与延迟任务调度死信队列死信队列实现延迟任务application.ymlAMQPConfig.java消息发送到设置过期事件的队列消费死信队列中的延迟之后的消息 死信队列 在某些情况下,例如当一个消息无法被成功路由时,消息或许会被返回给生产者并被丢弃;或者如果我们为消...

2018-12-23 12:54:34

阅读数 270

评论数 0

精通RabbitMQ之RPC同步调用

精通RabbitMQ之RPC同步调用 前面我们对应用解耦做过分析,我们能够使用消息中间件来完成应用解耦,很大一部分原因是因为我们的系统之间可以异步处理并且不关心结果回执。假如我们现在需要异步处理的结果,我们还可以使用消息队列吗? 实际上Rabbitmq是支持Remote procedure cal...

2018-12-23 12:33:31

阅读数 247

评论数 0

精通RabbitMQ之Exchange和路由分发

精通RabbitMQ之Exchange和路由分发交换机默认交换机直连交换机广播交换机主题交换机头交换机 交换机 交换机的责任主要在于路由分发生产者的消息到队列中,一个Exchange可以binding多个Queue,一个Queue可以同多个Exchange进行binding。 默认交换机 前面我们...

2018-12-23 12:27:38

阅读数 198

评论数 0

精通RabbitMQ之消息确认回执和拒绝

精通RabbitMQ之消息确认回执和拒绝消费消息确认显式确认模式确认消息API拒绝消息API发送消息确认事务confirm 消费消息确认 从安全角度考虑,网络是不可靠的,消费者是有可能在处理消息的时候失败。而我们总是希望我们的消息不能因为处理失败而丢失,基于此原因,rabbitmq提供了一个消息确...

2018-12-23 12:16:38

阅读数 281

评论数 0

精通RabbitMQ之安装RabbitMQ

精通RabbitMQ之安装RabbitMQ安装说明选择版本Centos下安装Erlang安装RabbitMQ安装启动rabbitmq开启管理虚拟主机(vhost)与用户管理登录管理控制台 安装说明 前面我们说过,RabbitMQ的服务端是使用Erlang语言编写的,所以我们需要首先安装Erlang...

2018-12-23 12:05:10

阅读数 134

评论数 0

精通RabbitMQ之初识RabbitMQ

精通RabbitMQ之初识RabbitMQRabbitMQAMQP模型AMQP协议层角色相关的概念消息中间件相关的概念 RabbitMQ 我们知道AMQP(高级消息队列协议) 是一个用于在分布式系统中存储转发消息进行通信网络协议。而RabbitMQ是实现AMQP协议的消息中间件的一种(主要用于应用...

2018-12-23 11:10:20

阅读数 160

评论数 0

精通RabbitMQ之AMQP杂谈

精通RabbitMQ之AMQP杂谈何为AMQPAMQP能够做什么应用解耦(异步)异步处理同步调用顺序调度通知分发高并发缓冲并发限流延时任务调度失败重试 何为AMQP AMQP,即Advanced Message Queuing Protocol(高级消息队列协议),它的定义使得符合要求的客户端应用...

2018-12-23 10:44:06

阅读数 160

评论数 0

C语言回炉之预处理器

C语言回炉之预处理器C 预处理器includedefine用#define实现求最大值和最小值的宏宏参数的连接用宏得到一个字的高位或低位的字节用宏定义得到一个数组所含元素的个数ifdef 和 ifndefiferrorextern "C"ifndef A_H ...

2018-12-19 14:46:24

阅读数 161

评论数 0

C语言回炉之字符串和格式化输入输出

C语言回炉之字符串和格式化输入输出char[] 和 null字符串 和 字符defineconst明示常量printf转换说明符printf转换修饰符printf转换标记scanf的转换说明符scanf的转换修饰符printf 和scanf的*修饰符printf() 的*修饰符scanf()里边的...

2018-12-18 18:02:39

阅读数 148

评论数 0

C语言回炉之 基本数据类型

C语言回炉之 基本数据类型数据类型关键字修饰整数类型printf数据类型占位符_Bool类型可移植类型stdint.h 和 inttypes.h浮点数floatdoublelong double复数和虚数类型案例demo 数据类型关键字 数据类型关键字 标准 说明 char K&a...

2018-12-18 15:31:44

阅读数 181

评论数 0

ElasticSearch学习笔记之三十三 IK分词器扩展字典及text全文类型数据分词聚合查询

ElasticSearch学习笔记之三十三 IK分词器扩展字典及text全文类型数据分词聚合查询专属词汇分词失败扩展字典查看当前词库自定义词典更新配置再次查看分词text全文类型数据分词聚合新建索引插入数据聚合查询 专属词汇分词失败 前面我们已经知道了IK分词器已经可以很好的为中文的text全文类...

2018-12-07 14:02:19

阅读数 225

评论数 0

Scrapy Selenium实战:Selenium登录知乎保存cookies后访问需要登录页面

Scrapy Selenium实战:Selenium登录知乎保存cookies后访问需要登录页面安装chromedriver新建爬虫zhihu.py获取浏览器真实的User-Agent执行验证 selenium 是一套完整的web应用程序测试系统,包含了测试的录制(selenium IDE),编写...

2018-12-07 11:13:39

阅读数 598

评论数 0

Scrapy爬虫实战:使用代理访问

Scapy爬虫实战:使用代理访问Middleware 中间件设置代理middlewares.pysettings.pyspider配置meta使用proxy快代理 前面我们简单的设置了headers就可以骗过ip138.com,但是绝大多数比较复杂的网站就不是那么好骗的了,这个时候我们需要更高级的...

2018-12-06 14:32:18

阅读数 347

评论数 0

scrapy爬虫实战:伪装headers构造假IP骗过ip138.com

scrapy爬虫实战:伪装headers构造假IP骗过ip138.comscrapy 伪造useragent 我们在爬虫的过程中,经常遇到IP被封的情况,那么有没有伪装IP的方案呢,对于一些简单的网站我们只要伪造一下headers就可以了。 我们一般来说想知道自己的IP,只需要访问一下 http:...

2018-12-06 13:14:36

阅读数 470

评论数 0

scrapy实战:伪造headers的多种实现

scrapy实战:伪造headers的多种实现新建爬虫ip138.py默认headers默认User-Agentsettins.py默认HEADERSsettins.pycustom_settingsheaders=headersMiddleware中间件设置middlewares.pysetti...

2018-12-06 13:03:52

阅读数 545

评论数 0

scrapy实战:scrapy-splash抓取动态数据

scrapy实战:scrapy-splash抓取动态数据docker安装拉取scrapinghub/splash镜像启动Splash安装 scrapy-splash新建taobao spider项目settings.py运行测试 我们知道,为了加速页面的加载速度,页面的很多部分都是用JS生成的,而...

2018-12-05 18:20:57

阅读数 289

评论数 0

Scrapy爬虫实战:百度搜索找到自己

Scrapy爬虫实战:百度搜索找到自己背景分析怎么才算找到了自己怎么才能拿到百度搜索标题怎么爬取更多页面baidu_search.py声明BaiDuSearchItemItemsitems.pyItem Pipelinepipelines.py配置Pipelinesettings.py运行测试 这...

2018-12-05 17:51:53

阅读数 421

评论数 0

Scrapy爬虫:XPath语法

Scrapy爬虫:XPath语法路径表达式路径案例谓语(Predicates)谓语实例选取未知节点实例选取若干路径实例Xpath轴功能函数注意事项:提取内容 XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。 路径表...

2018-12-05 15:07:51

阅读数 310

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭