Rei的博客

Later on, it was going to slow by slowly.

[爬虫架构]使用scrapy-redis+multiprocessing构建超级爬虫

前言:       这段时间研究了一下scrapy-redis组件,有些个人实践经历和想法,现将其变成文字呈现出来。        前方高能预警:                1、阅读本文章的知识内需为:熟练使用scrapy,了解scrapy的调度器、去重器工作原理;了解redis的基本操作  ...

2018-03-23 19:48:53

阅读数 771

评论数 0

[Python] 六种进程间通信方式的Python3.6实现

正文: 进程间通信方式有六种,如下 msg_queue (消息队列) pipeline for single duplex (单工管道) pipeline for half duplex (半双工管道) name pipeline (命名管道) share memory (共享...

2019-05-06 17:36:18

阅读数 20

评论数 1

[Python3] 如何装饰类中的类方法或静态方法

Talk is cheap Code is here: #普通装饰器(装饰函数和类) def deco111(func_or_cls): def wrap(*args, **kwargs): print(type(func_or_cls)) re...

2019-03-15 11:55:08

阅读数 31

评论数 0

[Python] 3.7中的dataclasses

简介: 这个dataclasses是当做装饰器来用,作用是在我们定义数据class对象时减少我们的代码量。 文章主要是用IDE写的,还请见谅。   正文: from dataclasses import dataclass #带上这个装饰器帽子,相当于它的init,repr,eq等...

2018-12-26 16:52:04

阅读数 85

评论数 0

[Golang] struct配合slice实现循环队列

循环队列 特征   使用的头尾索引永远都在底层数组长度下标范围内,如队列长度为10,那么底层数组长度为11,index范围[0,10] 解决的问题   用非循环...

2018-11-21 15:00:07

阅读数 228

评论数 1

[Golang] 谈Go中的继承

  继承,这个概念来自于OOP思想。 所谓继承,是指可以让某个类型的对象获得另一个类型的对象的属性的方法。它支持按级分类的概念。继承是指这样一种能力:它可以使用现有类的所有功能,并在无需重新编写原来的类的情况下对这些功能进行扩展。  继承的关键词:“获得”,“代码复用”。 先来看看典型的O...

2018-10-26 17:10:53

阅读数 1004

评论数 1

[Golang] 实现一个通用的排序方式(对任意数据类型构成的slice排序)

前言: Go 语言中排序主要使用的sort库,对于常见数据类型string, int ,float构成的Slice,可以使用sort库对应的sort.Strings() / sort.Ints() / sort.Float64s()直接排序,但是对于复杂类型struct构成的Slice,要对其排...

2018-10-22 17:54:41

阅读数 328

评论数 0

[Python3] RSA的加解密和签名/验签实现 -- 使用Crypto

前言 关于非对称加密算法我就不过多介绍了,本文着重于python3对RSA算法的实现。 正文 from Crypto.PublicKey import RSA import Crypto.Signature.PKCS1_v1_5 as sign_PKCS1_v1_5 #用于签名/验签 fr...

2018-10-12 15:30:17

阅读数 883

评论数 0

[生的感触] 故事摘录

  父亲和哥哥的墓地位于一座山上,俯瞰华盛顿湖,环境很幽雅。7月20日那天人们一定处处能感觉到父亲留下的斗志,也正是这种精神使我们35年后仍紧系在一起。我希望不管你在何处,你能在每年的7月20日哀思李小龙,因为不论是一篇文章,一张照片,或一部像《李小龙传奇》似的电视剧,一个人的一次挂念,都有助于...

2018-08-20 13:01:12

阅读数 97

评论数 1

[Golang] 关于Sync.Map的使用

简介: sync.Map这个数据结构是线程安全的(基本类型Map结构体在并发读写时会panic严重错误),它填补了Map线程不安全的缺陷,不过最好只在需要的情况下使用。它一般用于并发模型中对同一类map结构体的读写,或其他适用于sync.Map的情况。 关于sync.Map的源码解析文章:Go...

2018-08-03 16:41:32

阅读数 5691

评论数 0

[Scrapy使用技巧] 如何在scrapy中捕获并处理各种异常

前言    使用scrapy进行大型爬取任务的时候(爬取耗时以天为单位),无论主机网速多好,爬完之后总会发现scrapy日志中“item_scrapd_count”不等于预先的种子数量,总有一部分种子爬取失败,失败的类型可能有如下图两种(下图为scrapy爬取结束完成时的日志):scrapy中常见...

2018-06-15 16:29:50

阅读数 9494

评论数 6

[开源库学习] Numpy日记 Section.2

前言   最近入门Data anaysis,将numpy学习日记分享出来,也当做个记录。 【Numpy官网学习地址】:Click Here   备注:        我尽可能的将官网快速教程中的case都贴出来了,但越往下发现这个库是真的庞大,教程也是由浅及深,后面会涉及到向量、线性代数等高数概念...

2018-06-13 17:54:46

阅读数 86

评论数 0

[开源库学习] Numpy日记 Section.1

前言   最近入门Data anaysis,将numpy学习日记分享出来,也当做个记录。 【Numpy官网学习地址】:Click Here   备注:        我尽可能的将官网快速教程中的case都贴出来了,但越往下发现这个库是真的庞大,教程也是由浅及深,后面会涉及到向量、线性代数等高数概念...

2018-06-13 17:48:00

阅读数 99

评论数 0

[巩固基础]总结Python基础知识的14张思维导图

闲聊    有时候总感觉自己的代码太low,却又没有什么办法去改善,就很气!    不知道作为看官的你是否由此感受呢,不过最近我找到办法解决这个问题了,那就是巩固基础--系统的学习python初级、高级语法,一段时间后,我明显感觉到自己的代码变得更简洁、优美,coding的心情也变的舒畅~    ...

2018-06-06 14:42:26

阅读数 152

评论数 0

[Python小记] 装饰器怎么用 ?

装饰器的含义和作用:        装饰器本质上是一个Python函数,它可以让其他函数在不需要做任何代码变动的前提下增加额外功能,装饰器的返回值也是一个函数对象。    它经常用于有切面需求的场景,比如:插入日志、性能测试、事务处理、缓存、权限校验等场景。装饰器是解决这类问题的绝佳设计,有了装饰...

2018-05-27 17:10:44

阅读数 333

评论数 0

[Python小记] 通俗的理解闭包 闭包能帮我们做什么?

热身: 首先给出闭包函数的必要条件: 闭包函数必须返回一个函数对象 闭包函数返回的那个函数必须引用外部变量(一般不能是全局变量),而返回的那个函数内部不一定要return 几个典型的闭包例子: # ENV>>> Python 3.6 # ...

2018-05-27 00:20:41

阅读数 6752

评论数 13

[后端开发]支付宝支付接口调试 (Python v3.6)

写在前面:     讲真,一开始接到这个任务我是拒绝的。因为支付宝官方没有提供Python的SDK环境,只有JAVA/PHP/.NET三种语言的SDK,这意味着签名&验签、HTTP接口请求等操作全都要自己手动实现,就算支付宝提供了签名、验签的算法说明,但仅靠它的文字描述就...

2018-05-25 14:48:33

阅读数 4247

评论数 1

[爬虫小记] 优秀的requests模块

前言     除了当初学习爬虫的时候用过urllib、urllib2,后来再没用过了。都是使用的requests,本文将记录一直以来个人使用  requests的经验总结。 正文     import requests r = requests.get('http://www.ba...

2018-05-18 11:57:44

阅读数 185

评论数 0

[爬虫面试] 总结一些爬虫工程师遇到的面试题(真实)

前言:    说几句,坐标CQ,爬虫工程师的需求在这个二线城市真的是太少了。正文:        NO.1 :列表生成式和生成器的区别 ?        NO.2 :如何不用任何循环快速筛掉列表中的奇数元素 ?        NO.3 :map和reduce的用法 ?        这几个问题的答...

2018-05-04 13:00:19

阅读数 5790

评论数 2

[爬虫架构] 如何设计一个分布式爬虫架构

前言:    在大型爬虫项目中,使用分布式架构是提高爬取效率的唯一途径。设计一个合理的分布式架构对项目、对个人都有很大的好处,接下来说说分布式架构应该具有的特性:分布式。这是最基本也是最核心的特性,分布式将允许我们通过横向扩展主机资源来提高爬取效率。易扩展、易部署。当我们想要增加要爬取的网站时,只...

2018-05-01 23:05:34

阅读数 3005

评论数 12

提示
确定要删除当前文章?
取消 删除
关闭
关闭