- 博客(23)
- 收藏
- 关注
RSS订阅原创 golang 获取当前线程的id
gospider 是一个golang 爬虫神器，拥有python到golang爬虫过渡的所有必需库。用于python爬虫从业者快速且无坑的过渡到golang。
2023-04-09 20:16:45
1472
原创 golang 使用线程池进行高并发爬虫
gospider 是一个golang 爬虫神器，拥有python到golang爬虫过渡的所有必需库。用于python爬虫从业者快速且无坑的过渡到golang。
2023-04-02 19:58:45
763
原创 微软new bing chatgpt 逆向爬虫实战
gospider 是一个golang 爬虫神器，它内置了多种反爬虫模块,是golang 爬虫必备的工具包。
2023-03-12 08:37:11
8702
4
原创 微软-文字转语音.语音合成--逆向爬虫实战
gospider 是一个golang 爬虫神器，它内置了多种爬虫模块,是golang 爬虫必备的工具包。
2023-03-05 21:56:56
1612
2
原创 golang 爬虫之 gospider (requests--基础篇)
gospider 是一个golang 爬虫神器，它内置了多种反爬虫模块,是golang 爬虫必备的工具包。
2023-02-07 18:01:37
1247
1
原创 golang 爬虫之 gospider (requests--代理篇)
gospider 是一个golang 爬虫神器，它内置了多种反爬虫模块,是golang 爬虫必备的工具包net/http 对ja3进行伪装时无法使用官方代理模式net/http 使用http2.Transport时无法使用官方代理模式官方代理模式先连接代理，再从连接池中获取连接，而自实现代理是先获取连接后连接代理，这样可以最大程度的服用代理连接，避免代理的频繁连接，从而提高爬虫速度自实现代理完全契合context,而官方代理模式在连接代理时无法完全和context的生命周期保持一致。
2023-02-07 17:58:44
1017
原创 golang 爬虫之 gospider (requests--ja3篇)
gospider 是一个golang 爬虫神器，它内置了多种反爬虫模块,是golang 爬虫必备的工具包python目前只能改Ciphers里面的算法套件，来生成非默认的ja3指纹，然后可以骗过检测不是太高的反爬机制。
2023-02-07 17:36:53
1206
原创 redis 搭建分布式爬虫基础
1.安装redis打开：https://github.com/microsoftarchive/redis/releases下载 redis 文件, 然后在 c 盘创建 redis 文件夹,将其解压至 redis 文件夹内如图：然后更改配置文件 redis.windows.conf # Redis configuration file exam...
2019-06-04 11:18:45
379
1
原创 Python +tensorflow+pygame 破解任意字体反爬
什么是字体反爬？每个字符在都可以用 unicode 编码表示 而字体文件可以理解为Unicode 和 字体形状的映射 ，所以在计算机中字符可以变成我们人类所能理解的形状，所以字体反爬的关键就是字体文件，因为它决定了将Unicode字符渲染成什么形状（字）1.解析反爬效果这里我们拿猫眼为例：第二图可见，猫眼将数字进行了反爬，&#x 表示16进制 ，e309 表示...
2019-05-16 13:32:40
1810
1
原创 python中getter和setter
ex:import mathclass circle: def __init__(self,r): self.r=r @property#getter属性要用@property修饰 def area(self): return self.r**2*math.pi @area.setter#setter属性要用@方法名.setter修饰 de...
2018-04-26 15:07:07
652
原创 python 实例方法，静态方法，类方法的区别
ex:class a: m=1 #类变量 def __init__(self,x): self.x=x #实例变量 def b(self):#实例方法，在这个方法内可以使用类变量和实例变量 pass @classmethod#类方法，在这个方法内只能使用类变量 def c(cls): pass @staticmetho...
2018-04-26 14:57:08
185
原创 python 重载迭代器
以返回构建range函数基本功能为例ex:class a: def __init__(self,x,y): self.x=x self.y=y def __next__(self): if self.x>=self.y: raise StopIteration m=self.x self...
2018-04-26 14:49:08
487
原创 python lambda
lambda:匿名函数，可以随时创建和销毁lambda 参数1 参数2：表达式ex:lambda x,y:x+y #x,y为参数是要传参的数，x+y的结果是要返回的值ex:a=lambda x,y:x+y a(1,2)==>3
2018-04-25 18:23:02
191
原创 python 闭包
闭包:当一个函数有内嵌函数，且函数的返回值为内嵌函数，且内嵌函数引用了函数的变量ex:def a(x): def b(y):#内嵌函数b return x**y #这里引用了函数变量x return b #返回内嵌函数装饰器就是用到了闭包...
2018-04-25 18:03:57
172
原创 python装饰器
装饰器：在不改变原函数的整体结构的情况下对其功能做出修改现在我们把一个能使数字开平方的函数变成开立方的函数作为例子ex:def b(func): def c(y):#这个函数的参数y,为a(3)中的3，也就是说函数c,与函数a,的传参是一致的 return func(y)*y #现在返回值为27，也就是说函数c,与函数a,的返回值是一致的return c #函数b的返回值一...
2018-04-25 17:55:05
168
原创 python evec和eval
exec():将字符串当作一个程序运行ex:s="a=1+2"exec(s)==>a=3eval():将字符串当作一个表达式运行ex:s="1+2"eval(s)==>3表达式是一个式子，它不能赋值eval()与exec()最大的不同在于eval()字符串内部不可作赋值操作，而exec()可以eval(expression[, globals[, locals]])exec(expre...
2018-04-25 17:27:35
735
原创 python 实现单例
单例即单个实例，就是一个类创建实例对象时无论他创建了多少个实例这些实例同样的正常情况先一个类创建n个实例对象就有n个不同的实例单例的作用：节省内存空间，若每次都用类创建不同的实例就会造成空间的极大浪费这里介绍最简单的实现单例的方法：使用__new__方法__new__方法的作用在于创建一个实例，发生作用在__init__之前，__init__的作用时构造一实例，这里只介绍__new__的使用ex:...
2018-04-25 16:49:49
187
原创 python 迭代器
迭代器：iter()iter()的作用就是使一些容器如：set,list,dic,等变为可迭代对象ex:a=[1,2,3,4,5,6,6,7,8]iter(a)就会使a变为可迭代对象可迭代对象的作用：可以使用next()对可迭代对象取值ex:a=[1,2]b=iter(a)next(b)==>1#返回1next(b)==>2#第二次调用返回2next(b)==>a里面只有2个值当...
2018-04-25 15:27:14
186
原创 python中for 循环的原理
ex：a=[1,2,3,4]#随意自定义一个列表用以举例for x in a:#简单的for 循环 pass#省略分析for循环:这里的for 循环其内部主要有以下几步构成: 1:for 语句其内部会先使用迭代器iter() 如:iter(a),使a变为一个可迭代对象 2:for 语句再使用next()函数从可迭代对象中取值一次取一个值，每次取一个值后循环一次 3:当next...
2018-04-25 15:07:21
1278
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人