- 博客(12)
- 收藏
- 关注
RSS订阅原创 python爬虫测试
44 我们抓取网页数据的步骤是什么（比如，源码没有数据怎么查看，如果还是没有有哪些可能性，怎么处理呢）57 说说代理IP池实现 的思路，分成哪几个部分，每个部分主要负责实现什么功能，整个架构如何运行的。38 如果一个函数没有形参，但是调用它的时候有确实传递了很多参数，那么如何接受这些参数并使用？32 说说this相关的用法，在不同的情况下this代表了什么意思？55 什么是ob混淆，如何能够判断一段代码是否进行过ob混淆，它有什么具体特征？23 说说构造函数，原型对象 实例对象都是什么意思？
2024-05-15 19:38:09
1672
2
原创 JavaScript笔记：属性相关方法
JavaScript 提供了一个内部数据结构，用来描述对象的属性，控制它的行为，比如该属性是否可写、可遍历等等。每个属性都有自己对应的属性描述对象，保存该属性的一些元信息。它的第一个参数是目标对象，第二个参数是一个字符串，对应目标对象的某个属性名。方法返回一个数组，成员是参数对象自身的全部属性的属性名，不管该属性是否可遍历。也是一个对象，所有实例对象都会继承它，它自身的属性都是不可遍历的。的属性描述对象，但它只能用于对象自身的属性，不能用于继承的属性。只返回对象自身的可遍历属性的全部属性名。
2024-05-11 13:05:39
194
2
原创 JavaScript笔记：原型对象
描述信息是一个包含属性的各种元数据的对象，例如属性是否可枚举、是否可写、默认值以及 getter 和 setter 函数等。描述信息对象包含了属性的值、是否可写、是否可枚举、是否可配置以及 getter 和 setter 函数的引用。这个方法对于深入了解对象属性的具体行为和特征非常有用，尤其是在调试或者需要精确控制对象属性时。方法如何用于修改对象的原型链，以及如何通过改变原型来控制对象继承的属性和方法。的值，这将触发 setter 函数，并将修改后的值打印出来。在这个例子中，我们首先创建了一个对象。
2024-05-11 13:05:10
220
2
原创 笔记：object对象
Object.prototype.hasOwnProperty()`：判断某个属性是否为当前对象自身的属性，还是继承自原型对象的属性。Object.prototype.toLocaleString()`：返回当前对象对应的本地字符串形式。Object.prototype.isPrototypeOf()`：判断当前对象是否为另一个对象的原型。Object.prototype.toString()`：返回当前对象对应的字符串形式。Object.prototype.valueOf()`：返回当前对象对应的值。
2024-04-27 18:10:51
215
原创 笔记：javascript 原型，原型对象，构造函数，实例对象相关
Person.prototype就是原型对象，如果给他加一个属性myname,那么所有通过Person实例化出来的对象 都可以调用myname 这个属性，做到属性在实例化对象间共享，但是如果哪个实例化对象被赋值了自己 的myname属性，那么再调用就用它自己的了，这就像子类和父类，这里实例化对象有就用自己的属 性，没有就用原型对象的属性，实例对象如果要修改原型对象的属性，可以这样。对这个实例化对象而言，访问对象的属性，是首先在对象本身去找，如果没有，就会去他的原型对象中 找，一直找到原型链的终点；
2024-04-27 18:10:15
118
原创 笔记：var let const
const 声明方式，除了具有 let 的上述特点外，其还具备一个特点，即 const 定义的变量，一旦定义后，就不能修改，即 const 声明的为常量。所以准确的说，是 const 声明创建一个值的只读引用。使用var声明的变量，这个变量属于当前的函数作用域，如果变量的声明在任何函数外，那么这个变量就属于全局作用域。如果在声明变量时，省略 var 的话，该变量就会变成全局变量，如全局作用域中存在该变量，就会更新其值。1.此时的var声明的变量i属于函数作用域，声明又不在函数里，所以i属于全局变量。
2024-04-27 18:10:07
111
原创 笔记：布隆过滤器
同时，Bloom Filter的实现需要借助于一个位数组，既然当前架构还是依赖于Redis，那么位数组的维护直接使用Redis就好了。, xn映射到长度为m的位数组上，散列函数得到的结果记作位置索引，然后将位数组该位置索引的位置1。DUPEFILTER_CLASS是去重类，如果要使用Bloom Filter，则DUPEFILTER_CLASS需要修改为该包的去重类。BLOOMFILTER_HASH_NUMBER是Bloom Filter使用的散列函数的个数，默认为6，可以根据去重量级自行修改。
2024-04-27 18:09:25
118
原创 笔记：Scrapy框架-scrapy去重+部署
目的：可认为是充当调度器，任务存在redis中(多台电脑可以同时调用)，实现任务共享调用原理：多个电脑连接redis，redis中的任务只能被一个电脑接取另外功能：可以做任务去重(防止任务重复抓取[增量爬虫])Scarpy有自动去重功能，使用了python集合，集合记录了request的指纹(request散列)将request内容(Method,URL等)进行加密计算得到request散列。
2024-04-27 18:08:49
277
2
原创 笔记：Scrapy框架二-items+pipelines
管道文件 pipelines.py 主要用来对抓取的数据进行处理：一般一个类即为一个管道，比如创建存入MySQL、MangoDB 的管道类。管道文件中 process_item() 方法即为处理所抓数据的具体方法。setting.py:解封不然报错。
2024-04-27 18:08:27
140
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人