- 博客(11)
- 资源 (1)
- 收藏
- 关注
原创 python测试
SELECT p.pname '球员姓名',t.tname '球队名称',p.sal '薪水',p.grade '薪水等级'44 我们抓取网页数据的步骤是什么(比如,源码没有数据怎么查看,如果还是没有有哪些可能性,怎么处理呢)57 说说代理IP池实现 的思路,分成哪几个部分,每个部分主要负责实现什么功能,整个架构如何运行的。38 如果一个函数没有形参,但是调用它的时候有确实传递了很多参数,那么如何接受这些参数并使用?32 说说this相关的用法,在不同的情况下this代表了什么意思?
2024-05-16 19:52:23
564
原创 JS相关知识点总结
在 JavaScript 中用于设置一个对象的原型(即内部的属性)。这个方法通常用于改变对象的继承链,或者将一个对象的原型设置为null来防止进一步的原型继承。在这个例子中,我们首先定义了两个构造函数Animal和Vehicle,并分别为它们的原型添加了方法speak和describe。然后,我们分别使用这两个构造函数创建了animal和car实例。接下来,我们使用方法将car实例的原型设置为animal实例。这意味着car现在继承了animal实例的所有属性和方法。我们通过调用来验证这一点,它输出了。
2024-05-10 20:33:30
1618
原创 数据采集笔记整理
使用gerapy之前要保证scrapyd 是可用的直接在cmd里输入scrapyd,挂着别关之后的步骤如下1.gerapy init 初始化,会在文件夹下创建一个gerapy文件夹2.cd gerapy4.gerapy runserver 默认是127.0.0.1:80005.gerapy createsuperuser 创建账号密码,默认情况下都是没有的了解当爬取达到亿级别规模时,Scrapy-Redis提供的集合去重已经不能满足我们的要求。
2024-04-28 11:06:15
825
原创 scrapy框架笔记整理
Scrapy是一个基于Twisted的异步处理框架,是纯Python实现的爬虫框架,其架构清晰,模块之间的耦合程度低,可扩展性极强,可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫scrapy框架的架构图它可以分为如下的几个部分。Engine(引擎):用来处理整个系统的数据流处理、触发事务,是整个框架的核心。Item(项目):定义了爬取结果的数据结构,爬取的数据会被赋值成该对象。
2024-04-23 21:56:25
734
原创 scrapy框架————Downloadmiddleware下载中间键的用法
新建了一个 Scrapy 项目,名为 scrapydownloadertest。进入项目,新建一个 Spider,名为 httpbin:scrapy startproject scrapydownloadertestpass修改 start_urls 为:[‘httpbin.org’]。随后将 parse() 方法添加一行日志输出,将 response 变量的 text 属性输出,这样我们便可以看到 Scrapy 发送的 Request 信息了。运行后,显示发送的 Request 信息。
2024-04-19 17:45:40
803
原创 python爬虫学习笔记
检测模块的主要检测方法:分别将代理IP加上的前后去检测IP的网站判断IP是否加上,另外一种是判断加上的代理IP是不是请求的代理IP,如果成功的话,在百度上面测试一下看看这个状态码是不是200、300。:古早的方式是从各个免费的代理IP网站获取代理IP,就是在代理网站上面做爬虫,爬的内容就是各个代理IP,将爬下来的代理IP存入到redis数据库中,存储的方式是有序集合。2、自己定义的函数,函数内部定义了很多发请求的操作,用到await关键字,在调用这个函数的时候,你需要在函数前面加上await。
2024-04-17 18:11:26
1760
3
原创 Java基础摆烂假期学习day3——编程思维训练
前言: 经过一段时间大家对于Java基础知识的学习,想必大家对于Java有了一定的了解,那我们就开始对Java的一些综合项目的上手并开始训练我们对于项目的编程思维训练吧。
2022-08-06 15:46:19
169
1
原创 摆烂假期Java基础学习day2------Java中的方法详细解读
: 大家对这样的一句话一定不会太陌生的:Java万物皆可为对象这样的话,那么大家理解这句话到底为啥意思了?如果不太立解的话,就要听下面的内容了。
2022-08-05 20:51:29
136
原创 Java基础摆烂假期学习第一天(21days)
Java语言作为当今最流行得网络编程语言,以其开放、自由、创新得的设计思想,将面向对象、跨平台、安全性、健壮性、多线程和异常处理等特性集于一身,为开发者提供了一个良好的开发环境,收到了众多的编程人员的青睐。...
2022-08-01 17:24:06
122
原创 《Java语言程序设计——坦克大战单机游戏》源码以及实验报告
一、引言游戏本身是一种娱乐方式,带给人无尽的乐趣,而且游戏行业的发展前景也将会是是带动周边相关行业的发展。为了去满足不同的游戏爱好者的要求,对做游戏开发的人的要求也会越来越高。本次Java语言程序设计就是设计一种娱乐性较强的小游戏坦克大战,说到大战其实是不敢当的。...
2022-06-27 17:31:56
4007
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人