- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 python测试
SELECT p.pname '球员姓名',t.tname '球队名称',p.sal '薪水',p.grade '薪水等级'44 我们抓取网页数据的步骤是什么（比如，源码没有数据怎么查看，如果还是没有有哪些可能性，怎么处理呢）57 说说代理IP池实现 的思路，分成哪几个部分，每个部分主要负责实现什么功能，整个架构如何运行的。38 如果一个函数没有形参，但是调用它的时候有确实传递了很多参数，那么如何接受这些参数并使用？32 说说this相关的用法，在不同的情况下this代表了什么意思？
2024-05-16 19:52:23
564
原创 JS相关知识点总结
在 JavaScript 中用于设置一个对象的原型（即内部的属性）。这个方法通常用于改变对象的继承链，或者将一个对象的原型设置为null来防止进一步的原型继承。在这个例子中，我们首先定义了两个构造函数Animal和Vehicle，并分别为它们的原型添加了方法speak和describe。然后，我们分别使用这两个构造函数创建了animal和car实例。接下来，我们使用方法将car实例的原型设置为animal实例。这意味着car现在继承了animal实例的所有属性和方法。我们通过调用来验证这一点，它输出了。
2024-05-10 20:33:30
1618
原创 数据采集笔记整理
使用gerapy之前要保证scrapyd 是可用的直接在cmd里输入scrapyd,挂着别关之后的步骤如下1.gerapy init 初始化,会在文件夹下创建一个gerapy文件夹2.cd gerapy4.gerapy runserver 默认是127.0.0.1:80005.gerapy createsuperuser 创建账号密码,默认情况下都是没有的了解当爬取达到亿级别规模时，Scrapy-Redis提供的集合去重已经不能满足我们的要求。
2024-04-28 11:06:15
825
原创 scrapy框架笔记整理
Scrapy是一个基于Twisted的异步处理框架，是纯Python实现的爬虫框架，其架构清晰，模块之间的耦合程度低，可扩展性极强，可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫scrapy框架的架构图它可以分为如下的几个部分。Engine（引擎）：用来处理整个系统的数据流处理、触发事务，是整个框架的核心。Item（项目）：定义了爬取结果的数据结构，爬取的数据会被赋值成该对象。
2024-04-23 21:56:25
734
原创 scrapy框架————Downloadmiddleware下载中间键的用法
新建了一个 Scrapy 项目，名为 scrapydownloadertest。进入项目，新建一个 Spider，名为 httpbin：scrapy startproject scrapydownloadertestpass修改 start_urls 为：[‘httpbin.org’]。随后将 parse() 方法添加一行日志输出，将 response 变量的 text 属性输出，这样我们便可以看到 Scrapy 发送的 Request 信息了。运行后，显示发送的 Request 信息。
2024-04-19 17:45:40
803
原创 python爬虫学习笔记
检测模块的主要检测方法：分别将代理IP加上的前后去检测IP的网站判断IP是否加上，另外一种是判断加上的代理IP是不是请求的代理IP，如果成功的话，在百度上面测试一下看看这个状态码是不是200、300。：古早的方式是从各个免费的代理IP网站获取代理IP，就是在代理网站上面做爬虫，爬的内容就是各个代理IP，将爬下来的代理IP存入到redis数据库中，存储的方式是有序集合。2、自己定义的函数，函数内部定义了很多发请求的操作，用到await关键字，在调用这个函数的时候，你需要在函数前面加上await。
2024-04-17 18:11:26
1760
3
原创 Java基础摆烂假期学习day3——编程思维训练
前言： 经过一段时间大家对于Java基础知识的学习，想必大家对于Java有了一定的了解，那我们就开始对Java的一些综合项目的上手并开始训练我们对于项目的编程思维训练吧。
2022-08-06 15:46:19
169
1
原创 摆烂假期Java基础学习day2------Java中的方法详细解读
： 大家对这样的一句话一定不会太陌生的：Java万物皆可为对象这样的话，那么大家理解这句话到底为啥意思了？如果不太立解的话，就要听下面的内容了。
2022-08-05 20:51:29
136
原创 Java基础摆烂假期学习第一天（21days）
Java语言作为当今最流行得网络编程语言，以其开放、自由、创新得的设计思想，将面向对象、跨平台、安全性、健壮性、多线程和异常处理等特性集于一身，为开发者提供了一个良好的开发环境，收到了众多的编程人员的青睐。...
2022-08-01 17:24:06
122
原创 《Java语言程序设计——坦克大战单机游戏》源码以及实验报告
一、引言游戏本身是一种娱乐方式，带给人无尽的乐趣，而且游戏行业的发展前景也将会是是带动周边相关行业的发展。为了去满足不同的游戏爱好者的要求，对做游戏开发的人的要求也会越来越高。本次Java语言程序设计就是设计一种娱乐性较强的小游戏坦克大战，说到大战其实是不敢当的。...
2022-06-27 17:31:56
4007
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人