- 博客(22)
- 收藏
- 关注
RSS订阅原创 pyppeteer和requests简单应用
使用普通的requests方法，补充headers获取数据，但是发现最后获取的数据都是假的，今天正好在学习pyppeteer库就尝试了一下。
2024-04-15 12:33:58
640
原创 崩溃了news.163.com（求解）
今天在测试学习的BeautifulSoup的时候，找到了news.163.com网易云新闻网，发现它的内容是加载在html里的，再尝试使用bs4获取下面这部分内容的时候。
2024-04-13 14:52:57
372
原创 爬取豆瓣（线程、Session）优化版本
该文章只是为了精进基础，对Session、threading、网站请求解析的理解。此版本没有爬取详情页。还在学习阶段的读者可以尝试一下。适用于基础刚开始学习爬虫的！
2024-04-10 16:55:56
628
原创 MongoDB的简单使用
MongoDB中的记录是一个文档，它是一个由字段和值对（field:value）组成的数据结构。字段的数据类型是字符型，其值除了使用基本的一些类型外，还可以包括其他文档、普通数组和文档数组。MongoDB最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，同时还支持对数据建立索引。
2024-04-06 17:05:31
694
原创 redis的简单操作
下载可视化软件：https://gitee.com/qishibo/AnotherRedisDesktopManager/releases。安装包下载地址：https://github.com/tporadowski/redis/releases。从左开始插入，后面插入的会把前面插入的挤到后面，最右边的是第一个。示例：hmget stu_info name age gender。示例：hget stu_info name。示例：hdel stu_info name。示例：hgetall stu_info。
2024-04-05 17:05:28
956
原创 生成器、迭代器、可迭代对象
函数体中包含yield关键字的就是生成器把生成 器传给next()函数时，生成器函数会向前，执行函数定义体中的 下一个 yield 语句，返回产出的值，并在函数定义体的当前位置暂停。等到再次遇到next才会继续执行。
2024-04-04 20:21:28
594
原创 Docker 的基本概念和优势，以及在应用程序开发中的实际应用。
Docker 是一个开源的容器化平台，可以帮助用户将应用程序与其依赖的软件打包在一起，形成一个独立、可移植的容器。总之，Docker 可以帮助开发人员提高应用程序开发和部署的效率，实现应用程序的快速交付和可移植性。
2024-03-27 17:51:29
156
原创 Splash使用以及爬虫资料
在安装splash之前需要有docker，非专业使用docker可以下载图形界面的，操作简单。Windows 11安装需要登录docker账号。
2024-03-26 08:40:48
1084
原创 redis.exceptions.DataError: ZADD allows either ‘nx‘ or ‘xx‘, not both
在第二版中4.6节，Redis缓存存储第八节有序集合操作。
2024-03-23 08:41:07
150
原创 流畅的 Python 个人笔记
从这个角度来看，生成器这种Python语言结构可以使用两种方式编写：含有yield关键字的函数，或者生成器表达式。生成器对象实现了这两个方法，因此从这方面来看，所有生成器都是迭代器。子类化内置对象是：自定义类继承Python内置类型（dict，list， str）利用Python的动态语言特定，在不修改源代码的基础上添加功能。函数确定，该函数会返回下述字符串中的一个。使用pirnt打印一个类对象，调用的是。在yield表达式处暂停。生成器与迭代器的语义对比。函数创建的对象是迭代器。
2024-03-17 19:05:53
345
转载 什么情况下需要使用global关键字
一般在函数体外定义的变量成为全局变量，在函数内部定义的变量称为局部变量。全局变量所有作用域都可用，局部变量只能在本函数可用，变量的使用顺序是，局部变量 > 全局变量, 也就是说：优先使用局部变量那么问题来了， 如果想在函数内使用全局变量，或改变全局变量的值， 应该怎么做呢？
2024-03-15 08:33:04
20
原创 Parsel的使用
简单应用教程具体明细用法参考（官方手册：https://parsel.readthedocs.io/en/latest/）选择器底层使用的就是，学习有助于后续学习选择器。
2024-03-13 10:43:13
493
XPATH 使用手册个人总结版本
2024-03-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人