- 博客(5)
- 收藏
- 关注
RSS订阅原创 Redis数据类型
操作 场景 string 字符串 设置键值 set key value 设置 过期时间 setex key seconds value 设置多个键值 mset key value key value 获取多个键 mget key 做简单的键值对缓存 list 列表 左侧插入数据，lpush key value 右侧插入数据 rpush key value ...
2021-12-16 21:44:15
354
转载 RedisRedis缓存穿透、击穿和雪崩的理解
1.缓存穿透1.大量无效的数据去请求Redis，查询不到去请求数据库，大量数据请求没有命中，给数据库带来太大压力，一般这种情况都是恶意用户2.解决方案布隆过滤器布隆过滤器是一种数据结构，对所有可能查询的参数以hash形式存储，在控制层先进行校验，不符合则丢弃，从而避免了对底层存储系统的查询压力；缓存空对象当存储层查不到，即使是空值，我们也将其存储起来并且在Redis中设置一个过期时间，之后再访问这个数据将会从Redis中访问，保护了持久层的数据库。③存在的问题：1）如果空值能够
2021-12-16 21:16:45
122
原创 Python爬虫selenium
selenium定位标签并提取数据driver对象常用的属性和方法 driver.page_source当前标签页浏览器渲染之后的网页源代码 driver.current_url当前标签页的url driver.close()关闭当前标签页，如果只有一个标签页则关闭整个浏览器 driver.quit()关闭浏览器 driver.forward()页面前进 ...
2021-12-07 18:21:06
221
原创 Python爬虫--数据提取
目录数据提取概述响应内容分类常用解析方法数据提取-jsonjson.loads（）json.dumps()json.load()json.dump()数据提取-jsonpath数据提取-xpath数据提取-lxml数据提取概述响应内容分类结构化数据json数据，xml数据非结构化数据html常用解析方法结构化数据 jsonjson模块，jsonpath，rexml模块，xpath，re非结构化数据htmlre，x
2021-12-07 16:57:03
974
原创 Python爬虫常用库requests
Request模块使用目录Request模块使用发送带header，参数的请求，代理IP，处理cookieimport requesturl = “http://www.baidu.com”response = request.get(url)#获取响应URLprint(response.url)#获取响应状态码print(response.status_code)#获取请求头以及响应头信息,返回字典print（response.request.header
2021-12-07 15:10:51
205
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人