- 博客(12)
- 收藏
- 关注
原创 踩坑 python使用redis做缓存 redis 做临时缓存、数据库
title: 踩坑 redis 做临时缓存、数据库使用tags: ['redis','缓存','python']date: 2021-12-15categories: "磨刀不误砍柴工"环境window10redis前言使用到redis的原因,一是之前做的业务逻辑有需要对用户操作连续几个操作的逻辑判断和做一个时间上的有效性,二十做一下热数据的临时缓存。redis的使用体验是很舒服,简单而又高效。一点简介安装就不说了.
2021-12-15 17:53:40
3603
原创 爬虫日记-一键下载****张壁纸-基础版 彼岸 桌面壁纸 附源码 可执行
这次来写一个基础版的获取网络上公开免费壁纸的爬虫,采集的网站为 彼岸桌面 .
2021-12-11 17:22:41
1183
原创 谷歌 浏览器调试 开发者工具 使用记录 爬虫开发向
写web网站的爬虫时,总是需要和浏览器打交道,经常就是进去先**F12**打开开发者工具再说,今天写一下浏览器开发者工具常用到的一些功能。本次操作以**chrome**浏览器(94.0.4606.81)为例。各浏览器大同小异(基本一致)。
2021-12-09 16:22:45
789
原创 爬虫日记-采集 快代理 免费 代理ip 并 清洗 ip 附源码gitee,可运行
title: 爬虫日记-采集 快代理 免费 代理ip 并 清洗 iptags: ['requests','python','lxml','代理ip','proxy']date: 2021-12-08categories: "磨刀不误砍柴工"环境window10python3使用到的库requests 网络请求lxml 网页源码解析源码地址[TOC]摘要写爬虫被.
2021-12-08 16:08:59
3305
1
原创 爬虫日记-使用request lxml openpyxl re 采集豆瓣新书速递 附源码,可运行。
title: 爬虫日记-豆瓣新书速递tags: ['requests','python','lxml','openpyxl']date: 2021-06-20categories: "爬虫日记"环境window10python3使用到的库re 字符串匹配openpyxl 表格操作requests 网络请求lxml 网页源码解析步骤写爬虫之前首先要知.
2021-12-07 09:14:10
1258
原创 python 使用 openpyxl 模块控制 excel 常用操作
title: python 使用 openpyxl 模块控制 excel 常用操作tags: ['openpyxl','python','excel']date: 2021-05-10categories: "搬砖"使用的库openpyxlimport openpyxl作用的对象文件后缀名为 .xlsxexcel几个操作单元工作簿 workbook表单 wooksheet行.
2021-12-03 09:55:10
566
原创 restful规范
title: restful规范tags: ['restful','规范','api','后端']date: 2021-03-21categories: "搬砖"域名应该尽量将API部署在专属域名下。https://api.example.com如果确定api很简单,不会有进一步拓展,可以考虑放在主域名下。https://www.example.org/api/版本(Version) 应该将API的版.
2021-12-03 09:54:52
114
原创 scrapy框架访问链接时,post请求的几种姿势
title: scrapy框架访问链接时,post请求的几种姿势tags: ['scrapy','python','post','request']date: 2021-06-25categories: "搬砖"在使用scrapy进行爬虫编写的时候,经常会遇到一些post请求,根据不同的header往往会有不同的参数提交方式,采坑记录。Query String Parameters这种是相对简单的,参数可以.
2021-12-03 09:54:19
1097
1
原创 scrapy踩坑记录
title: scrapy踩坑记录tags: ['scrapy','python','post','request']date: 2021-03-11categories: "搬砖"安装了python3.8但是没有pip 在ubuntu上从Python 3.4版和2.7.9版开始,总是可以使用ensurepip模块来引导启动pip,具体如下: C:\Users\Administrator>python .
2021-12-03 09:53:50
1340
原创 CV 用的好,天天下班早(想得美) 爬虫编写中常用的cv代码
title: 爬虫编写中常用的cv代码tags: ['scrapy','python','time','request']date: 2021-06-20categories: "搬砖"CV 用的好,天天下班早(想得美)时间格式# 时间有几天前,的那种论坛贴吧pubtime_string = response.xpath("//div[@class='time']/span/@t.
2021-12-03 09:53:00
1209
空空如也
微信小程序切换navbar时onLoad不生效
2023-06-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人