Cameback_Tang-CSDN博客

本文一开始尝试了logging的三个基础的日志文件模块，最后因为实际使用需要，即日志文件按日期路径保存，按时间滚动切分。实现方式是重写了TimedRotatingFileHandler的doRollover方法的文件翻转块代码，以达到实现日志文件按日期保存到不同的文件夹路径，如/2022/08/11/的路径结构，并将日志文件重命名为具体时间，如235959.info.log，当然也区分保存了info和error两种日志。

2022-08-20 19:49:21 4319 1

原创 Python使用百度OCR接口进行验证码图像识别

使用来自百度的OCR识别接口，采取互联网的方式，而不是基于软件及其接口的方式。另外，它也是免费的，可直接调用，对简单验证码的直接识别率可达99%

2022-08-20 19:00:45 3194

原创 python减少pandas数据的内存占用

通过数据类型或只读入所需的数据列等方式减少数据内存的占用

2022-04-24 19:06:48 2330

原创 Python使用pytesseract进行验证码图像识别

借助OCR软件tesseract及其接口pytesseract来简单玩一下验证码图片识别。使用Image.open() 和 cv2.imread() 读入图片，并用pytesseract来进行英文数字验证码图片的识别测试，通过获取网站的验证码并进行模拟登录来进行验证测试，也简单地处理图片来进行识别，对比不同处理方式图片的识别效果。

2022-04-18 15:13:58 18445 1

原创使用Python及SMTP协议发送邮件（以163邮箱为例）

使用Python及SMTP协议发送邮件（以163邮箱为例）一是尝试封装成类，和支持with上下文管理器。二是构建了text和mutli两种类型的邮件。三是实现抄送和独立出附件添加。

2022-01-17 15:59:15 2956 1

原创整理数据为dataframe输出为excel表的三种常用方式

import numpy as npimport pandas as pd# 第一种方式: 列表append，创建dic，生成dftenant_name_list = []prod_name_list = []tenant_name_list.append('Tong')prod_name_list.append('Prod_Tong')dic = {'租户名': tenant_name_list, '产品名': prod_name_list,}pd.DataFrame(.

2021-10-26 10:52:38 4451

原创 python特定时间段运行程序

'''死循环程序在每天8:45~23:45期间，每隔1小时发送信息代码逻辑：=======死循环运行：判断当前时间 in 今天8:45~今天23:45 判断当前时间 after xx:45 程序休眠至下一个xx:45, 再运行send_msg() else：当前时间 before xx:45 .

2021-10-01 01:18:29 2724 1

原创开窗函数@sql学习

【参考链接】https://zhuanlan.zhihu.com/p/98655285mysql8.0+ 开窗函数开窗函数又称OLAP函数（Online Analytical Processing）1、开窗函数的语法结构：#Key word :Partiton by & order by<开窗函数>over([PARTITIONby<列清单>]Orderby<排序用列清单>...

2020-08-26 21:17:30 324

原创 CASE WHEN函数@sql学习

mysql中可以使用CASE WHEN函数完成数据分组。CASE WHEN函数用来对数据进行判断和分组来自MySQL触发器里的流程控制语句知识。CASE WHEN是SQL编程中常用的条件控制语句。CASE WHEN的功能：新数据项加工用途：根据现有字段，利用Case When语句进行逻辑判断，可加工得到新的字段。比如计算得到新字段“年龄层”、“资产等级”汇总信息加工用途：Case When 语句与汇总函数（如Sum函数）相结合，能够实现更加灵活的汇总信息加工功能。.

2020-08-26 21:02:51 3244

原创 mysql 数据库信息探索

mysql 数据库信息探索（1）查询数据库的表数量SELECT COUNT(*) TABLES, table_schema FROM information_schema.TABLESGROUP BY table_schema;（2）查询指定数据库(db_one)的表数量SELECT COUNT(*) TABLES, table_schema FROM information_schema.TABLESWHERE table_schema = 'db_one';（3）查询表

2020-08-26 20:37:55 411

原创招聘会岗位筛选爬虫——广州市高校毕业生就业指导中心（广州市高指中心）

为什么爬虫？由于没有筛选功能，导致获取相关想要的信息费时费力。目标网站：广州市高校毕业生就业指导中心的某个现场招聘会以“2019年全国人力资源市场高校毕业生就业服务周广州市人才招聘大会（华南理工大学专场）”为例URL为http://gzbys.job168.com:8080/companyOfTheMeetingListWeb.action?page=2&meet...

2019-11-14 18:15:59 1782

原创数据划分处理（基于python的pandas中的dataframe数据结构）

数据划分处理（基于python的pandas中的dataframe数据结构）我们常常需要从一个表格中，得到相关的子表格。正如问题：按国家，从原始资源表中得到金银铜的年储量变化。（如图所示）比较简单的做法可以是：多重循环但小编往往不会满足于这样的处理方式，相反更偏向于使用相关的已有的函数，对整个表格同时进行处理。分析上述实际问题，如果先按国家（魏、蜀、吴）划分为三...

2019-11-02 23:30:34 1546 1