大潘的博客

原创 PyPDF2更新到3.0.0版本后需要更改的方法

PDF操作库 PyPdf2

原创 解决宝塔 tomcat启动异常 /www/server/tomcat/bin/jsvc:No such file or directory

提示缺少 jsvc 文件方法一： 直接使用编译好的文件下载： https://wwi.lanzouo.com/iao2Izbextc下载解压后 直接拖进 /www/server/tomcat/bin/目录下然后修改此文件的权限 chmod 777 jsvc再启动tomcat 成功

原创 pyppeteer 坑：page.on(‘response was never awaited Enable tracemalloc to get the object allocation trac

异常回顾：python版本：3.9pyppeteer版本：0.2.6pyee版本：8.2.2实现响应拦截的功能async def intercept_response(response): # resourceType = response.request.resourceType # print(resourceType) if 'get-list' in response.url: print(response.url) # print(

原创 sql 语句查询 mysql 版本号

通过sql 语句查询 mysql 版本号select version() from dual;

原创 error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools“:解决方案

我的是 win10系统下载官方的这个 Microsoft Build Tools 2015安装好直接安装pip就好了

原创 爬虫中遇到POST请求中表单数据出现重复参数时的处理方式

如下图 form data中出现的参数 disclosureSubtype[] needFields[] ，出现了至少两次那么爬虫中模拟请求时如何使用呢：一下两种方式均已测试可用（使用的python测试）格式一data = [ ('disclosureSubtype[]', '9503-1004'), ('disclosureSubtype[]', '9504-2106'), ('page', '0'), ('companyCd', ''), ('isNewThree',.

原创 apscheduler 遇到的问题

报错信息：D:\AMyData\Codes\Python\MyBlog\blog_services\venv\lib\site-packages\apscheduler\util.py:95: PytzUsageWarning: The zone attribute is specific to pytz's interface; please migrate to a new time zone provider. For more details on how to do so, see https:

原创 SQLAlchemy建表 更新时间随时间戳自动更新

update_time = db.Column(db.TIMESTAMP, nullable=False, server_default=text('CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP')) # 记录的更新时间如果想要根据当前时间戳更新生效 需要有这个属性server_default=text('CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP')...

原创 MySQL设置自动更新时间戳，仅insert时更新 update时不更新

创建一行数据时自动生成时间戳，后续更新该行数据时时间戳不变将字段设置成timestamp类型，同时默认值设置成 CURRENT_TIMESTAMP`create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',

原创 python 字典 get() 参数问题

字典经常用 但是还是第一次遇到这个问题，看来时第一次用这个参数字典对象去get其中不存在的key 时 默认返回None 是default 参数的默认值 如下：dict().get('recordTimes', default=None)当我遇到不存在key 时不返回None 时咋办，第一感觉就是改 default对应的值但是 这个地方有个坑dict().get('recordTimes', default='我想要的值')这是会报错Traceback (most recent cal

原创 python .py文件编译 .pyd

待编译源文件： math_code.pydef fact(n): if n==0 or n==1: return 1 else: return n*fact(n-1)def fibo(n): if n==0 or n==1: return 1 else: return fibo(n-1)+fibo(n-2)def dicho(f, a, b, eps): assert f(a)*f(b) &lt

原创 使用pycharm 将代码转换大小写

写代码时一般都将常量名写成大写便于区分但是由于本人英语垃圾 只认识英文小写 所以命名时很难直接写出大写的常量由于懒就脑中浮现能不能使用工具将小写字母转换成大写，于是就查到了以下方法：一、选中要转换的字母二、点击pycharm的编辑菜单然后就得到了如下结果...

原创 chromium 查看缓存文件保存路径

网址输入框输入 chrome://version/ 回车得到如下图可以看出除了缓存存储路径还有其他相关信息chrome 同上

原创 chrome / chromium 常用命令 -- 持续收集欢迎留言补充交流

网址输入框输入以下命令命令及功能chrome://version/ 查看浏览器基本信息

原创 利用openpyxl 将excel xlsx文件中数据转为python 字典格式数据

废话少说 直接上代码python 3.7.9import openpyxlxlsxPath = './test.xlsx'# 第一步打开工作簿wb = openpyxl.load_workbook(xlsxPath)# 第二步选取表单sheet = wb.active# 按行获取数据转换成列表rows_data = list(sheet.rows)# 获取表单的表头信息(第一行)，也就是列表的第一个元素titles = [title.value for title in rows_

原创 centos 批量杀死进程命令

ps aux | grep xxx | grep -v grep | awk '{print $2}' | xargs kill -9我只测试了 centos 7 可以用命令中的xxx代表你要删选的进程名

原创 celery 异常 strategy = strategies[type_] KeyError: ‘celery_task.tasks1.filter_befor_save‘

使用的环境python： 3.7.9celery ： 5.0.5异常信息：具体的报错原因暂时没找到，不过经历了半天的时间在网上找到了很多种方法，但是只有这一种有效当然是否是适合其他版本，我这里没有测试，你可以试试，我这只是自己的一个记录解决方法：在创建celery对象时 添加参数 include 参数celery对象创建 在 init.py 文件中from celery import Celeryfrom app import app # 配合flask一起使用的话

原创 xpath获取不包含某一子标签的a标签

获取子标签没有 img 标签的a标签xpath('//li//a[not(img)]')

原创 python 爬虫 自动识别相应编码

res = s.get(urlTemp, headers=headers, timeout=5)res.encoding = res.apparent_encoding# html_ = etree.HTML(res.content.decode('gbk'))print(res.text)

原创 python 汉字转拼音 获取首字母

方式一、通过第三方库import pinyinprint(pinyin.get('汉字'))# 获取首字母,可将中文字符串转为中文列表 然后获取每一个汉字的拼音字符串取第一个然后拼接即可print(pinyin.get('汉'))[0]方式二、通过编码对比def single_get_first(unicode1): str1 = unicode1.encode('gbk') try: ord(str1) return str1.

原创 sqlalchmy 插入数据时自动更新时间

方式一、代码中生成时间后自动插入到数据库class Task(BaseModel): __tablename__ = 'task_spiders' # 表名 nullable # 定义各字段 task_num = db.Column(db.Integer, autoincrement=True, primary_key=True, nullable=False, comment='任务ID/序号 自增 任务唯一标识') task_name = db.Column(db.S

原创 mysql删除数据表中 指定范围内的行数据

delete from cmf_guangnian_2 where exists (select * from (select g_id from cmf_guangnian_2 limit 10001,19292) as a where a.g_id=cmf_guangnian_2.g_id);

原创 CentOS 8 安装配置MySQL

这位老哥写的很详细 对比他的步骤配置成功https://www.freesion.com/article/5071424015/

原创 Maven 安装配置

一、下载解压安装包官网下载地址进入下载页面后 选择要下载的版本 windows 选择二进制安装包点击下载下载后二、配置环境变量点击 我的电脑–>右键选择属性–>高级设置–>环境变量，最后一路确定就行点击新建 环境变量 创建名为 MAVEN_HOME 的系统环境变量因为maven依赖java 所以检查自己是否配置好了jdk 的环境变量编辑稀系统环境变量 添加 %MAVEN_HOME%\bin三、测试是否安装成功打开cmd，输入命令`mvn -v`

原创 Tomcat 安装配置

安装Tomcat的前提是已经安装配置好了JDK，然后 点击下载 tomcat我的电脑是64位 然后下载对应的解压下载下来的压缩包也可直接解压到你要安装的路径下解压后的tomcat目录结构各目录功能介绍bin：目录存放一些启动运行Tomcat的可执行程序和相关内容。　　　　 　　　　conf：存放关于Tomcat服务器的全局配置。　　　　lib：目录存放Tomcat运行或者站点运行所需的jar包，所有在此Tomcat上的站点共享这些jar包。　　　　logs： 存放日志文件

原创 js 下载 excel 文件乱码解决

方式一原生js blob方式downloadPlanData(planListIndex){ let url_post = '/planFile'; let params_post = { planId: planListIndex, }; // 利用a标签自定义下载文件名 const link = document.createElement('a') axios.post(url_post, params_post, {responseType: 'arraybuffer'}).t

原创 js GMT时间转换为格式化字符串

GMTToStr(time){ // 将 GMT格式的时间字符串 格式化为正常时间字符串 let date = new Date(time) let Str=date.getFullYear() + '/' + (this.handleTimeStr(date.getMonth() + 1)) + '/' + this.handleTimeStr(date.getDate()) + ' ' + this.handleTimeStr(date.getHours())

原创 ElementUi日期时间选择标签 ＜el-date-picker中 选不中12:00以后的时间

项目中用到辽 选择时间点的功能 使用了elementui中的 <el-date-picker 但是死活选不中后半天的时间点如下图箭头所指的地方找了很久原因是因为 el-date-picker标签中使用的 属性 value-format 没有正确使用的问题<div class="block"> <el-date-picker v-model="plan.runTime" class="date_picker" type="da.

原创 Element UI 去除 日期时间选择器里的此刻按钮

有个定时执行任务的功能 在时间选择上逻辑上有个问题,如果定时在此刻 那么就和即时运行一样,就失去了定时的意义了 ,所以这里需要去除选择此刻时间点的功能作为vue菜狗 网上找了很久没有直接禁止此功能的办法 于是就只能出此下策 直接 css样式将此按钮隐藏掉解决办法1. 给 el-date-picker 标签定义一个 class属性2. 在vue 项目的全局css属性中修改上边标签的display属性.el-picker-panel__footer .el-...

原创 pyppeteer 异常 RuntimeError: There is no current event loop in thread ‘Thread-3‘.

创建子线程 调用pyppeteer时 报错RuntimeError: There is no current event loop in thread 'Thread-3'.pyppeteer启动代码loop = asyncio.get_event_loop()loop.run_until_complete(main(name, password, keyword, isGetDefaultSKU)) # 将协程加入到事件循环looploop.close()解决办法...

原创 pyppeteer 异常 ValueError: signal only works in main thread

在flask 中创建子线程 调用 pyppeteer程序时 报错ValueError: signal only works in main thread直译过来解决办法创建浏览器对象时 添加三个字段'handleSIGINT':False,'handleSIGTERM': False,'handleSIGHUP': False,这里有别人的回答https://stackoverflow.com/questions/53679905/running-pypupete...

原创 pymysql 异常 pymysql.err.InternalError: (1046, ‘No database selected‘)

在使用pymysql执行sql语句时出现异常 异常如下图其实报错信息已经指明 没有指定数据库 但是我还是没能理解其实在使用 pymysql 链接数据库操作表的的时候 需要在连接的时候 就指定数据库的当然 如果你是链接数库 执行建库 的操作 那你链接的时候知名数据库是不行的...

原创 Flask-SQLAlchemy创建模型时怎么给字段添加注释

原创 flask 报错 sqlalchemy.exc.ArgumentError: Mapper mapped class BaseModel-＞base_model could not assemble

报错信息:sqlalchemy.exc.ArgumentError: Mapper mapped class BaseModel->base_model could not assemble any primary key columns for mapped table 'base_model'很基础的一个问题 定义模型类时 抽取出来了一个基类 但是没有标记 所以flask在 数据迁移的时候 误以为 这个基类也是一个数据表对应的模型类 进行解析出错解决办法在定义基类时 加入...

原创 pycharm、webstorm 命令行 Smart commands execution Highlighted commands can be interpreted and executed

解决办法https://intellij-support.jetbrains.com/hc/en-us/community/posts/360008464899-What-s-the-smart-commands-execution1. 在pycharm 界面中 双击 Shift按键 输入 registry2. 把下图中对那个选项的勾去掉3. 然后 close就行了...

原创 Pycharm 打开项目运行后 状态按钮灰色

今天重装了下Pycharm 然后用新的pycharm打开项目运行时就有很多小问题其中一个就如标题所说具体原因不是很清楚 也没有精力去探寻 直接说解决办法吧解决办法其实大致原因 就是 .idea 文件夹内还保留者之前的pycharm配置信息直接关掉项目 然后删除 .idea文件夹 然后重新打开项目就好如图 启动后 状态按钮恢复如初...

原创 爬虫返回数据 16进制编码问题

昨天分析爬虫接口时 发现返回数据 json转化时出错 经过检查发现问题是 json字符串中有 \x3E、\x2F这种编码字符串，开始解决思路就是把16进制转化为普通字符串结果不行原因编码问题 本来这些返回数据是需要前端js 去解析的\x 开头的16进制数据 是js的表示方法0x 开头 才是python 16进制的表示方法所以返回的数据不处理 直接用python 去解析会出现异常解决办法在 处理之前 先对返回的数据 进行编码格式处理res = response.content.de.

转载 mysql字段 varchar的长度分配 对性能的影响

使用varchar(5)和varchar(200)存储‘hello’的空间开销是一样的，那么使用更短的列有什么优势吗？事实证明有很大的优势。更长的列会消耗更多的内存，因为MySQL通常会分配固定大小的内存块来保存内部值。尤其是在使用内存临时表进行排序或操作时会特别糟糕。在利用磁盘临时表进行排序时也同样糟糕。所以最好的策略是只分配真正需要的空间。...

原创 python 压缩文件 zip

def FilesToZip(fps, zip_fp, delete=False): ''' 多文件打包成zip :param fps: [r'C:\1.txt', r'C:\2.txt', r'C:\3.txt'] 文件全路径的list :param zip_fp: r'C:\files.zip' :param delete: True 删除原文件 :return: ''' if len(fps)==0: raise Exception

原创 pyppeteer.errors.NetworkError: Protocol error (Runtime.releaseObject): Cannot find context with spec

这个问题 网上记录似乎初期的少 还是面向谷歌才找到蛛丝马迹 还是国内的一个大佬的文章 真是是忍不住吐槽百度 国内的文章百度死活搜不到 人家国外的搜索引擎 都能看到你家内裤颜色了好了言归正传 多亏这位大佬的提示https://blog.csdn.net/qq_33850304/article/details/103042138虽然按照他的办法 我这边行不通 但是他提到原因可能是 因为pyppeteer的操作都是并发的，导致前一个请求页面还没加载完，就要回退，这就导致了报错：pyp...