抉择命运-CSDN博客

原创 Ubuntu18.04环境下pyenv安装python3.8.8失败提示缺少bzip2，ncurses，libffi，OpenSSL库，解决方案

虽然提示成功安装了： pip-20.2.3 setuptools-49.2.1，但是前面编译安装python的时候出现了警告。查看错误日志文件：/tmp/python-build.20230410085928.21090.log。找到错误堆栈：ModuleNotFoundError: No module named 'zlib'安装完成pyenv后开始安装python3.8.8。依赖库安装完成后再次进行python安装。成功完成python3.8.8安装。根据报错信息安装对应的库。

2023-04-10 17:21:40 1155

原创 flask 写爬虫出现内存不停增大的问题

背景使用flask写爬虫代码，使用flask-sqlachmery管理数据库问题描述刚开始运行代码发现内存一直在增长，以为是内存溢出，不停的审查代码，然而并没有什么变量没回收的地方，加了各种debug，甚至使用gc强行回收都不行，于是开始一行一行的debug调试，观察内存状况，发现在每次session commit的时候都会出现内存大幅度增长，看来问题就出现在了db session这儿...

2019-12-23 17:27:05 2323

原创 mysql 数据库新增字段，报错问题Lock wait timeout execeeded；try restarting transaction

1、背景使用flask 框架进行web开发，需要实时查询数据库，更新任务状态使用手动的方式更新数据库表字段2、问题分析报错原因分析：Lock wait timeout execeeded；try restarting transaction，等待其他事务完成而超时。因为其他事务一致占着锁，而更新数据库表字段不需要用到索引（使用索引会产生行锁），因此会产生表锁，如果一直获取不到锁...

2019-12-20 14:55:19 717

原创 centos7部署k8s

# 配置域名hostnamectl set-hostname master# 配置dnscat <<EOF >>/etc/hosts10.211.55.11 master10.211.55.12 node1EOF#关闭防火墙systemctl stop firewalldsystemctl disable firewalld#关闭seli...

2019-07-01 18:07:22 153

原创封装了一个关于python操作fastDFS的类，方便调用

代码如下：# /usr/bin/env python# -*- coding:utf-8 -*-'''create by yujinpeng'''from fdfs_client.client import *import timeimport logginglogger = logging.getLogger(__name__)client_file = 'client.

2017-06-23 10:08:52 1622

原创 python BeautifulSoup 抓取python中文开发者社区中的所有高级教程

话不多说直接上代码：#coding=utf-8from bs4 import BeautifulSoupimport urllib2url = 'http://www.pythontab.com/html/pythonhexinbiancheng/index.html'url_list = [url]for i in range(2,19): url_list.append

2016-11-30 16:36:58 1245