苏寅的博客_CSDN博客-Python,Linux,Error领域博主

🙃一个令人愉快的社区驱动（拥有 2,000 多名贡献者）框架，用于管理您的 zsh 配置。包括 300 多个可选插件（rails、git、macOS、hub、docker、homebrew、node、php、python 等）、140 多个主题为您的早晨增添趣味，以及一个自动更新工具，以便轻松跟上来自社区的最新更新。

2022-10-11 22:18:15 614

原创 Feapder：将字符串格式的html文本转换成Response

在做Python爬虫项目的时候，有时候需要将字符串格式的html文本转换为feapder Response格式，然后再使用XPath、CSS、BeautifulSoup等解析出需要的数据。

2022-10-10 14:48:20 331

原创 Docker：宝塔下打包镜像并上传镜像然后在其它服务器上运行镜像

已经在宝塔下部署并配置好的Docker项目，如果想在其它服务器上省去配置然后直接运行，那么该如何操作呢？

2022-10-08 16:58:00 1021

原创 Python-Selenium：如何通过click在新的标签页打开链接？

场景描述在使用Selenium的时候，如果遇到a标签列表，而且每个都需通过点击(click())进入a标签对应的页面进行单独处理，而直接访问a链接无法访问(防盗链)，那么这个时候该怎么处理呢？最好的办法就是先获取到a标签列表，然后遍历a标签列表，依次在新标签页上打开链接，然后切换到新标签页再做单独处理，处理完毕后再调用close()方法关闭当前标签页。对于a标签中带有target="_blank"参数的链接，打开的时候会自动在新的标签页打开，如：<a href="http://news.bai

2021-12-08 15:43:05 5966 1

原创 Python-Selenium：如何停止页面的不必要加载？

场景描述在使用Selenium的时候，如果遇到页面因为网络等原因导致的加载缓慢，而自己要解析的内容其实已经加载出来了，这个时候需要停止网页的继续加载，继而去解析已经加载出来的页面元素，那么该如何停止页面的不必要加载呢？代码示例from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsoptions = Options()# 停止页面的不必要加载options.page_load_str

2021-12-05 16:48:03 2270

原创 Python：针对HTML内容的数据清洗

场景描述在使用Python爬虫的时候经常需要对爬取的数据进行清洗，以此来过滤掉不需要的内容。对于爬取的结果为文本的数据经常采用正则(re.sub())来进行数据清洗，但是对于爬取的结果为HTML的数据如果还是采用正则来进行数据清洗的话往往会事倍功半，那么针对爬取的结果为HTML的数据又该如何进行数据清洗呢？代码示例import scrapyfrom lxml import etreefrom lxml import htmlfrom html import unescapeclass Te

2021-11-30 14:27:26 2095

原创 Requests报错：requests.exceptions.SSLError: HTTPSConnectionPool 和 Max retries exceeded with url

场景描述在使用Requests高频率请求一些链接的时候，经常会遇到类似requests.exceptions.SSLError: HTTPSConnectionPool的报错，那么遇到这种情况该怎么办呢？代码示例import urllib3import requests# 关闭在设置了verify=False后的错误提示urllib3.disable_warnings()# verify=False：关闭证书验证requests.get(url=url, headers=headers,

2021-11-26 16:19:59 1054

原创 Python如何上传文件？

场景描述在工作中经常需要把一些文件上传到服务器，以方便使用和管理，如：将文件上传到腾讯云的对象存储(COS)。那么该如何使用Python实现文件上传呢？代码示例import requestsclass Upload: def __init__(self): """ 基础配置 """ # 请求头 self.headers = { 'User-Agent': 'Mozilla/5.0 (W

2021-11-26 13:19:00 10670

原创 MongoDB：如何使用PyMongo连接有用户名和密码的数据库？

场景描述平时在线下环境使用PyMongo连接MongoDB数据库时都是连接的没有用户名和密码的数据库，那么对于有用户名和密码的MongoDB数据库(线上环境)又该怎么连接呢？代码示例import pymongoclient = pymongo.MongoClient(host='host', port=27017)# # info_data 需要用户名和密码进行身份认证的数据库db = client.info_data# username：用户名；password：密码db.authent

2021-11-23 16:50:10 2762 1

原创 MongoDB：PyMongo百万级数据去重

场景描述在Python爬虫中经常使用MongoDB数据库来存储爬虫爬取的结果，于是乎就有了一个问题：百万级的MongoDB数据如何去重？常见的思路便是在数据入库的时候检查该数据在数据库中是否已经存在，如果存在则忽略(效率高点)或者覆盖，这样做在数据量比较少的时候是适用的，但是在数据量比较大的时候(百万级及以上)这样做往往是效率非常低的！而且如果是已有的未去重的百万级数据库又该怎么办呢？也可以使用distinct语句进行去重，但是还是那个问题，distinct语句并不适用于百万级数据，甚至在数据量大的

2021-11-19 11:19:52 2286

原创 Linux：如何将服务器时间调整为本地时间？

场景描述部署在服务器上的项目用到了时间模块(如：定时任务、日志、更新时间等)，这时候发现服务器上的时间(UTC)和本地时间(UTC+8)不一致，那么该如何将服务器上的时间调整为本地时间呢？解决方案在服务器上输入以下命令即可：timedatectl set-timezone Asia/Shanghai可以使用date命令查看当前时区修改时区之前修改时区之后...

2021-11-17 12:33:43 1537

原创 MongoDB：如何将同一个数据库下的集合复制到另一个集合？

场景描述在使用MongoDB的过程中，需要将数据库中有效的值从一个总的集合中复制到一个存储有效值的集合中，那么关于这个需求，该怎么实现呢？实现方案示例：db.all_info.find({'notice_content':{$ne:''}}).forEach(function(x){db.useful_data.insert(x)})上边的示例，是将all_info集合中的数据通过{'notice_content':{$ne:''}筛选条件，将其中notice_content字段不为空的数据，

2021-11-09 17:25:13 3259

原创宝塔下安装MongoDB后无法启动？

配置环境MongoDB：v4.4.6Linux：CentOS 8.3问题描述最开始是发现在宝塔下“软件商店”里升级MongoDB无法成功，于是我就将老版本的MongoDB在宝塔下的“软件商店”里卸载了，然后又在宝塔下的“软件商店”里重装了一遍，这个时候发现虽然MongoDB版本成功升级了，但是出现了一个新的问题：安装的MongoDB无法启动，点击启动只是闪一下，然后发现还是没有启动。报错日志截图如下：无法启动的MongoDB截图如下：原因分析MongoDB不能跨版本升级，只能一

2021-11-08 11:19:38 2325 4

原创 MongoDB报错：TypeError: Object of type ObjectId is not JSON serializable

场景描述在使用MongoDB数据库插入数据之后，再使用Flask-RESTful接口返回数据的时候报错：TypeError: Object of type ObjectId is not JSON serializable原因分析造成该问题的原因是数据在写入MongoDB的时候，即使你没有指定_id字段，也会为每一条数据自动生成一个_id字段，例如：{ "_id" : ObjectId("6180af3ef261f0827ea248d6"), "省份名称" : "澳门",

2021-11-05 14:38:26 1490

原创 Flask Error：ModuleNotFoundError: No module named ‘flask._compat‘

版本信息Flask==2.0.2Flask-Script==2.0.6场景描述在使用Flask的Flask-Script拓展时运行 python .\app.py runserver -d -r 命令报错：Traceback (most recent call last): File "C:\Users\server\Desktop\gongkaoleida\api\app.py", line 2, in <module> from flask_script import

2021-11-04 13:27:36 863 1

原创在Django Admin后台实现显示彩色标签项

业务需求想在Django Admin后台显示彩色标签项，如下图：那么究竟该如何实现上图所示的彩色标签呢？解决方案这里使用django-taggit来实现该功能，具体步骤如下：安装django-taggit模块pip install django-taggit配置settings.py添加"taggit"到您的项目INSTALLED_APPS设置中INSTALLED_APPS = [ ...... , 'taggit']配置完成后，运行python .\manage.py

2021-10-13 10:34:09 277 1

原创在 Django 应用中获取上传文件的文件大小

场景描述在使用Django模型中的FileField字段上传文件后，如果想获取上传的文件的大小，该怎么办呢？虽然Django提供了FieldFile.siz方法，但是该方法获取的文件大小的单位是字节，不够人性化，那么如何更人性化（KB、MB、GB）的获取上传文件的大小呢？解决方案在模型文件（models.py）中添加添加属性方法filesize()：from django.db import modelsfrom django.contrib.auth.models import User#

2021-10-11 10:50:38 1041

原创 PowerShell报错：无法加载文件C:\Users\server\Documents\windowsPowerShell\profile.ps1...

前言在安装过Anaconda后使用PowerShell报错：报错原因PowerShell默认禁止运行脚本，但是因为安装Anaconda后再启动PowerShell时需要运行脚本，所以会报错。可以通过在PowerShell中执行 get-ExecutionPolicy 语句验证这点，如图：表示在PowerShell中运行脚本是禁止的解决方案（步骤）“以管理员身份运行”PowerShell，如图：在PowerShell中执行 set-ExecutionPolicy RemoteS

2021-10-08 16:01:24 9585 9

原创 Python报错：error: command ‘/usr/bin/gcc‘ failed with exit code 1

前言平时我们在Linux服务器上使用pip安装一些Python依赖包的时候偶尔会遇到如下所示的报错：...#include "Python.h" ^~~~~~~~~~compilation terminated.error: command '/usr/bin/gcc' failed with exit code 1...常见的如安装uWSGI和mysqlclient都会出现类似报错，那么遇到这种情况该怎么办呢？解决方案对于yum(CentOS, RHEL…)yu

2021-07-01 01:14:39 22771 7

原创 Django报错：ImportError: DLL load failed while importing _sqlite3: 找不到指定的模块

前言：在PyCharm下使用Anaconda中的Python虚拟环境，创建Django项目时报错，其中Django是使用命令行pip install Django安装的，报错截图和代码如下：创建 Django 应用程序时出错: Python 端错误。退出代码: 1，错误: Traceback (most recent call last): File "C:\Users\suyin\Desktop\restaurant\manage.py", line 22, in <module>

2021-06-28 01:39:11 1649 2

原创 uiautomateviewer报错：com.android.ddmlib.SyncException: Remote object doesn‘t exist!

前言：使用uiautomateviewer定位元素，在给设备屏幕截图时报错：Error obtaining Ul hierarchyReason:Error while obtaining UI hierarchy XML file: com.android.ddmlib.SyncException: Remote object doesn't exist!环境：JDK版本：jdk-8u291-windows-x64Android版本：Android 11Appium版本：1.21.0

2021-06-03 15:40:53 383 1

原创 Appium-JDK报错：-Djava.ext.dirs=..\lib\x86_64；..\lib is not supported. Use -classpath instead.

前言：在使用Appium中的uiautomateviewer定位元素时报错：-Djava.ext.dirs=..\lib\x86_64;..\lib is not supported. Use -classpath instead.Error: Could not create the Java Virtual Machine.Error: A fatal exception has occurred. Program will exit.环境：JDK版本：16.0.1Appium版本

2021-06-03 11:04:59 943

原创 Appium报错：java.lang.SecurityException: Permission denial？

小米手机和OPPO手机在使用Appium时，报错：java.lang.SecurityException: Permission denial: writing to settings requires:android.permission.WRITE_SECURE_SETTINGS解决方案：小米：在开发者选项里，把“USB调试（安全设置）”打开即可。允许USB调试修改权限或模拟点击。OPPO：在开发者选项里，把"禁止权限监控"打开即可。...

2021-06-02 14:17:45 485 1

原创解决uWSGI报uwsgi_response_write_body_do() TIMEOUT !!! OSError: write error的问题！

环境： Python(3.8.x)+Flask+uWSGI+Nginx+宝塔报错示例：uwsgi_response_write_body_do() TIMEOUT !!!OSError: write error解决方案修改Nginx子配置文件，禁用临时文件缓冲器location / { include uwsgi_params; uwsgi_pass 127.0.0.1:5000; uwsgi_connect_timeout 600; uwsgi_rea

2021-05-19 16:54:04 1248

原创解决Nginx报504 Gateway Time-out的问题！

环境： Python(3.8.x)+Flask+uWSGI+Nginx+宝塔报错示例：解决步骤修改Nginx子配置文件（站点下的配置文件）location / { # 注意这儿，一般这三个配套修改 uwsgi_connect_timeout 600; # 指定连接到后端uWSGI的超时时间。 uwsgi_read_timeout 600; # 指定接收uWSGI应答的超时时间，完成握手后接收uWSGI应答的超时时间。 uwsgi_send_time

2021-05-19 16:40:38 609

原创介绍6种Python酷炫进度条

介绍6种Python进度条，有需要的可以自行查看！"""Python各种进度条测试文件参考链接：https://mp.weixin.qq.com/s/Ev0JRSNdqTs-cE1Zs2N1NQ"""import sysimport timefrom tqdm import tqdmfrom progress.bar import IncrementalBarfrom progress.bar import Barfrom alive_progress import alive_bar

2021-05-14 15:56:21 268

原创数据库(MySQL)的备份与恢复

备份：mysqdump -uroot -p test > test.sql恢复：mysql -uroot -p test < test.sql

2019-04-18 14:51:38 110

原创数据库的迁移（Flask项目）

数据库的迁移说明：项目开发中，总是避免不了的进行数据模型的更改，若已经有了数据库，此时数据模型与数据库中的表将不再一致；将数据模型的更改应用到对应数据库中的过程叫数据的迁移。前面的先删除后创建有点粗暴（副作用有点大，数据全部丢失），最好的方式是既做到数据库的更新，又不使数据丢失。若自己不会，可以借助第三方扩展库flask-migrate来完成。安装：pip install flask-...

2019-04-18 14:43:23 885

原创 selenium之 chromedriver与chrome版本映射表（最新版！）

看到网上基本没有最新的chromedriver与chrome的对应关系表，便兴起整理了一份如下，希望对大家有用：原作者最近没有更新，所以自己来更新一下！chromedriver版本支持的Chrome版本v2.46v71-73v2.45v70-72v2.44v69-71v2.43v69-71v2.42v68-70v2.41v6...

2019-03-15 13:39:34 8237 3

原创 MySQL-8.0.12-win-64位安装教程

一、点击去官网下载mysql点击下载如下图：二、解压文件解压后如图所示：三、创建Data文件夹如果解压后有这个文件，这一步可以跳过在解压后的目录里创建Data文件夹，如图所示：四、配置初始化的my.ini文件解压后的目录并没有my.ini文件，没关系可以自行创建。在安装根目录下添加 my.ini（新建文本文件，将文件类型改为.ini），写入基本配置：...

2018-10-10 17:38:30 478

原创安装CentOS 7.5以后的事

本人是在服务器上操作的，可能与虚拟机上的操作有所不同，但大致应该一样。一、创建新用户：服务器上的默认用户是root用户，为了安全起见，创建一个普通用户。1.添加用户：useradd -m 用户名2.设置用户密码：passwd 用户名3.将用户添加到用户组：usermod -a -G adm 用户名4.为用户添加sudo权限：sudo vim /etc/sudoer...

2018-09-30 17:48:48 2857

原创本地文件上传云服务器的教程

本文介绍几种常见的方法，把文件上传到Linux服务器中！常见有使用：scp命令、xshell软件里的xftp程序、U盘挂载、服务器自带的lrzsz程序。一、scp使用说明：1、把本机的文件传给目的服务器：scp car.txt root@192.168.1.147:/home备注：把本机car.txt拷贝到147这台服务器的home目录下，需要提供147的密码2、在本机上执行...

2018-09-27 11:14:30 25629 1

Mac OS Big Sur主题

空空如也