苏寅
码龄6年
  • 115,686
    被访问
  • 42
    原创
  • 91,503
    排名
  • 27
    粉丝
关注
提问 私信

个人简介:此去易经年,后悔终无期!

  • 加入CSDN时间: 2016-04-06
博客简介:

苏寅的博客

博客描述:
书山有路勤为径, 学海无涯苦作舟!
查看详细资料
  • 3
    领奖
    总分 277 当月 28
个人成就
  • 获得51次点赞
  • 内容获得44次评论
  • 获得134次收藏
创作历程
  • 23篇
    2021年
  • 3篇
    2019年
  • 17篇
    2018年
成就勋章
TA的专栏
  • Requests
    2篇
  • Scrapy
    1篇
  • Linux
    5篇
  • GitHub
    2篇
  • Kali
    1篇
  • Sublime
    1篇
  • Shell
    1篇
  • Java
    1篇
  • CentOS
    1篇
  • Appium
    3篇
  • Nginx
    2篇
  • 宝塔
    2篇
  • Python
    12篇
  • Anaconda
    2篇
  • Django
    5篇
  • Flask
    5篇
  • MongoDB
    3篇
  • Error
    8篇
  • MySQL
    3篇
  • Selenium
    3篇
  • Ubuntu
    1篇
兴趣领域 设置
  • 后端
    djangoflask
  • 人工智能
    数据挖掘机器学习数据分析
  • 小程序
    微信小程序
  • 最近
  • 文章
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

Python-Selenium:如何通过click在新的标签页打开链接?

场景描述在使用Selenium的时候,如果遇到a标签列表,而且每个都需通过点击(click())进入a标签对应的页面进行单独处理,而直接访问a链接无法访问(防盗链),那么这个时候该怎么处理呢?最好的办法就是先获取到a标签列表,然后遍历a标签列表,依次在新标签页上打开链接,然后切换到新标签页再做单独处理,处理完毕后再调用close()方法关闭当前标签页。对于a标签中带有target="_blank"参数的链接,打开的时候会自动在新的标签页打开,如:<a href="http://news.bai
原创
发布博客 2021.12.08 ·
1823 阅读 ·
2 点赞 ·
0 评论

Python-Selenium:如何停止页面的不必要加载?

场景描述在使用Selenium的时候,如果遇到页面因为网络等原因导致的加载缓慢,而自己要解析的内容其实已经加载出来了,这个时候需要停止网页的继续加载,继而去解析已经加载出来的页面元素,那么该如何停止页面的不必要加载呢?代码示例from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsoptions = Options()# 停止页面的不必要加载options.page_load_str
原创
发布博客 2021.12.05 ·
529 阅读 ·
1 点赞 ·
0 评论

Python:针对HTML内容的数据清洗

场景描述在使用Python爬虫的时候经常需要对爬取的数据进行清洗,以此来过滤掉不需要的内容。对于爬取的结果为文本的数据经常采用正则(re.sub())来进行数据清洗,但是对于爬取的结果为HTML的数据如果还是采用正则来进行数据清洗的话往往会事倍功半,那么针对爬取的结果为HTML的数据又该如何进行数据清洗呢?代码示例import scrapyfrom lxml import etreefrom lxml import htmlfrom html import unescapeclass Te
原创
发布博客 2021.11.30 ·
987 阅读 ·
0 点赞 ·
0 评论

Requests报错:requests.exceptions.SSLError: HTTPSConnectionPool 和 Max retries exceeded with url

场景描述在使用Requests高频率请求一些链接的时候,经常会遇到类似requests.exceptions.SSLError: HTTPSConnectionPool的报错,那么遇到这种情况该怎么办呢?代码示例import urllib3import requests# 关闭在设置了verify=False后的错误提示urllib3.disable_warnings()# verify=False:关闭证书验证requests.get(url=url, headers=headers,
原创
发布博客 2021.11.26 ·
623 阅读 ·
0 点赞 ·
0 评论

Python如何上传文件?

场景描述在工作中经常需要把一些文件上传到服务器,以方便使用和管理,如:将文件上传到腾讯云的对象存储(COS)。那么该如何使用Python实现文件上传呢?代码示例import requestsclass Upload: def __init__(self): """ 基础配置 """ # 请求头 self.headers = { 'User-Agent': 'Mozilla/5.0 (W
原创
发布博客 2021.11.26 ·
1755 阅读 ·
0 点赞 ·
0 评论

MongoDB:如何使用PyMongo连接有用户名和密码的数据库?

场景描述平时在线下环境使用PyMongo连接MongoDB数据库时都是连接的没有用户名和密码的数据库,那么对于有用户名和密码的MongoDB数据库(线上环境)又该怎么连接呢?代码示例import pymongoclient = pymongo.MongoClient(host='host', port=27017)# # info_data 需要用户名和密码进行身份认证的数据库db = client.info_data# username:用户名;password:密码db.authent
原创
发布博客 2021.11.23 ·
859 阅读 ·
1 点赞 ·
0 评论

MongoDB:PyMongo百万级数据去重

场景描述在Python爬虫中经常使用MongoDB数据库来存储爬虫爬取的结果,于是乎就有了一个问题:百万级的MongoDB数据如何去重?常见的思路便是在数据入库的时候检查该数据在数据库中是否已经存在,如果存在则忽略(效率高点)或者覆盖,这样做在数据量比较少的时候是适用的,但是在数据量比较大的时候(百万级及以上)这样做往往是效率非常低的!而且如果是已有的未去重的百万级数据库又该怎么办呢?也可以使用distinct语句进行去重,但是还是那个问题,distinct语句并不适用于百万级数据,甚至在数据量大的
原创
发布博客 2021.11.19 ·
1359 阅读 ·
1 点赞 ·
0 评论

Linux:如何将服务器时间调整为本地时间?

场景描述部署在服务器上的项目用到了时间模块(如:定时任务、日志、更新时间等),这时候发现服务器上的时间(UTC)和本地时间(UTC+8)不一致,那么该如何将服务器上的时间调整为本地时间呢?解决方案在服务器上输入以下命令即可:timedatectl set-timezone Asia/Shanghai可以使用date命令查看当前时区修改时区之前修改时区之后...
原创
发布博客 2021.11.17 ·
210 阅读 ·
0 点赞 ·
0 评论

MongoDB:如何将同一个数据库下的集合复制到另一个集合?

场景描述在使用MongoDB的过程中,需要将数据库中有效的值从一个总的集合中复制到一个存储有效值的集合中,那么关于这个需求,该怎么实现呢?实现方案示例:db.all_info.find({'notice_content':{$ne:''}}).forEach(function(x){db.useful_data.insert(x)})上边的示例,是将all_info集合中的数据通过{'notice_content':{$ne:''}筛选条件,将其中notice_content字段不为空的数据,
原创
发布博客 2021.11.09 ·
1190 阅读 ·
0 点赞 ·
0 评论

宝塔下安装MongoDB后无法启动?

配置环境MongoDB:v4.4.6Linux:CentOS 8.3问题描述最开始是发现在宝塔下“软件商店”里升级MongoDB无法成功,于是我就将老版本的MongoDB在宝塔下的“软件商店”里卸载了,然后又在宝塔下的“软件商店”里重装了一遍,这个时候发现虽然MongoDB版本成功升级了,但是出现了一个新的问题:安装的MongoDB无法启动,点击启动只是闪一下,然后发现还是没有启动。报错日志截图如下:无法启动的MongoDB截图如下:原因分析MongoDB不能跨版本升级,只能一
原创
发布博客 2021.11.08 ·
945 阅读 ·
0 点赞 ·
0 评论

MongoDB报错:TypeError: Object of type ObjectId is not JSON serializable

场景描述在使用MongoDB数据库插入数据之后,再使用Flask-RESTful接口返回数据的时候报错:TypeError: Object of type ObjectId is not JSON serializable原因分析造成该问题的原因是数据在写入MongoDB的时候,即使你没有指定_id字段,也会为每一条数据自动生成一个_id字段,例如:{ "_id" : ObjectId("6180af3ef261f0827ea248d6"), "省份名称" : "澳门",
原创
发布博客 2021.11.05 ·
247 阅读 ·
1 点赞 ·
0 评论

Flask Error:ModuleNotFoundError: No module named ‘flask._compat‘

版本信息Flask==2.0.2Flask-Script==2.0.6场景描述在使用Flask的Flask-Script拓展时运行 python .\app.py runserver -d -r 命令报错:Traceback (most recent call last): File "C:\Users\server\Desktop\gongkaoleida\api\app.py", line 2, in <module> from flask_script import
原创
发布博客 2021.11.04 ·
396 阅读 ·
1 点赞 ·
1 评论

在Django Admin后台实现显示彩色标签项

业务需求想在Django Admin后台显示彩色标签项,如下图:那么究竟该如何实现上图所示的彩色标签呢?解决方案这里使用django-taggit来实现该功能,具体步骤如下:安装django-taggit模块pip install django-taggit配置settings.py添加"taggit"到您的项目INSTALLED_APPS设置中INSTALLED_APPS = [ ...... , 'taggit']配置完成后,运行python .\manage.py
原创
发布博客 2021.10.13 ·
57 阅读 ·
0 点赞 ·
0 评论

在 Django 应用中获取上传文件的文件大小

场景描述在使用Django模型中的FileField字段上传文件后,如果想获取上传的文件的大小,该怎么办呢?虽然Django提供了FieldFile.siz方法,但是该方法获取的文件大小的单位是字节,不够人性化,那么如何更人性化(KB、MB、GB)的获取上传文件的大小呢?解决方案在模型文件(models.py)中添加添加属性方法filesize():from django.db import modelsfrom django.contrib.auth.models import User#
原创
发布博客 2021.10.11 ·
324 阅读 ·
1 点赞 ·
0 评论

PowerShell报错:无法加载文件C:\Users\server\Documents\windowsPowerShell\profile.ps1...

前言在安装过Anaconda后使用PowerShell报错:报错原因PowerShell默认禁止运行脚本,但是因为安装Anaconda后再启动PowerShell时需要运行脚本,所以会报错。可以通过在PowerShell中执行 get-ExecutionPolicy 语句验证这点,如图:表示在PowerShell中运行脚本是禁止的解决方案(步骤)“以管理员身份运行”PowerShell,如图:在PowerShell中执行 set-ExecutionPolicy RemoteS
原创
发布博客 2021.10.08 ·
734 阅读 ·
4 点赞 ·
2 评论

Python报错:error: command ‘/usr/bin/gcc‘ failed with exit code 1

前言平时我们在Linux服务器上使用pip安装一些Python依赖包的时候偶尔会遇到如下所示的报错:...#include "Python.h" ^~~~~~~~~~compilation terminated.error: command '/usr/bin/gcc' failed with exit code 1...常见的如安装uWSGI和mysqlclient都会出现类似报错,那么遇到这种情况该怎么办呢?解决方案对于yum(CentOS, RHEL…)yu
原创
发布博客 2021.07.01 ·
5022 阅读 ·
2 点赞 ·
3 评论

Django报错:ImportError: DLL load failed while importing _sqlite3: 找不到指定的模块

前言:在PyCharm下使用Anaconda中的Python虚拟环境,创建Django项目时报错,其中Django是使用命令行pip install Django安装的,报错截图和代码如下:创建 Django 应用程序时出错: Python 端错误。退出代码: 1,错误: Traceback (most recent call last): File "C:\Users\suyin\Desktop\restaurant\manage.py", line 22, in <module>
原创
发布博客 2021.06.28 ·
439 阅读 ·
2 点赞 ·
2 评论

uiautomateviewer报错:com.android.ddmlib.SyncException: Remote object doesn‘t exist!

前言:使用uiautomateviewer定位元素,在给设备屏幕截图时报错:Error obtaining Ul hierarchyReason:Error while obtaining UI hierarchy XML file: com.android.ddmlib.SyncException: Remote object doesn't exist!环境:JDK版本:jdk-8u291-windows-x64Android版本:Android 11Appium版本:1.21.0
原创
发布博客 2021.06.03 ·
198 阅读 ·
0 点赞 ·
1 评论

Appium-JDK报错:-Djava.ext.dirs=..\lib\x86_64;..\lib is not supported. Use -classpath instead.

前言:在使用Appium中的uiautomateviewer定位元素时报错:-Djava.ext.dirs=..\lib\x86_64;..\lib is not supported. Use -classpath instead.Error: Could not create the Java Virtual Machine.Error: A fatal exception has occurred. Program will exit.环境:JDK版本:16.0.1Appium版本
原创
发布博客 2021.06.03 ·
556 阅读 ·
1 点赞 ·
0 评论

Appium报错:java.lang.SecurityException: Permission denial?

小米手机和OPPO手机在使用Appium时,报错:java.lang.SecurityException: Permission denial: writing to settings requires:android.permission.WRITE_SECURE_SETTINGS解决方案:小米:在开发者选项里,把“USB调试(安全设置)”打开即可。 允许USB调试修改权限或模拟点击。OPPO:在开发者选项里,把"禁止权限监控"打开即可。...
原创
发布博客 2021.06.02 ·
279 阅读 ·
0 点赞 ·
1 评论
加载更多