- 博客(41)
- 收藏
- 关注
RSS订阅原创 安装weditor，UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0xad in position 795: illegal multibyte
先git clone https://github.com/openatx/weditor，下载源码 再 pip3 install -e weditor。今天因业务需求需要用到 uiautomator2 和 webitor， 但是在下载webitor 的时候一直报错， 在网上差了1个小时也没搞定，结果，安装是成功了， 但是因为版本冲突，链接不上手机，白费， 继续找方法- -最后的最后 让我成功解决了，浪费劳资将近2个小时。最后找到了解决办法， 指定版本下载。
2024-06-18 18:08:29
114
原创 python之DeprecationWarning: invalid escape sequence ‘\/‘解决方案(亲测可用)
出现警告的原因是 ‘unicode_escape’ 编码不支持 ‘/’ 这样的转义序列。，如果你想要处理 / 这样的转义序列，可以使用 ‘raw_unicode_escape’ 编码来代替 ‘unicode_escape’。‘raw_unicode_escape’ 编码能够处理 ‘/’ 这样的转义序列。爬取的页面里包含很多 \ 双反斜杠， 想replace 出现 invalid escape sequence ‘/‘ 警告。
2024-06-06 15:09:53
209
原创 爬虫报错ssl.SSLError: [SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1123)
【代码】爬虫报错ssl.SSLError: [SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1123)
2024-06-06 14:52:13
185
原创 如何处理 在使用Playwright（TypeScript）时，页面元素可见但不可点击
【代码】如何处理 在使用Playwright（TypeScript）时，页面元素可见但不可点击。
2024-04-11 10:50:13
392
原创 python之shutil模块
shutil是 python 中的高级文件操作模块，与os模块形成互补的关系，os主要提供了文件或文件夹的新建、删除、查看等方法，还提供了对文件以及目录的路径操作。shutil模块提供了移动、复制、 压缩、解压等操作，恰好与os互补，共同一起使用，基本能完成所有文件的操作。是一个非常重要的模块。
2022-11-07 17:28:13
1133
原创 专门针对浏览器识别undetected_chromedriver了解一下
哥穿着复古西装拿着手杖弹着魔法乐章漫步走在莎玛丽丹被岁月翻新的时光望不到边界的帝国用音符筑成的王座我用琴键穿梭1920错过的不朽啊偏执是那马格利特被我变出的苹果超现实的是我还是他原本想画的小丑不是烟斗的烟斗脸上的鸽子没有飞走请你记得他是个画家不是什么调酒达利翘胡是谁给他的思索弯了汤匙借你灵感不用还我融化的是墙上时钟还是乳酪龙虾电话那头你都不回我浪荡是世俗画作里最自由不拘的水墨花都优雅的双腿是这宇宙笔下的一抹漂洋过海的乡愁种在
2022-09-13 14:19:38
3944
4
原创 谷歌selenium 设置禁止css和图片加载，加速访问速度
有些网站用selenium 访问， 经常进入页面后一直转圈，此时可以考虑 通过禁止css及图片的加载来加快访问速速（前提是不用额外的点击， 否则禁止css有可能会导致无法正常点击元素）
2022-06-21 17:49:59
1996
原创 SSLError
请求https一直报：ssl.SSLError: [SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1091) 这个错误，一开始以为是证书的问题，网上找的verify=False也通通试过，但是不好使。最终，感谢此博客，在python库作用_python 里 certifi 库的作用找到了requests和certifi证书版本问题，我原来安装这俩包都是最新的，按照pip install requests==2.19.1pip inst
2022-05-30 11:28:27
727
原创 Python 伪装请求头伪装useragent
安装pip install anti-useragent基本用法from anti_useragent import UserAgentua = UserAgent()ua.opera# Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11ua.chrome# Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) C
2022-05-06 16:31:22
678
原创 git下载项目时单独配置git账号
https://v_cwenjiang:mima@git.woa.com/urlsec_dcp/xxx/yuqing_search_crawler.gitgit账号：v_cwenjianggit密码：mima项目git地址： https://git.woa.com/urlsec_dcp/xxx/yuqing_search_crawler.git
2022-05-06 15:46:16
452
原创 Django views def or calss
类模型写views，免去了函数模式的判断1.函数写views，如：def xxx(request):if request.method == "POST": ...elif request.method == "GET": ...2.class写views1）views.pyfrom django.view.generic import Viewclass xxx(View) #继承了View类def get(self,request): ...
2022-03-20 10:41:36
721
原创 macOS把python3 设置成默认版本
1、在终端中 获取python3的安装路径：which python 我的系统返回：/Library/Frameworks/Python.framework/Versions/3.8/bin/python3 2、在终端中 获取pip3的安装路径：which pip3 我的系统返回：/Library/Frameworks/Python.framework/Versions/3.8/bin/pip3 3、在终端中执行打开.bash_pro...
2022-03-05 19:30:49
705
原创 macOS 安装mysql 及 配置环境变量
安装mysql下载mysql。我下载的是：mysql-8.0.11-macos10.13-x86_64.dmg双击打开mysql-8.0.11-macos10.13-x86_64.dmg，然后双击mysql-8.0.11-macos10.13-x86_64.pkg一路点击继续，傻瓜式安装，没什么好说的此处选择“Use Legacy Password Encryption”，否则使用navicat连接mysql的时候，会报无法加载身份验证的错误。...
2022-03-01 22:41:21
562
原创 macOS 安装brew的终极方法
/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"按回车后，根据提示操作：输入镜像序号 --> 输入Y，回车等待brew安装完成即可。
2022-03-01 21:51:19
605
转载 macOS 彻底删除node
cd /usr/local/includesudo rm -R nodecd …cd libsudo rm -R node_modulescd …cd binsudo rm -R node
2022-03-01 21:49:27
216
原创 从指定日期到当前日期
from datetime import datetime, date, timedelta_time = datetime.now().strftime('%Y-%m-%d')begin = date(2021, 10, 25)end = _time.split('-')end = date(int(end[0]), int(end[1]), int(end[2]))d = begindelta = timedelta(days=1)time_list = []while d <=.
2021-11-22 09:21:15
175
原创 2021-02-23
Crawlab基于Golang的分布式爬虫管理平台，支持多种编程语言以及多种爬虫框架.Crawlab主要解决的是大量爬虫管理困难的问题，例如需要监控上百个网站的参杂scrapy和selenium的项目不容易做到同时管理，而且命令行管理的成本非常高，还容易出错。Crawlab支持任何语言和任何框架，配合任务调度、任务监控，很容易做到对成规模的爬虫项目进行有效监控管理。爬虫一般设置为“公共”，这样其他账户也能看到你写的爬虫。正式上线的爬虫最好用git方式同步代码，测试的爬虫随意。配置git来上传同步爬虫
2021-02-23 16:06:25
93
原创 关于乱码和没有xpath
# !/usr/bin/env pythonimport unicodedatafrom result_define import Resultimport requestsimport tracebackfrom base_crawl import BaseCrawlfrom lxml import etreeimport reclass CrawlHeiLongJiang(BaseCrawl): def __init__(self, db): self.src
2020-12-18 15:46:25
143
3
原创 django-ckeditor
后台使用pip3 install django-ckeditor`在这里插入代码片`settings注册应用INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes', 'ckeditor',]model.pyfrom ckeditor.fields import RichTextFieldclass Comment(
2020-10-05 22:47:57
389
原创 Django 对接 ElasticSearch 实现全文检索(前后端分离)
这里我选择的是 用腾讯云服务器起es 服务，通过docker拉取es镜像，这样 就不要每次都起es服务了，是不是很香喷????服务器起es服务第一步：拉取镜像docker image pull delron/elasticsearch-ik:2.4.6-1.0第二步：运行容器docker run -d -p 9200:9200 -p 9300:9300 --name search delron/elasticsearch-ik:2.4.6-1.0接下来就是django的配置了Django
2020-09-30 20:00:23
1324
原创 Mac OS 上 MySQL忘记密码解决方法
# 第一步，进入mysql的bin目录cd /usr/local/mysql/bin/# 第二步，使用root账户（这一步要输入mac密码）sudo su# 第三步./mysqld_safe --skip-grant-tables &（此时应该会卡住，不要慌，新开一个终端）# 第四部在新开的终端输入 mysql -uroot -p 不用输入密码直接回车# 第五步，这一步会进入mysql的命令行（这一步好像不用）./mysql # 第六步FLUSH PRIVILEGE
2020-09-23 02:02:03
184
原创 Mac mysql 提示zsh: command not found: mysql
安装完mysql，使用网上各种配置教程尝试后，输入mysql -u root -p，仍会出现：zsh: command not found: mysql的提示。(一群sb。。。)解决方案：1、在终端进入目录：/usr/local/bincd /usr/local/bin/2、在终端设置mysql命令路径sudo ln -fs /usr/local/mysql/bin/mysql mysql3、输入mysql -u root -p...
2020-09-20 21:32:29
949
11
原创 win10安装es服务：开机自启动，无须每次手动启动es服务
cd 到es bin 目录下 cmd 输入命令elasticsearch-service.bat start 此时直接访问 9200 发现成功了c:\elasticsearch-7.6.2\bin>elasticsearch-service.bat Usage: elasticsearch-service.bat install|remove|start|stop|manager [SERVICE_ID]...
2020-08-23 23:56:16
939
原创 Python time模块以及时间戳的使用
1.将字符串的时间转换为时间戳import timea = "2013-10-10 23:40:00"# 将其转换为时间数组timeArray = time.strptime(a, "%Y-%m-%d %H:%M:%S")print(timeArray)# 打印结果# time.struct_time(tm_year=2013, tm_mon=10, tm_mday=10, tm_hour=23, tm_min=40, tm_sec=0, tm_wday=3, tm_yday=283, t
2020-08-21 00:53:51
875
原创 celery 异步发送邮件
1.settings同级目录下创建 celery 文件from __future__ import absolute_import, unicode_literalsimport osfrom celery import Celery# 设置环境变量os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'syl.settings')# 注册Celery的APPapp = Celery('syl')# 绑定配置文件app.config_from_
2020-07-31 19:27:58
364
1
原创 MySQL 主从(windows)
主从同步机制Mysql服务器之间的主从同步是基于二进制日志机制，主服务器使用二进制日志来记录数据库的变动情况，从服务器通过读取和执行该日志文件来保持和主服务器的数据一致在使用二进制日志时，主服务器的所有操作都会被记录下来，然后从服务器会接收到该日志的-一个副本 从服务器可以指定执行该日志中的哪一类事件(譬如只插入数据或者只更新数据)， 默认会执行日志中的所有语句。每一个从服务器会记录关于二进制日志的信息:文件名和已经处理过的语句，这样意味着不同的从服务器可以分别执行同一个二进制日志的不同部分，并且
2020-07-23 11:49:38
141
原创 MySQL 备份/恢复
备份运行mysqldump命 令mysqldump -uroot -p数据库名> python. sql;#按提示输入mysql的密码恢复连接mysql，创建新的数据库退出连接，执行如下命令mysql -uroot -p新数据库名< python. sql#根据提示输入mysql密码...
2020-07-22 20:21:16
74
原创 python操作mongoDB
import pymongoclient = pymongo.MongoClient('127.0.0.7', 27017) # 本地IP，默认端口db = client['test'] # 进入数据库col = db['test_set'] # 进入集合# print(conn.list_database_names())插入数据：# 单条插入col.insert_one({'name':'test','password':123456})# 多条插入data = [{'
2020-06-21 22:33:30
139
原创 Redis中的GETBIT和SETBIT
在学习到strings类型的常见命令的时候，对GETBIT和SETBIT的意义并不是非常了解，所以就搜索了一下相关文章。看到一篇介绍GETBIT和SETBIT的应用的文章，感觉非常强大，记录如下：我们在登陆某些博客网站或者视频网站的时候，网站往往会记录我们是否阅读了某篇文章，或者是观看了某个视频。如果用传统的mysql数据库实现，如果用户数量多，文章和视频也多的情况下，那么则会给数据库带来很大的压力。而用Redis的GETBIT和SETBIT则会简单得多。我们以视频为例，我们用bitmap来记录用户
2020-06-20 21:18:40
137
原创 SnowFlake 生成唯一订单id
Twitter-Snowflake算法产生的背景相当简单，为了满足Twitter每秒上万条消息的请求，每条消息都必须分配一条唯一的id，这些id还需要一些大致的顺序，让twitter可以通过一定的索引来进行检索，而在Twitter庞大的分布式系统中不同机器产生的id必须又必须不同。它的好处显而易见，不仅全局唯一，并且有序按时间递增，同时占用空间少，生成的id仅仅是19位的整形数字，正好契合mysql的bigint数据类型，简直完美。Snowflake的逻辑也非常简单，雪花算法生成64位的二进制正整数，然
2020-06-15 15:57:40
308
原创 Python的静态方法、类方法、属性方法和魔法方法
静态方法静态方法的作用是可以更好的组织代码，防止代码变大后变得比较混乱。静态方法只是名义上归类管理，实际上在静态方法里访问不了类或则实例中的任何属性静态方法使用场景1）我们要写一个只在类中运行而不在实例中运行的方法. 2）经常有一些跟类有关系的功能但在运行时又不需要实例和类参与的情况下需要用到静态方法. 3）比如更改环境变量或者修改其他类的属性等能用到静态方法. 4）这种情况可以直接用函数解决, 但这样同样会扩散类内部的代码，造成维护困难.调用方式调用方式: 既可以被类直接调用，也可以
2020-06-01 23:11:59
541
原创 实现阿里云短信验证
点击此处创建AccessKey和Access Key Secret获取签名名称和模板code安装所需包pip install aliyun-python-sdk-core写一个工具方法代码如下：from aliyunsdkcore.client import AcsClientfrom aliyunsdkcore.request import CommonRequestACCESS_KEY_ID = "" #用户AccessKeyACCESS_KEY_SECRET = "" #Ac
2020-05-28 23:02:07
340
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人