- 博客(37)
- 收藏
- 关注
RSS订阅原创 无界面 centOS 中使用 DrissionPage
DrissionPage 是一个基于 python 的网页自动化工具。它既能控制浏览器，也能收发数据包，还能把两者合而为一。可兼顾浏览器自动化的便利性和 requests 的高效率。它功能强大，内置无数人性化设计和便捷功能。它的语法简洁而优雅，代码量少，对新手友好。详情及使用方法见官网。
2024-04-12 09:50:08
1592
原创 Selenium出现 Expected browser binary location, but unable to find binary in default location 错误的解决方法
已经有了geckodriver.exe，但selenium出现以下错误，是因为系统中没有安装firefox：selenium.common.exceptions.SessionNotCreatedException: Message: Expected browser binary location, but unable to find binary in default location, no ‘moz:firefoxOptions.binary’ capability provided, and
2021-11-03 23:00:24
4727
1
原创 学习Sanic遇到的问题系列之一：app.update_config()
从Flaskl转到Sanic，在学习过程中遇到一些问题，我将尽力把它说明清楚，预计会形成一个系列文章。app.update_config()在使用Flask，教程中使用配置类如下：# config.pyimport osclass Config: BASE_DIR = os.path.dirname(os.path.dirname(__file__)) @staticmethod def init_app(app): passclass DevCon
2021-09-16 10:52:06
670
原创 实现挂视频的三种方法
实现挂视频的三种方法缘起第一种方式：phthon+selenium第二种方式：使用油猴扩展第三种方式：使用标签按钮记录几个坑缘起老婆单位有挂学习视频的任务，因之求助于我。该网站播放视频期间没设置其它干扰，所以只要实现将课程下所有的视频片段从头走到尾即可。之前也做过一样的挂视频软件，使用python+selenium实现。所以起初就是想使用同样的方式来实现，这是第一种方式。缺点：需要python，需要selenium webdriver。相对其它两种方法优点是啥，目前还真想不出。由于视频的播放动作和
2021-03-01 11:15:48
11207
10
原创 在多线程和协程中使用tqdm
多线程使用tqdmimport timefrom concurrent import futuresfrom tqdm import tqdmMAX_WORKER = 5def delay(n): time.sleep(n) return ndef main(): results = [] with futures.ThreadPoolExecutor(max_workers=MAX_WORKER) as executor: tasks
2020-07-15 16:14:02
4428
1
原创 自动抢某投资公司的理财产品预购
朋友让帮忙做一个自动抢某投资公司的理财产品预购主要学到两点：使用的目标地址是移动端的，没有cookies。通过在HTTPS头中添加 Authorization 字段，值为：'Bearer ’ + token，来判断登录用户。大概过程如下：对登录地址发出post，带上用户名和密码（json），会返回一个token。预约产品时需要用到用户信息，所以要先获取用户信息：在HTTPS头中加上Authorization 字段，值为’Bearer ’ + token（token即为第1步登录后服务器返回的to
2020-05-30 13:20:03
485
转载 转载一个讲解python协程系列
python协程系列（一）——生成器generator以及yield表达式详解python协程系列（二）——python协程的通俗理解以及使用yield关键字实现协程python协程系列（三）——yield from原理详解python协程系列（四）——同步/异步、并发/并行、线程/进程python协程系列（五）——asyncio的核心概念与基本架构python协程系列（六）——asyn...
2020-05-01 10:15:20
435
原创 解决scrapy下载小说乱序
解决scrapy下载小说乱序由于scrapy使用异步下载，所以会出现下载小说章节的结果是乱序的。可以通过下面的方法将章节顺充传递给item，并保存起来：在解析主页得到所有章节信息（章节名、网址、还有顺序）后，通过Request()的cb_kwargs来传递一个’order’字段给parse_item，表示该章节的顺序。items.py:# -*- coding: utf-8 -*-impo...
2020-04-06 15:11:38
2829
3
原创 通过163邮件的转发功能实现发送电子邮件到kindle
我的个人网站上有一个小功能，用python实现追《剑来》小说，将新章节保存为一个html文件并用电子邮件发送到我的kindle。可是这段时间发现我的kindle总是没收到新章，可是查看网站记录却都是发送成功。今天测试了一下，同时发送到其它邮箱，都可以收到。所以怀疑是否是亚马逊服务器把用python发送的电子邮件给拦了（可奇怪它又没返回错误或提示，都是显示发送成功的）。后来没办法，使用163的电...
2020-01-27 20:34:30
1590
原创 利用smtplib和email实现SMTP发送邮件 V2.0
将之前利用smtplib和email实现SMTP发送邮件小程序进行重构。发现了email.mime.multipart类两个使用上的小问题：MIMEMultipart类要修改参数，不能直接使用赋值，必需使用replace_header()，不然将会是该参数的内容累加。比如：设置mail[‘Subject’]后，再一次赋值给mail[‘Subject’]，结果是两次赋值的内容累加。mail[‘F...
2019-12-06 15:39:39
2704
原创 用pyinstaller打包含有pandas的py文件，运行出错的一个解决方法
今天把一个py文件用pyinstaller打包成exe。打包成功，但运行时却总是出错，一闪就关闭了。大概能看到出错信息：ModuleNotFoundError: No module named ‘pandas’，后来调试是在import pandas as pd这一句上出错了，没找到pandas模块。可是环境里确实已经装了pandas，我不打包直接运行是Ok的。百度了很多方法，都没法解决。后来想...
2019-09-09 11:14:14
2459
4
原创 某在线学习平台自动挂视频
某在线学习平台自动挂视频前言：遇到一个视频学习平台，视频无法快进，学习过程中会出现习题，需要在一定时间内提交答案（不管对错），才会继续视频的学习。其间若是逾时不答题或是出现其它错误，视频播放进度都不算。使用Python + selenium，实现自动挂视频：半自动登录。帐号密码已设定，在登录页面会自动输入，但需要自己输入验证码（这一块处理起来也不难，它的验证码还是比较好辩认），并且点击“...
2019-08-08 15:34:04
10045
7
原创 pyinstaller出现问题
pyinstaller出现问题环境：win10 64位操作系统python 3.7.3使用pip 安装pyinstaller，成功，而且会把pywin32也给装上。但是转exe怎么都无法成功，出现一大堆错误。后来在pyinstaller官网下载Development版（https://github.com/pyinstaller/pyinstaller/zipball/develop），...
2019-07-01 15:45:00
312
原创 《Flask Web开发 基于Python的Web应用开发实战》书中关于定义sqlalchemy类的疑问
《Flask Web开发 基于Python的Web应用开发实战》书中关于定义sqlalchemy类的疑问《Flask Web开发 基于Python的Web应用开发实战》一书中，使用sqlalchemy定义类，使用的是类属性，没有类构造函数（__init__())，也没有实例属性：class User(db.Model): id = db.Column(db.Integer, prima...
2019-04-19 12:37:03
165
原创 屏蔽cnbeta底部的红色橫幅提示
屏蔽cnbeta底部的红色橫幅提示cnbeta的页面在使用ublock、adblock等去广告插件之后，会在底部出现一条橫幅：“帮助cnBeta.COM更好地生产内容，请将我们加入广告屏蔽插件的白名单，非常感谢。具体方法”。这条横幅使用的div id值是一个随机值，而使用常规的“进入元素选择过滤模式”（ublock）选择的依据就是div 的id值，所以对这个随机id值的div元素无法永久的屏蔽，...
2019-04-14 23:22:59
839
转载 如何在 Ubuntu 18.04上安装 Python3.7
如何在 Ubuntu 18.04上安装 Python3.7转载文章：http://linux265.com/news/3583.htmlPython 是世界上最流行的编程语言之一，凭借其简单易学的语法，Python是初学者和经验丰富的开发人员的绝佳选择。随着近几年人工智能和大数据的火热，Python流行度更是进一步飙升，有冲顶编程语言排行榜第一的趋势。Python 是一种非常通用的编程语言，...
2019-03-10 17:48:22
6291
原创 安装mysql8后出现的两个小问题。
今天在阿里云上重新安装mysql 8。出现两个问题：1、修改root远程连接：mysql8不能使用：“grant all privileges on . to ‘user’@’%’；”命令授权远程连接操作，提示“You are not allowed to create a user with GRANT”错误。可使用以下方法：CREATE USER 'root'@'%' IDENTIFIE...
2019-03-06 16:35:33
720
原创 elementary os 5.0安装python3.8出现错误的解决方法
新安装的elementary OS 5.0里边有python2和python3.6，重新安装3.8时出现好几个编译错误，记录如下：缺少gccsudo apt-get install gccINFO: Can’t locate Tcl/Tk libs and/or headers缺少了Tcl/Tk：所以我要安装tcl-devel（我的系统是debian安装的是tcl-dev）和tk...
2019-02-26 10:11:43
1278
原创 阿里云ECS部署python及flask(三）通过设置uid和gid来改变uwsgi+emperor通常使用root权限的问题
之前配置uwsgi+emperor时，并没有使用uid和pid，直接用root用户。所以在log中总是出现：WARNING: you are running uWSGI as root !!! (use the --uid flag)uwsgi-docs中的介绍：https://uwsgi-docs-zh.readthedocs.io/zh_CN/latest/Emperor.html摘抄...
2019-02-22 11:26:22
1976
转载 Mysql Error:The user specified as a definer (‘mysql.infoschema’@’localhost’) does not exist’
当初在centOS7上安装mysql时，没有设置好，直接就默认安装了5.7版本，后来要使用workbench备份数据库才发现问题。所以就将版本升级（MySQL 5.7 to MySQL 8.0）。但尝试进行连接的时候就会报这个错误。解决办法：[原文地址：]https://www.xiaocaicai.com/2018/05/mysql-errorthe-user-specified-as-a...
2019-01-30 13:14:45
1922
原创 selenium 操作 IE11--无法开启新窗口
环境：windown 7 (10) / IE11python 3.7.1 / selenium 3.14.1这段时间有个小任务，需要使用IE打开多个网址。selenium 使用IE11有很多坑，浪费了好多时间。设置请参考：webdriver启动IE11。最后仍剩下一个问题：selenium操作IE11，怎么都无法新开窗口。以下是网络里介绍使用的两种方法：driver.execute...
2018-11-28 16:27:31
4095
7
原创 阿里云ECS部署python及flask(二）使用uwsgi emperor +Nginx部署自动启动多个web项目
前提：本文是《阿里云ECS部署python及flask》的续文，单个python项目的uwsgi和nginx都已能成功配置。参考：https://segmentfault.com/a/1190000010990529https://www.cnblogs.com/piscesLoveCc/p/5867900.html在系统环境下安装uwsgi（非python项目中的虚拟环境）:...
2018-11-11 16:48:11
1412
1
原创 阿里云ECS部署python及flask(一）
因为原先服务器是单位的，由于安全问题，不好放个人的东西，只好找一个虚拟主机之类的来放。但我对什么云或者虚拟主机都不懂，只是因为在注册域名的时候，看到阿里云有一个免费套餐，反正不用钱，就想试试，当练手，就弄了个云服务器ECS基础版。以下是就我个人的部署过程做个记录：下完单后，很快云服务器 ECS实例就创建成功，登录阿里云管理控制台，在实例中就可看到你创建的实例，并会看到实例的公网地址和私网地址。...
2018-10-28 17:07:12
6106
7
原创 window2008下，部署apache+mod_msgi+flask
注：本文前题是你已懂得怎么使用python flask建站。这里只是提供一种方法，使用apache + mod_wsgi来部署你的python项目环境：windows 2008python 3.7 64bitapache 2.4.35 x64(ApacheHaus) 下载地址：http://httpd.apache.org/download.cgi ->Files for Mic...
2018-10-22 10:15:56
1002
5
原创 WTForms和quick_form的一点使用技巧
在大多数flask教程中，都会介绍使用WTForms和bootstrap，使用起来确实比较方便。方法大致如下：from flask_wtf import FlaskFormfrom wtforms import StringField, PasswordField, SubmitFieldfrom wtforms.validators import DataRequiredclass L...
2018-10-13 16:53:14
4357
原创 python 中实现加密保存密码与加密登录
本文目的主要是想解决加密登录的问题，在注册时就把密码hash后保存在数据库中。加密的方案有很多，我要求不高，就选择了SHA256加盐。后端在接收到登录请求时在form中加了一个隐藏的salt，前端使用sha256.js先对密码做hash，加上salt做一次hash后提交。后端使用hashlib，将数据库中的已hash的密码值与salt相加再做一次hash，结果与前端提交上来的值做比较。本文使用p...
2018-10-09 12:52:18
6173
5
原创 将WIN10的聚焦锁屏图片名加上扩展名（.jpg），并移至图片库中
要将WIN10中的聚焦锁屏图片更名并保存至图片库中有很方便的方法，比如将聚焦图片目录下的所有文件都拷到某目录下，再使用ren . *.jpg即可。使用python，只是为了做练习。# -*- coding:utf-8 -*-"""将WIN10的聚焦锁屏图片更为jpg，并移至图片库中"""import os, shutilsrc_path = 'C:\\Users\\YOUR_NAME\\...
2018-09-20 10:42:22
640
原创 觉知心与攀缘心
顶礼法师请教法师：这觉知的心跟到处攀缘的心，有什么区别？是同一个还是不同的？师父：……那个觉知心跟攀缘心肯定是不一样的。按照我在禅修当中的体验，这个觉知在我们每一个人当中一直都在的，只是我们这个觉知都在沉睡当中，没有把他唤醒。他是不动的，但是如果你能够把他唤醒的话，他能够在这个不动（它一直在保持不动的状态）当中看我们这个身体看我们这个心。而这个攀缘心只是我们的意识我们的心识。在缘取对象的这个...
2018-09-19 15:16:01
679
原创 在当当和亚马逊中搜书并输出最低价格
这两天想买几本关于Python的书，自然是到各网上书店里找，比较哪家最便宜的下手了。可是发现很麻烦，需要在每个网站里每本书都要搜一遍，搜完还得计个总价格，看看谁家便宜。所以想到了用Python的爬虫技术，做一个工具，到各网上书店里找书并计算总价。京东的搜索很烂，结果是一大堆无关的东西，未找到好方法解决，只好先放弃。目前实现了当当网和亚马逊搜书并找出最低价和各书的地址，将其保存在results.t...
2018-09-19 15:13:40
371
原创 爬取煎蛋网图片的一种思路
任何一个学习的过程，都需要练手项目。学网络爬虫就总会想去爬点什么东西。网上更多介绍的就是爬取网站图片，图片网站一般都有会自己的一套反爬技术。昨天遇到有帖子在说爬煎蛋网图片，也就去试了试。其中的反爬技术分析在 Python爬虫(15):煎蛋网加密处理方式 博客中已有详细解说，思路方法也有说了，大家可以仔细去看看。在这里，我的思路也一样，但实现方法不是去将其js方法改造成为python方法（虽然我也...
2018-09-19 15:12:02
515
原创 python 使用SMTP发送邮件[HTML格式，带附件]
今天百度学习了如何在python中使用SMTP发送邮件，包括带HTML格式和附件。基本套路就是定义一个MIMEText（不带附件）或者MIMEMultipart（可带多个附件），然后再连接、登录邮件服务器并发送即可。（发送HTML格式的邮件与纯文本消息的邮件不同之处就是将MIMEText中_subtype设置为html。）套路如下：不带附件from email.mime.text impor...
2018-09-19 15:09:46
3929
1
原创 Selenium最新版本不再支持PhantomJS
今天想对《自动读取单位某系统数据》一文中的项目做些优化，将Selenium+firefox改为无界面的PhantomJS，出现如下错误：UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead warnin...
2018-09-19 15:07:45
3531
2
原创 自动读取单位某系统数据
单位的环境监控系统数据库上移到省公司，省公司又不肯开放权限去读取数据。在同事的提醒下，使用爬虫来抓取数据。为此我又得重新开始学习新东西。这次的坑是python，基础学习、建站、抓虫。折腾两个月，终于在今天完成了对系统数据的读取。（注：读取的是公开的数据，不涉及保密内容，目的是为了将人工转为电脑自动读取）思路大概如下：通过浏览器的开发者工具分析系统的请求数据，发现需要cookie，这个coo...
2018-09-19 15:04:36
650
原创 在mac中添加环境变量的问题
mac中加入环境变量，直接修改~/.bash_profile：open ~/.bash_profile在末尾加入：export PATH="/Users/***/Programs/firefoxDriver:$PATH"保存退出，回到终端中输入：source ~/.bash_profile这方法总是无效。后来使用以下命令：echo 'export PATH="/Users/**...
2018-09-19 15:01:43
883
原创 win2008 启用 mongodb 服务出错 1053 的解决方法
mongodb4.0，修改安装目录下bin\mongod.cfg启用用户认证，在win10上成功：security: authorization: enabled但是在win2008 r2上，总是出现1053错误。经过百度，多次测试，enabled加上双引号就可以了。security: authorization: "enabled"如果本文对您有帮助，请给我留个言。谢谢...
2018-09-19 14:59:20
3065
5
原创 2018-09-10
到今天，终于把想做的一些练手小项目都大概处理完毕。整个练手过程，感触最深的就是基础知识掌握不足，当然练手的目的也是在加深基础知识的掌握。现在空闲下来，就正好倒回来再认认真真学习基础知识和深入一点涉及python设计原理的东西。昨晚已在当当入手了《流畅的python》和《python核心编程》，又要沉下心来学习了。...
2018-09-10 11:16:00
106
原创 2018-09-02
连续近十天的雨终于歇了。今早起床，看到明亮的太阳，地上依然湿漉。虽是雨后清凉，却也有入秋的味道。小孩进入初中的学习生活，今天开始为期六天的军训。假期刚完，作息还未调整，早上到校门口就跟他妈说还好困呢。这近一年来，为了一个想法，入了个大坑。好在到目前，系统的各个主要功能已基本能实现，剩下的就是加深学习、改进优化。难得今早无事，突然的身心有些轻松了，至少没之前那么困苦与焦虑。...
2018-09-02 10:12:00
97
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人