Python
Feng_MuJin
往事一笔勾销,余生各自安好!
展开
-
Python 确定大图中是否包含小图
小图:大图:完整代码:# coding: utf-8import os, sysimport cv2import timeimport win32apiimport win32conimport aircv as acfrom PIL import ImageGrabfrom log_module import LogClassimport numpy as npparent_path = os.path.dirname(os.path.abspat原创 2021-07-13 15:56:54 · 2347 阅读 · 0 评论 -
Python 管理员权限操作注册表
1. 将以下txt文件中键值对写入到注册表Enable49video:1Disable49video:22. 注册表3. 完整代码# coding: utf-8from __future__ import print_functionimport osimport sysimport ctypesimport winregimport win32apiimport win32confrom log_module import LogClassparent_pat原创 2021-07-06 15:08:20 · 911 阅读 · 0 评论 -
基于PyQt5和Pywinauto自动化测试客户端
Pywinauto自动化测试钉钉客户端效果前言一、什么是pywinauto?二、使用步骤1.安装2.启动客户端三、什么是PyQt5?四、使用步骤1.安装2.配置QtDesigner项目代码效果前言一、什么是pywinauto?中文官方文档pywinauto是一组用于自动化Microsoft Windows GUI的python模块。 最简单的是,它允许您将鼠标和键盘操作发送到窗口对话框和控件。二、使用步骤1.安装pip install pywinauto2.启动客户端代码如下原创 2021-03-09 10:58:39 · 2056 阅读 · 0 评论 -
Python datetime模块常用方法总结
datetime当前时间:now_time = datetime.datetime.now() # datetime类型now_day = datetime.datetime.now().date() # datetime.date 当前日期now_day = datetime.date.today() # datetime.date 当前日期now_day_str = datetime.datetime.strftime(datetime.datetime.now(), '%Y-原创 2020-12-16 17:27:12 · 1250 阅读 · 1 评论 -
Python MySQL利用load data infile加载大文件入表
有时候我们需要将大量数据批量写入数据库,直接使用程序语言和Sql写入往往很耗时间,其中有一种方案就是使用MySql Load datainfile导入文件的形式导入数据,这样可大大缩短数据导入时间。假如是从MySql客户端调用,将客户端的文件导入,则需要使用 load local data infile.LOAD DATA INFILE 语句以很高的速度从一个文本文件中读取行到一个表中。文件名必须是一个文字字符串。1,开启load local data infile.假如是Linux下编译安装.原创 2020-12-16 10:30:07 · 2929 阅读 · 1 评论 -
Python 定时任务框架apscheduler封装调用
import osfrom apscheduler.schedulers.blocking import BlockingSchedulerfrom apscheduler.jobstores.memory import MemoryJobStorefrom apscheduler.executors.pool import ThreadPoolExecutor# 任务存储内存jobstores = { 'default': MemoryJobStore()}# 定义执行器exec原创 2020-12-16 09:38:13 · 4188 阅读 · 0 评论 -
Python smtplib邮箱模块封装 / 调用
封装:import smtplibfrom email.mime.text import MIMETextfrom email.header import Headerclass mailClass(object): """邮件模块""" def __init__(self, host='smtp.qiye.163.com', port=25, user="username@user.com", password='password'): """初始化"""原创 2020-12-16 09:22:41 · 1916 阅读 · 2 评论 -
Python 使用SFTP和FTP实现对服务器的文件下载
一、用 ftplib 模块连接远程服务器:ftplib模块常用方法ftp登陆连接from ftplib import FTP #加载ftp模块ftp=FTP() #设置变量ftp.set_debuglevel(2) #打开调试级别2,显示详细信息ftp.connect("IP","port") #连接的ftp sever和端口ftp.login("user","password")原创 2020-12-16 09:07:16 · 3531 阅读 · 0 评论 -
Python 日志模块封装 / 调用
logModule.pyimport datetimeimport osimport loggingfrom logging import handlersclass LogClass(object): """日志模块""" def __init__(self, logName="ete"): """初始化""" self.logName = logName self.logger = logging.getLogger(sel原创 2020-12-15 11:36:23 · 1297 阅读 · 0 评论 -
Python Rides 封装---作为队列 / 缓存调用
import redisclass RedisQueue(object): """封装redis,支持list和str型""" def __init__(self, name): # redis的默认参数为:host='localhost', port=6379, db=0, 其中db为定义redis database的数量 self.pool = redis.ConnectionPool(host='localhost', password="123原创 2020-12-15 11:28:48 · 986 阅读 · 0 评论 -
Python3 版本 HTMLTestRunner.py
HTMLTestRunner.py"""A TestRunner for use with the Python unit testing framework. Itgenerates a HTML report to show the result at a glance.The simplest way to use this is to invoke its main method. E.g. import unittest import HTMLTestRunner原创 2020-12-15 11:15:26 · 1322 阅读 · 0 评论 -
利用difflib模块比较两个XML文件内容之间差异性输出到HTML
利用difflib模块比较两个XML文件内容之间差异性输出到HTML 需求说明:比较两个路径下所有相同文件名的XML文件内容,将差异行输出到日志和HTML中。 XML路径:XML内容: 输出结果如图:日志:HTML:获取两个路径下所有的XML文件路径: def get_xml_name(self, path):...原创 2020-12-14 17:18:15 · 4592 阅读 · 3 评论 -
获取文件行数据的三种方式
""" 方法一:利用numpy的loadtxt()函数"""import numpy as npimport pandas as pddef read_test_numpy(filename, column): """读取文件获取数据""" data = np.loadtxt(filename, dtype=np.float32, delimiter=原创 2018-10-30 11:26:31 · 1204 阅读 · 0 评论 -
Python 实现大文本文件切割
Python作为快速开发工具,其代码表达力强,开发效率高,因此用Python快速写一个,还是可行的。需求描述: 输入:给定一个带列头的csv文件,或者txt文件,或者其他文本文件。 输出:指定单文件内部行数的一系列可区分小文件。开发环境:Python 3.6代码如下:# -*- coding: cp936 -*-import osimport time ...原创 2018-11-30 09:25:53 · 2290 阅读 · 1 评论 -
Python 实现判断身份证号码的有效性
import redef check_id_card(id_card): errors = ['验证通过!', '身份证号码位数不对!', '身份证号码出生日期超出范围或含有非法字符!', '身份证号码校验错误!', '身份证地区非法!'] area = {"11": "北京", "12": "天津", "13": "河北", "14": &qu转载 2018-11-30 09:29:18 · 8524 阅读 · 5 评论 -
Python 实现俄罗斯方块游戏
from random import *from tkinter import *from time import sleepfrom tkinter import messageboxclass RussiaBlock(object): def __init__(self): # 方块颜色列表 self.color = ['red', 'or...原创 2018-12-13 10:14:48 · 2517 阅读 · 1 评论 -
Python 解析XML文件
简单手写一个XML文件config.xml<KDB> <INFO> <data> <name>This is an XML file</name> <number>123456789</number> </da原创 2018-12-06 20:57:49 · 1103 阅读 · 0 评论 -
Python APScheduler定时任务调度框架
1 简介APScheduler的全称是Advanced Python Scheduler。它是一个轻量级的 Python 定时任务调度框架。APScheduler 支持三种调度任务:固定时间间隔,固定时间点(日期),Linux 下的 Crontab 命令。同时,它还支持异步执行、后台执行调度任务。2 安装使用 pip 包管理工具安装 APScheduler 是最方便快捷的。pip...原创 2018-12-10 10:01:40 · 1257 阅读 · 0 评论 -
python tkinter库实现气泡屏保和锁屏
显示效果如下:代码: import randomimport tkinterimport threadingfrom ctypes import *class RandomBall(object): """ 定义关于球的类 """ def __init__(self, canvas, screen_width, screen_height...原创 2018-12-10 19:23:19 · 1820 阅读 · 0 评论 -
Python 常用模块详解
OS 模块 os模块就是对操作系统进行操作,使用该模块必须先导入模块:import os#getcwd() 获取当前工作目录(当前工作目录默认都是当前文件所在的文件夹)result = os.getcwd()print(result)#chdir()改变当前工作目录os.chdir('/home/sy')result = os.getcwd()print(result...原创 2018-12-17 19:07:39 · 1272 阅读 · 0 评论 -
深度学习---2. TensorFlow框架介绍
2.1 TF数据流图2.1.1 案例:TensorFlow实现一个加法运算1 代码# 实现一个加法运算con_a = tf.constant(3.0)con_b = tf.constant(4.0)sum_c = tf.add(con_a, con_b)print("打印con_a:\n", con_a)print("打印con_b:\n", con_b)print(...原创 2018-12-24 14:21:54 · 1647 阅读 · 0 评论 -
深度学习---1. 深度学习介绍
1.1 深度学习与机器学习的区别1.1.1 特征提取方面机器学习的特征工程步骤是要靠手动完成的,而且需要大量领域专业知识 深度学习通常由多个层组成,它们通常将更简单的模型组合在一起,将数据从一层传递到另一层来构建更复杂的模型。通过训练大量数据自动得出模型,不需要人工特征提取环节。深度学习算法试图从数据中学习高级功能,这是深度学习的一个非常独特的部分。因此,减少了为每个问题开发新特征提...原创 2018-12-21 09:44:20 · 1169 阅读 · 1 评论 -
打码平台的使用
1. 为什么需要了解打码平台的使用现在很多网站都会使用验证码来进行反爬,所以为了能够更好的获取数据,需要了解如何使用打码平台爬虫中的验证码2. 常见的打码平台 云打码:http://www.yundama.com/ 能够解决通用的验证码识别 极验验证码智能识别辅助:http://jiyandoc.c2567.com/ 能够解决复杂验证码的识别 3. 云打码的使用...原创 2018-11-26 10:33:40 · 1604 阅读 · 0 评论 -
python 通过线程池实现更快的爬虫
1. 线程池使用方法介绍 实例化线程池对象 from multiprocessing.dummy import Pool pool = Pool(process=5) #默认大小是cup的个数 把从发送请求,提取数据,到保存合并成一个函数,交给线程池异步执行 使用方法pool.apply_async(func) def exetute_requests_it...原创 2018-11-26 10:27:41 · 2346 阅读 · 0 评论 -
根据指定日期获取上一月和上上一月的所有日期
import mathimport calendarimport datetimefrom datetime import datefrom dateutil.rrule import rrule, DAILYdef get_month_day(data): year = int(data[:4]) # 2018 month = int(data[4:6]) #...原创 2018-11-09 14:23:28 · 1524 阅读 · 0 评论 -
根据指定日期获取上一周和上上一周的所有日期
import mathimport calendarimport datetimefrom datetime import datefrom dateutil.rrule import rrule, DAILYdef get_week_day(data): y = int(data[:4]) # 2018 m = int(data[4:6]) # 08 ...原创 2018-11-09 14:20:41 · 1447 阅读 · 0 评论 -
获取重庆空气质量历史数据写入csv文本
import reimport csvimport numpyimport codecsfrom bs4 import BeautifulSoupfrom urllib.request import urlopendef get_table_head(url): """ 该函数用于获取带表头的数据 """ html_bj = urlopen(url) bs...原创 2018-10-30 19:53:25 · 1650 阅读 · 0 评论 -
爬取电影《无双》影评数据,分析,可视化
一,爬取和存储影评数据import requestsimport jsonimport timeimport randomimport csvfrom datetime import datetime, timedeltadef get_headers(): user_agent_list = [ "Mozilla/5.0 (Windows NT 6....原创 2018-10-30 16:15:20 · 4653 阅读 · 1 评论 -
Python 操作MySQL数据库
MysqlHelper.py# encoding=utf8import pymysqlclass MysqlHelper(object): """封装mysql""" def __init__(self, host, port, db, user, password, charset='utf8'): self.host = host ...原创 2018-10-30 13:44:35 · 931 阅读 · 0 评论 -
将.text文件转.xls文件
student.txt{ "1":["张三",150,120,100], "2":["李四",90,99,95], "3":["王五",60,66,68]}txt_to_xls.pyimport jsonfrom openpyxl import Workbookdef txt_to_xlsx(filename): file = open(filena原创 2018-10-29 09:14:57 · 1120 阅读 · 0 评论 -
将文件夹下的所有文件内容整合到一个文件中
import osimport codecsdef read_dir_all(path): dir_list = os.listdir(path) content = [] # 用content存储合并结果 for i in dir_list: with open('\\'.join([path, i])) as f: # windows下路径...原创 2018-10-29 09:07:02 · 3026 阅读 · 0 评论 -
Python 用生成随机数和md5加密----hashlib模块
hashlib主要提供字符加密功能,将md5和sha模块整合到了一起,支持md5,sha1, sha224, sha256, sha384, sha512等算法.一、固定字符串加密import hashlibmd5_str = hashlib.md5()md5_str.update('this is a random string'.encode('utf-8'))md5_str...原创 2018-10-28 14:56:40 · 2316 阅读 · 0 评论 -
Python 读取log文本将13位时间戳转换为时间
转换前test.logb99fc31add4b7c041","timestamp":"1519443717289"},"event":"1ed02e727dfa0TimeConversion.pyimport timeimport repath = 'D:\\work_sql\\text.log' # 文件路径with open(path, 'r', encoding=...原创 2018-10-19 13:57:57 · 2222 阅读 · 0 评论 -
统计各种语言代码总行数
import osimport timebasedir = 'D:\\SVN clone\\code\\DMQ'filelists = []# 指定想要统计的文件类型whitelist = ['py', 'java']# 遍历文件, 递归遍历文件夹中的所有def getFile(basedir): global filelists for parent, di...原创 2018-11-05 17:13:47 · 1078 阅读 · 0 评论 -
python 爬取微信公众号文章(selenium+webdriver)
""" 通过搜狗搜索中的微信搜索入口爬取微信公众号文章(selenium)"""import reimport osimport jsonimport timeimport requestsfrom pyquery import PyQueryfrom urllib.parse import quotefrom selenium import webdriverc...原创 2018-11-15 14:34:51 · 5107 阅读 · 0 评论 -
python 多线程多进程爬虫
单线程爬虫单线程的爬虫速度太慢,对应的我们可以使用多线程或者是进程版本来实现 举个例子,抓取糗事百科热门栏目下的十三个url地址的段子内容,地址: https://www.qiushibaike.com/普通面向对象版本# coding=utf-8import requestsfrom lxml import etreeclass QiubaiSpider: def ...原创 2018-11-26 10:25:54 · 1390 阅读 · 0 评论 -
python 监控CSDN博客访问量和排名写入excel
# coding=gbkimport requestsimport datetimeimport osimport xlwtimport xlrdfrom xlutils.copy import copyfrom bs4 import BeautifulSoup# 获取HTMLdef get_page_source(url): try: r = r...原创 2018-11-23 10:30:29 · 868 阅读 · 0 评论 -
爬虫框架开发(4)--- 项目实战——>新浪滚动新闻资讯实时数据采集
要求:存储文章的标题、作者、发布时间、正文、正文中的图片链接、文章链接、文章所属分类 根据网站的实时更新(周期1分钟)进行采集 时间格式保存为"yyyy-mm-dd HH:MM:SS" 存储到mysql数据库代码实现如下:新浪滚动的爬虫文件:# spiders/sina_gundong.pyimport timefrom scrapy_plus.core.spider ...原创 2018-11-22 20:13:16 · 2372 阅读 · 1 评论 -
爬虫框架开发(3)--- 框架功能升级
介绍前面的内容,我们实现了一个功能相对完善的爬虫框架,但是还不够强大,对于一些功能比如分布式,断点续爬等功能任然没有实现,那么接下来在框架功能升级这一部分,我们继续来完善框架内容分布式爬虫的支持 增量爬虫的设计支持 断点续爬的设计支持框架升级 -- 分布式爬虫设计原理及其实现 1. 实现方案利用redis实现队列注意pickle模块的使用:如果将对象存入redis中,...原创 2018-11-22 19:35:25 · 1101 阅读 · 0 评论 -
爬虫框架开发(2)--- 框架功能完善
框架完善 -- 日志模块的使用1. 利用logger封装日志模块在scrapy_plus目录下建立utils包 (utility:工具),专门放置工具类型模块,如日志模块log.py 下面的代码内容是固定的,在任何地方都可以使用下面的代码实习日志内容的输出# scrapy_plus/utils/log.pyimport sysimport logging# 默认的配置DEF...原创 2018-11-22 18:37:11 · 1076 阅读 · 0 评论