Obgo_空空-CSDN博客

原创 python视频流截图（按帧数）

【代码】python视频流截图（按帧数）

2023-08-10 15:20:17 1243

使用 python paramiko服务器传输文件一、安装paramikopip install paramiko二、编写代码块import osimport paramikoclass SSHConnection(object): def __init__(self, host, port, username, pwd): self.__transport = None self.host = host self.port = p

2022-04-28 16:10:47 1110

原创 MongoDB使用aggregate联合查询

一、 lookup的功能及语法主要功能是将每个输入待处理的文档，经过$lookup 阶段的处理，输出的新文档中会包含一个新生成的数组列（户名可根据需要命名新key的名字）。数组列存放的数据是来自被Join 集合的适配文档，如果没有，集合为空（即为[ ]）1、基本语法from需要join的表， localField相当于主表的键，foreignFiel相当于join的键db.getCollection.aggregate{ $lookup: { from: &

2020-08-04 14:48:01 716

原创 Mongodb分组聚合查询aggregate

一. 聚合框架聚合框架是MongoDB的高级查询语言，它允许我们通过转换和合并多个文档中的数据来生成新的单个文档中不存在的信息。聚合管道操作主要包含下面几个部分：命令功能描述$project指定输出文档里的字段$match选择要处理的文档，与fine()类似。$limit限制传递给下一步的文档数量。$skip跳过一定数量的文档。$unwind扩展数组，为每个数组入口生成一个输出文档。$group根据key来分组文档。$sort排序

2020-08-04 14:14:44 1713

原创 Python使用ffmpeg下载m3u8高清视频

一、安装ffmpeg环境1、下载ffmpegffmpeg下载链接2、解压加入环境变量选择你电脑的版本下载解压把bin目录加入环境变量中3、Python安装ffmpegpip install ffmpy3 -i https://mirrors.aliyun.com/pypi/simple/ 二、使用Python加ffmpeg下载视频from ffmpy3 import FFmpegdef ffmpeg_path(inputs_path, outputs_path): ''

2020-05-11 18:45:36 3470 5

原创 Python3写入CSV文件，解决空白行的问题

一、CSV文件CSV文件：Comma-Separated Values，中文叫，逗号分隔值或者字符分割值，其文件以纯文本的形式存储表格数据。二、Python写入CSV文件#!/usr/bin/python3# -*- coding: utf-8 -*-# 导入CSV安装包import csv# 1. 创建文件对象f = open('文件名.csv','w',encoding=...

2020-02-29 12:21:20 563

原创 Python使用ffmpeg批量去水印

一、安装模块1、Windows安装ffmpegffmpeg官网下载完了是一个压缩包解压，把bin目录加入环境变量2、Linux系统安装ffmpegsudo add-apt-repository ppa:kirillshkrogalev/ffmpeg-next sudo apt-get update sudo apt-get install ffmpeg3、Python安装调用模...

2019-12-07 11:50:53 3202 6

原创 ubuntn安装Python3

一、下载Linux包Python找到相应版本下载带有tar .xz后缀的包解压： tar -xvJf Python-3.7.1.tgz.xz二、安装依赖sudo apt-get updatesudo apt-get upgradesudo apt-get dist-upgradesudo apt-get install libffi-devsudo apt install -...

2019-11-20 18:04:39 240

原创最新反编译小程序教程

一、工具1、note.js note.js2、反编译工具下载地址2、ER文件管理器（百度）二、使用步骤1、准备一台有root的手机或者模拟器2、下载ER文件管理器4、.在模拟器或者上装上微信，使用微信访问你需要扒下来的小程序5、.然后打开第二步安装的RE管理器，进入 /data/data/com.tencent.mm/MicroMsg/{数字串}/appbrand/pkg...

2019-11-01 14:05:01 2138

原创 python调用百度人脸识别对美女进行颜值打分

调用百度人脸识别一、注册百度api先百度开发者开发平台注册应用https://ai.baidu.com/tech/face/detect1、创建应用2、管理应用APP_ID, API_KEY, SECRET_KEY都会用到安装使用Python SDK二、使用Python SDK1、安装SDKpip install baidu-aip2、新建一个AipFace：from ...

2019-10-17 10:18:51 3092

原创 FontTools的使用

一、FontTools的安装pip install fontTools二、FontTools的基本操作1、字体读取from fontTools.ttLib import TTFont# 加载字体文件：font = TTFont('maoyan.woff')# 转为xml文件：font.saveXML('maoyan.xml')2、各节点名称：font.keys()fro...

2019-09-22 19:59:12 12505 1

原创爬虫抓取实时数据

import asyncioimport loggingfrom datetime import datetimefrom aiowebsocket.converses import AioWebSocketasync def startup(uri): async with AioWebSocket(uri) as aws: converse = aws.ma...

2019-09-22 19:39:05 6559

原创 python3调用js的库之execjs

1.安装：pip install PyExecJS2.运行环境execjs会自动使用当前电脑上的运行时环境（建议用nodejs，与Phantomjs）execjs.get().name通过运行时环境运行js：default = execjs.get()default.eval("1 + 2")1.例子1：import execjsexecjs.eval("'red ...

2019-09-10 14:49:19 512

原创爬取大众点评评论

在爬取大众点评之前，已经想到会遇到反爬，只是没想到反爬措施这么狠。爬取的关键问题主要是2点：ip被封网页内容被加密关于ip被封可以使用代理个人代理解决，芝麻代理每天都有免费的代理领取，当然还有很多公开的代理平台免费试用，当然如果你是有钱人家的孩子，可以购买代理。下面开始开始写怎么爬取一、分析我们开始从url开始http://www.dianping.com/shop/1...

2019-09-08 09:32:48 4021 4

原创数据清洗

数据清洗import pandas as pddata = pd.read_csv('missing_data.csv')print('是否有空数据',data.isnull().any())print(data.isnull().all())print('统计空数据')print(data.isnull().sum())是否有空数控 235.8333 True324.0...

2019-09-06 08:53:20 326

原创 pandas基本使用

pandas基础教程一维数组的创建Series（）Series（data=None, #数组对象 index=None,#设置索引名称(list,dict) dtype=None, #设置类型 name=None, #设置对象名称 copy=False, fastpath=False)import pand...

2019-09-05 20:25:44 275

原创 numpy的基本使用

创建数组对象import numpy as nparr1 = np.array([1,2,3,4])# ndim 返回 int。表示数组的维数nd = arr1.ndimprint(nd)# shape 返回 tuple。表示数组的尺寸，对于 n 行 m 列的矩阵，形状为(n,m)sh = arr1.shapeprint(sh)# size 返回 int。表示数组的元素总数，...

2019-09-05 20:24:45 250

原创爬虫文档

一、爬虫原理1、http协议超文本传输协议(HTTP)是一种通信协议，它允许将超文本标记语言(HTML)文档从Web服务器传送到客户端的浏览器。2、http请求[外链图片转存失败(img-4zvoifu2-1567686176832)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1565832939762...

2019-09-05 20:23:18 1347

原创 scrapy连接MongoDB

scrapy连接MongoDBimport pymongoclass TaochePipeline(object): def __init__(self, mongo_uri, mongo_db): self.mongo_uri = mongo_uri self.mongo_db = mongo_db #MongoPipeline(mong...

2019-09-05 20:22:36 327

原创 scrapy_redis配置

scrapy_redis配置一、配置spider文件注释start_urls start_urls = ['https://baidu.com']增加redis_keyredis_key = 'taoche:start_urls'spider继承from scrapy_redis.spiders import RedisSpiderclass TcSpider(RedisSpi...

2019-09-05 20:22:07 206

原创 scrapy的三种模拟登录

scrapy的三种模拟登录注意：模拟登陆时，必须保证settings.py里的 COOKIES_ENABLED (Cookies中间件) 处于开启状态**COOKIES_ENABLED = True 或 # COOKIES_ENABLED = False策略一：直接POST数据（比如需要登陆的账户信息)只要是需要提供post数据的，就可以用这种方法。下面示例里post的数据是账户密码：...

2019-09-05 20:21:29 229

原创 scrapy文件下载

scrapy文件下载一、图片下载1、配置settingsITEM_PIPELINES = { #可以是使用框架自带ImagesPipeline下载图片 # 'scrapy.pipelines.images.ImagesPipeline': 300, 'baiduimg.pipelines.PicsDownloadPipeline':300}#设置路劲IMAGES...

2019-09-05 20:20:35 605

原创机器学习（三）--K-Means算法

机器学习（三）–K-Means算法一、K-means算法的相关描述聚类是一种无监督的学习，它将相似的对象归到同一簇中。聚类的方法几乎可以应用所有对象，簇内的对象越相似，聚类的效果就越好。K-means算法中的k表示的是聚类为k个簇，means代表取每一个聚类中数据值的均值作为该簇的中心，或者称为质心，即用每一个的类的质心对该簇进行描述。聚类和分类最大的不同在于，分类的目标是事先已知的，而聚类...

2019-09-05 20:05:09 271

转载机器学习（二）---朴素贝叶斯算法

机器学习（二）—朴素贝叶斯算法一、贝叶斯定理1、准备知识贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。这个定理解决了现实生活里经常遇到的问题：已知某条件概率，如何得到两个事件交换后的概率，也就是在已知P(A|B)的情况下如何求得P(B|A)。这里先解释什么是条件概率：表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基...

2019-09-05 19:44:20 219

原创机器学习（一）——K-近邻（KNN）算法

机器学习（一）——K-近邻（KNN）算法最近在看《机器学习实战》这本书，因为自己本身很想深入的了解机器学习算法，加之想学python，就在朋友的推荐之下选择了这本书进行学习。一 . K-近邻算法（KNN）概述最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢...

2019-09-05 19:16:56 177

原创 Python排队报号

题目有n个人围成一圈，顺序排号。从第一个人开始报数（从1到3报数），凡报到3的人退出圈子，问最后留下的是原来第几号的那位。代码n = int(input('请输入个数'))List = list(range(1, n+1))num = 0while len(List) != 1: t = 0 for i in range(len(List)): num...

2019-08-19 17:06:24 319

原创 django 保存订单乐观锁的使用

后端在生成订单表的时候，牵扯到如下的知识点：1 事物2 高并发3 时间函数的使用一，事务：from django.db import transaction save_id = transaction.savepoint() # 创建保存点 transaction.savepoint_rollback(save_id) # 回退（回滚）到保存点 transaction.s...

2019-07-11 16:59:42 344

原创 Django模板层（template）

``1、模板是一个文本，用于分离文档的表现形式和内容。也可以说是：HTML代码＋模板语法简单的例子：使用模板在页面显示“hello word”在template中新建html文件：hello.html, 在views.py中添加对象，向模板中提交数据。在urls.py中添加url与函数对象的映射关系HTML<h1>{{ hello }}</h1>views...

2019-07-11 14:17:25 172

原创 Ubuntu16.04安装Redis和使用教程

环境Ubuntu 16.04安装Redis服务器端~ sudo apt-get install redis-server安装完成后，Redis服务器会自动启动，我们检查Redis服务器程序检查Redis服务器系统进程~ ps -aux|grep redisredis 4162 0.1 0.0 10676 1420 ? Ss 23:24 0:00...

2019-07-11 09:54:30 377

原创转 Python 并行分布式框架 Celery资源

Celery 官网：http://www.celeryproject.org/Celery 官方文档英文版：http://docs.celeryproject.org/en/latest/index.htmlCelery 官方文档中文版：http://docs.jinkan.org/docs/celery/celery配置：http://docs.jinkan.org/docs/celery...

2019-07-11 09:05:19 217

原创各种浏览器User-Agent大全,爬虫必备

**这里面有超过50个 user-agent ,包含PC和移动端, 并且可以直接复制粘贴到python代码里.**此方法,是随机其中一个user-agent:# -*-coding:utf-8 -*- import random # 返回一个随机的请求头 headersdef getheaders(): # 各种PC端 user_agent_list_2 = [...

2019-07-07 15:28:32 1303

Obgo_6的博客