- 博客(32)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 flask 下载文件
from flask import Flask, send_file, Response, send_from_directoryimport ioapp = Flask(__name__)def file_send(file_path): # 发送大文件可以该方法 with open(file_path, 'rb') as f: while 1: data = f.read(20 * 1024 * 1024) # 每次读取20M
2022-03-31 00:12:55
5196
原创 Python 多线程、守护进程、同时运行最大线程数、锁、线程阻塞(线程暂停和继续)
python 多线程使用，同时运行线程数量，锁，线程控制(暂停/继续)
2021-12-28 09:20:27
2758
原创 pathlib Path
python pathlib Path 目录使用文章目录获取路径文件名字操作路径的判断获取路径下的文件及目录路径的拼接删除文件及文件夹写程序，总是离不开与目录打交道，最早用的是 os.path 后来无意间发现了 pathlib 库里面的 Path，使用了一段时间，感觉太好用了，总结一下Path 是把一个路径转化成一个对象，是面向对象的文件系统路径获取路径from pathlib import Path## 获取当前目录current_path = Path.cwd()print(curr
2021-04-28 14:55:00
994
1
原创 使用python生成 gif 格式的动图
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入import imageioimport PIL.Image as Imagefrom pathlib import P
2021-04-27 16:17:44
6316
2
原创 python opencv读取视频， 从指定位置读取视频， 显示视频进度
opencv 读取视频， 从指定时间读取视频， 显示播放视频的进度from tqdm import tqdmfrom termcolor import cprintimport cv2def CV(path, start=0, end=None, wait=1): """ opencv读取视频 :param path: 视频路径 :param start: 视频开始时间 :param end: 视频结束时间 :param wait: 每帧等待时间
2021-03-14 17:15:29
3318
原创 机器学习——SVM（支持向量机）
先从一个故事说起国王为武林高手出了一道题，将红豆绿豆摆在桌子上，让他将其分开，于是武林高手轻松的在桌子上画了一条线，将红豆绿豆分开，如下图 于是，国王又将这两种豆子混子一起散落在桌子上，如图 又让武林高手将其分开，心想，这次我看你怎么分，没想到，武林高手站在桌子面前，运足内力，用手掌拍在桌子上，豆子瞬间腾空而起，高手用一张纸将豆子分成两部分，上面的是绿豆，下面的是红豆 上面的故事其实就是支持向量机的直观理解，这些豆子叫做data，把线叫做classifier, 最大间隙trick叫做opt
2020-11-10 01:12:51
515
原创 二叉树遍历 python 前序遍历 中序遍历 后序遍历
二叉树的遍历规则主要有三种：前序遍历，中序遍历，后序遍历。它们是根据访问根节点的先后顺序来划分的。前序遍历：1.访问根节点2.前序遍历左子树3.右序遍历右子树中序遍历：1.中序遍历左子树2.访问根节点3.中序遍历右子树后序遍历：1.后序遍历左子树2.后序遍历右子树3.访问根节点如上图前序遍历：1 2 4 8 9 5 3 6 7中序遍历：8 4 9 2 5 1 6 3 7后序遍历：8 9 4 5 2 6 7 3 1层次遍历：1 2 3 4 5 6 7 8 9c
2020-05-21 22:54:33
570
原创 图的遍历 python
图的遍历def breadth_first_search(graph,root): ##宽度优先搜索 队列实现 if not root: return traverse = [root] ##遍历列表 my_queue = [root] ##队列 while my_queue: next = my_queue.pop(0) for current in graph[next]:
2020-05-21 20:53:52
715
1
原创 Linux crontab 定时任务
Linux crontab 定时任务crontab -e 执行文字编辑器来设定时程表crontab -l 列出目前的时程表crontab -r 删除目前的时程表菜鸟教程cron表达工具
2020-02-25 10:04:35
115
原创 Python selenium 爬取使用总结
详细基础以及配置请参考下面文章：参考1参考2下面是自己写的一个类，实现了输入框输入文本，点击，等待，页面跳转，页面滚动， 获取标签内容，关闭页面等最后附加一个百度贴吧的例子，可以自动查看贴吧的热议榜的精选帖子# -*- coding: utf-8 -*-import time, randomfrom selenium import webdriverfrom selenium.w...
2019-12-25 17:51:29
168
原创 Elasticsearch 简单使用总结
概念集群(cluster): 由一个或多个节点组成, 并通过集群名称与其他集群进行区分节点(node): 单个ElasticSearch实例. 通常一个节点运行在一个隔离的容器或虚拟机中索引(index): 在ES中, 索引是一组文档的集合分片(shard): 因为ES是个分布式的搜索引擎, 所以索引通常都会分解成不同部分, 而这些分布在不同节点的数据就是分片. ES自动管理和组织分片, ...
2019-12-23 16:01:24
443
原创 python 多线程 以及 定时任务
# -*- coding:utf-8 -*-from threading import Threadfrom datetime import datetime, datefrom apscheduler.schedulers.blocking import BlockingSchedulerimport timedef recover(lis): for i in lis:...
2019-10-17 15:37:09
910
原创 二叉树的遍历 前序遍历 中序遍历 后序遍历 层次遍历
class Node(): # 节点类 def __init__(self, data=-1): self.data = data self.left = None self.right = Noneclass Tree(): # 树类 def __init__(self): self.root =...
2019-10-12 18:21:05
154
原创 spark 笔记 pyspark
pyspark.sql.functions 中函数应用 DataFrame 转变from pyspark import SparkConf, SparkContextfrom pyspark.sql import SparkSessionspark = SparkSession.builder\ .appName('test1') \ .master('loc...
2019-08-26 15:59:05
607
原创 pyspark RDD 编程应用
例：词频统计用 python 实现from functools import reducedatas = [ 'hadoop spark hbase hadoop hbase', 'spark hbase hive spark hive', 'spark storm hbase hive hadoop', 'hadoop hadoop storm oozie...
2019-08-23 14:20:58
383
原创 pyspark 机器学习 逻辑回归 Pipeline
构建环境导入模块from pyspark import SparkConf, SparkContextfrom pyspark.sql import SparkSessionspark = SparkSession.builder.config(conf = SparkConf()).getOrCreate()from pyspark.ml.linalg import Vector,V...
2019-08-20 15:09:51
1758
原创 pyspark 操作
df = spark.createDataFrame([('Natalie', 'F', 16.0,160.0), ('Logan', None,18.0,182.0), ('Joseph', 'M',None,None), ...
2019-08-13 15:43:29
582
原创 python happybase 操作 hbase
启动 hbasebin/start-hbase.sh启动 thrift 服务bin/hbase-daemon.sh start thrift连接 hbase 数据库import happybaseconnection = happybase.Connection(host='qq3', port=9090)happybase.Connection(host=’localhost’...
2019-08-08 09:30:24
788
原创 python time模块 datetime模块常用 转换
time.time() 返回时间戳struct_time、Timestrap、String之间转换time.time() 返回当前时间戳import timetime.time()1564708059.2867548time.localtime() 接收时间戳，返回 struct_time 不给参数默认当前时间print(time.localtime(1564708059.28...
2019-08-06 17:36:01
422
原创 pyspark dataframe 列的合并与拆分，单行转多行
test_score = spark.createDataFrame([{'name':'王强','score':'{"语文":119,"数学":125,"外语":120,"物理":96,"化学":70,"生物":40}'}, {'name':'刘明','score':'{"语文":105,"数学":121,"外语":110,...
2019-07-23 16:59:03
5556
1
原创 Jupyter 快捷键
Jupyter Notebook 快捷键命令操作Ctrl+Enter执行cellShift+Enter执行本cell且 切换到下一个cellAlt+Enter执行本cell且 向下新建一个cellA向上建立一个cellB向下建立一个celldd删除cellesc+mm把cell切换至markdown模式esc+yy把...
2019-06-11 18:06:59
174
原创 使用nssm注册 windows服务 及使用命令
使用nssm注册 windows服务 及使用命令nssm 软件下载地址：http://www.nssm.cc/downloadnssm no-sucking service manager安装服务命令 nssm install <servicename> nssm install <servicename> <program> ...
2019-06-11 17:57:51
974
原创 janusgraph Composite Index创建 复合索引创建
janusgraph 索引创建需要一个过程，不像 Neo4j 中创建索引一样，一条语句就搞定下面简单说明以下各个状态及操作：索引状态States(SchemaStatus)DescriptionINSTALLEDThe index is installed in the system but not yet registered with all instances i...
2019-06-05 18:10:15
605
原创 十大排序方法 Python实现
排序算法平均时间复杂度最好情况最坏情况空间复杂度排序方式稳定性冒泡排序O(n²)O(n)O(n²)O(1)In-place稳定选择排序O(n²)O(n²)O(n²)O(1)In-place不稳定插入排序O(n²)O(n)O(n²)O(1)In-place稳定希尔排序O(n log n)O(n log² n)O...
2019-06-03 21:47:53
268
原创 Hadoop Hbase 分布式搭建 （用自带的zookeeper）
Hadoop 分布式请参考 Hadoop 分布式搭建值得注意的是hadoop 和 hbase 版本支持，参考如下：版本不对可能搭建不成功我用了两台电脑 qq1 和 qq2先在 qq1 上解压并配置配置文件在 conf 文件夹下配置如下：hbase-env.sh 文件 导入Java JDKHBASE_MANAGES_ZK 设置为 trueexport JAVA_HOME=/usr...
2019-05-30 00:47:30
759
原创 Hadoop分布式 Hive 搭建
说明：Hive 搭建需要借助 MySQL 存储元数据，因此要安装 MySQL 具体参考： MySQL 安装Hive 是建立在 Hadoop 上的，因此需要先搭建 Hadoop 具体参考：Hadoop 搭建注意：Hive只需在Hadoop集群的NameNode节点上安装即可，无需在DataNode节点上安装下载并解压hive安装包到 /opt 目录下 改变所属用户为当前用户下载地址...
2019-05-26 19:28:15
538
原创 Neo4j使用 实例介绍 快速上手 从入门到熟练
节点用 () 表示关系用 [] 表示节点到节点的关系用 ()-[]->() 表示节点和关系中都可以有属性，用 {} 表示，里面以键值对表示属性名和值节点：表示一个实体记录，就像关系数据库中的一条记录一样，一个节点可以包含多个属性(property)和多个标签(Label)例如图片中有两个节点左边节点 Label 为 Person，节点的属性有 name ，birth ，ge...
2019-05-26 14:32:02
2874
原创 CentOS7 下分布式Hadoop2.9.2 搭建
一、说明在win10上共装两台CentOS 7 虚拟机IP 和 主机名分别为：192.168.13.132 qq1192.168.13.133 qq2两台计算机分配如下二、更改 hosts 文件建立映射关系将上面的 IP 和主机名分别复制到 win10 的 hosts 和 两台虚拟机的 /etc/hosts 文件中并保存三、关闭虚拟机防火墙关闭防火墙：systemctl ...
2019-05-25 23:15:13
303
原创 CentOS-7 MySQL 5.7.26安装
我用的非root账户 在 /usr/local目录下安装卸载系统自带的 mariadb 否则影响 mysql 的安装查找是否有：rpm -qa|grep mariadb卸载：sudo rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64创建 mysql 用户组： sudo groupadd mysql创建 mysql 用户(禁止登录)： s...
2019-05-25 12:08:01
1957
3
原创 Neo4j数据库 linux下安装 windows下安装
Neo4j数据库 linux安装 windows安装windows下 安装1、Java JDK 安装2、下载Neo4j3、以管理员身份打开CMD4、注册Neo4j服务linux下 安装1、Java JDK 安装2、下载Neo4j3、启动neo4j服务windows下 安装1、Java JDK 安装首先检查是否安装java JDK打开CMD 运行java -version如果有则跳过这步...
2019-02-11 23:16:50
265
标注工具-视频图片标注-深度学习
2022-01-18
person-movie-genre.rar
2019-05-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人