- 博客(55)
- 资源 (3)
- 收藏
- 关注
原创 pytorch基础知识Tensor算术运算
torch.sparse_coo_tensor coo元素表示非零元素的坐标形式# i非0元素坐标,v非0元素值# 稀疏的张量# 将稀疏的张量转化为稠密的张量print(a)print(b)# 打印结果。
2024-06-26 17:42:22
341
原创 利用pyinstaller打包python代码为exe工具
最近利用tkinter写了一个小工具,并且打包为exe运行,以下记录总结下过程。python -m venv venv执行pip list 验证,若是无法启动,可能需要执行以下步骤:1、终端输入get-executionpolicy,回车返回Restricted。2、win+r快捷键打开,输入 powershell 打开 windows powershell,命令窗口输Start-Process powershell -Verb runAs 进入管理员模式,再输入set-executionpolicy re
2024-04-24 18:03:25
356
1
原创 docker 容器中安装cron,却无法启动定时任务
都会有个问题就是cron服务正常启动,但是加入到/etc/con.d下的任务,或者crontab -e 添加的定时任务都没有运行。写个sh 脚本用来添加定时任务,顺便在重启cron时添加环境变量。当我是在Dockerfile配置安装cron。cronfile中定义自己的任务。大概是因为没有添加上环境变量。或者进入容器中安装cron。需要给sh 脚本加上运行权限。
2024-04-17 14:32:07
997
1
原创 Kfka监控工具--Kafka-eagle安装
efak.zk.cluster.alias=cluster1 #kafka集群别名,这里可以配置多个集群,逗号分开。cluster1.zk.list=localhost:2181 #配置zk 集群地址。JMX 是一个为应用程序植入管理功能的框架。配置数据库的连接,配置本地已安装的数据库。
2023-10-07 16:50:02
415
原创 Kafka核心原理
一般来说,重要程度越高的,安全级别越高,速率越高,优先保证安全性,在此基础上,保持平衡。通过分片,将一个大的容器分解为多个小的容器,分布在不同的节点上,从而实现分布式存储。1:生产者将数据生产到Broker,需要等待Broker端Topic的对应分片上的主副本接收到消息后,即为成功发送消息。-1: 生产者将数据生产到broker,需要等待broker端Topic的对应分片所有副本都接收到消息,即为成功发送。提升数据的可靠性,副本越多数据越可靠,但是数据冗余越高。生产者生产是数据到broker。
2023-10-05 20:51:34
589
原创 kafka 集群搭建 & 常用命令
3> 将安装好的kafka 分发到其他服务器。 将kafka 压缩包解压到某一目录。scp /etc/profile 服务器。配置KAFKA_HOME环境变量。将profile分发到各节点。 修改节点配置文件。查看是否搭建成功。
2023-09-28 22:29:10
1390
原创 Redis数据库操作
有序集合,每个元素都会关联一个double类型的score,表示权重,通过权重将元素从小到大排序。hmget key field1 field2 获取键的多个属性的值。无需集合,元素为字符串,元素具有唯一性,不重复,对于集合没有修改操作。低延迟,速度快(基于内存,IO多路复用,良好的编码)hdel key field 删除键的某个属性。keys * 查看所有的键,支持正则表达式。del key 删除hash键的所有属性。hkeys key 获取指定键的所有属性。hvals key 获取键所有属性的值。
2023-06-24 17:48:06
465
原创 Flask-数据库迁移
将模型类生成迁移脚本: python xxx.py db migrate -m "注释"如果想要原数据,需要使用工具,navicat,mysqlworkbench等。将迁移脚本更新到数据库中:python xxx.py db upgrade。当数据库对的表结构发生变化之后,如果直接删除原有的数据,可能导致数据丢失。生成迁移文件夹:python xxx.py db init。通过Manager 类创建对象,管理app。使用Migrate关联db, app。是为了备份表结构,而不是数据。
2023-06-06 19:23:29
910
3
原创 Flask知识点2
3>创建CSRFProtect对象,保护app对象:CSRFProtect(app)get_flashed_messages() : 用来消耗flash方法中存储的消息。使用flash存储消息时,需要设置SECRET_KEY。flash 内部消息存储依赖了session。安装扩展包 flask-wtf。CSRFProtect解决CSRF。
2023-06-01 17:22:04
550
原创 Flask小知识点
组成:werkzueg(专门用来处理请求相关URL) + jinja2(用来渲染模板页面) + 其他扩展包(flask-cache)url_for('视图函数', key=value) 反解析,返回视图函数相对应的路由地址。当访问服务器资源时,如果找不到该资源,可以报出异常信息,使用errorhandler捕捉。return '字符串',状态码,响应头信息。# 将转换器类添加到系统默认的转换器列表中。#重写父类BaseConverter。return "页面找不到"
2023-05-15 16:51:56
603
原创 个人Django项目的创建流程,个人开发习惯
models.UserInfo.objects.create(**{'name': '提莫', 'age': 19, 'email': 'timo@liammen.com'})models.UserInfo.objects.create(name='亚瑟王', age=19, email='yase@lianmen.com')models.UserInfo.objects.create(name='亚索', age=19, email='yasuo@lianmen.com')
2023-04-05 18:16:49
415
原创 Pandas 02之时间处理
其freq参数指定输出哪天的日期,W表示周日输出,W-MON周一输出等,B表示工作日。丰富的函数支持:resample(), truncate() , 等。时间序列就是以时间对象为索引的Series或DateFrame。可以用年,月,年月作为切片。可以用日期范围作为切片。
2022-08-25 11:37:50
266
原创 Pandas 01 之Series与DataFrame之排序函数等常用函数
dropna(how='all') 有一行所有的数据为空时,才会删除。两种索引方式: 下标,标签,支持列表特性与字典特性。当两个数组计算时,按照索引对齐再进行计算。sr.iloc[2] 下标。sr.loc[2] 标签。describe 描述。
2022-08-24 17:54:13
304
原创 JAVA-方法引用-01
<1>通过对象名引用成员方法 ,使用前提是对象名是已经存在的,成员方法也是存在的定义一个函数式接口package Demo41;@FunctionalInterfacepublic interface Printable { public abstract void print(String s);}定义一个类以及其方法package Demo41;public class Demo01MethodRerObject { public void pri
2022-04-24 20:49:38
526
原创 JAVA-使用Stream流式思想处理数据
<1>java.util.stream.Stream<T> 是java8新加入的最常用的流接口,并非函数式接口获取流常用的方式: 所有的Collection集合都可以通过stream默认方法获取流: default Stream<E> stream() Stream接口的静态方法of可以获取数组对应的流 :static <T> Stream<T> of (T... values) 注意:Stream 流属于管道流,只能被使用一次,第.
2022-04-21 22:25:14
887
原创 JAVA-JDK中常用的函数式接口
JDK中提供了大量的函数式接口以丰富Lambda的典型使用场景,主要在java.util.function包。<1>Supplier接口Supplier<T> 接口仅包含一个无参的方法,T get(),用来获取一个泛型参数指定类型的对象数据 //该接口被称之为生产型接口,指定接口的泛型是什么类型,那么接口中的get方法就会生产什么类型的数据package Demo38;import java.util.function.Supplier;public class
2022-04-19 20:29:53
1145
原创 JAVA-函数式接口作为方法返回值的用法
package Demo38;import java.util.Arrays;import java.util.Comparator;//若是一个方法的返回值类型是函数式接口,那么就可以返回一个lambda表达式//这里当需要通过一个方法来获取Comparator接口类型的对象作为排序器时,就可以调用该方法获取public class Demo01Cmparator { public static Comparator<String> getComparator(){.
2022-04-19 19:34:57
1029
原创 JAVA-函数式接口作为函数参数的用法-日志性能优化
调用showLog方法,参数MessageBuilder是一个函数式接口,可以传递lambda表达式 使用lambda表达式作为参数传递,仅仅是把参数传递到showLog()方法中,只有满足条件,等级是1,才会调用接口MessageBuilder中的方法buildMessage,才会进行字符串的拼接 反之条件不满足,等级不是1,接口中的方法不会执行,不存在性能的浪费<1>定义一个接口用来拼接日志信息package Demo36;@FunctionalInterfacep.
2022-04-18 22:37:40
467
原创 JAVA-函数式接口作为函数参数的用法-概念
概念:有且仅有一个抽象方法的接口,称之为函数式接口 一般可以作为方法的参数和返回值类型<1>定义一个函数式接口package Demo35;@FunctionalInterface public interface Demo01MyFunctionalInterface {public abstract void method();}<2>接口实现类,重写抽象方法package Demo35;public class Demo...
2022-04-18 22:31:05
2077
原创 JAVA-文件上传案列实现
TCP通信的文件上传案列,即便是客户端读取本地的文件,把文件上传到服务器,服务器把上传的文件保存到服务器的硬盘上,即是文件的复制,文件的下载是相同的原理。实现步骤:1、客户端使用本地的字节输入流,读取要上传的文件2、客户端使用网络字节输出流,把读取到的文件上传到服务器3、服务器使用网络字节输入流 ,读取客户端上传的文件4、服务器使用本地字节输出流,把读取到的文件,保存到服务器的硬盘上5、服务器使用网络字节输出流,给客户端回复上传成功6、客户端使用网络字节输入流,读取服务器回写的数据7、释放
2022-04-16 14:55:01
209
原创 JAVA-TCP通信客户端服务端-基础
package Demo34;/*java.net.Socket 实现客户端套接字Socket(String host,int port)成员方法:OutputStream getOutputStream() 返回套接字的输出流InputStream getInputStream() 返回套接字的输入流void close() 关闭次套接字客户端和服务端交互,必须使用Socket中提供的网络流,不能使用自己创建的对象流*/import java.io.IOException;im
2022-04-16 13:05:58
1009
原创 JAVA-打印流-基础
package Demo33;import java.io.FileNotFoundException;import java.io.PrintStream;public class Demo03PrintStream { public static void main(String[] args) throws FileNotFoundException { PrintStream ps = new PrintStream("D:\\a.txt"); p.
2022-04-15 20:11:49
387
原创 JAVA-序列化与反序列化流-基础
注意点:<0> ObjectOutputStream 对象的序列化流 把对象以流的方式写入文件中保存 继承自OutputStreamObjectInputStream 对象的反序列化流,会声明抛出ClassNotFoundException<1> 类通过java.io.Serializable接口启用序列化功能。没有实现此接口的类无法使其任何状态序列化和反序列化Serializable接口也叫标记性接口,要进行序列化和反序列化的类必须实现Serializable接口&.
2022-04-14 22:46:40
355
原创 JAVA-转换流-基础
package Demo32;import java.io.*;public class Demo01OutputStreamWriter { //字符流通向字节流的桥梁、 public static void main(String[] args) throws IOException{ write_utf8(); read_ut8(); } public static void write_utf8() throws IOExc.
2022-04-13 22:03:27
361
原创 JAVA-缓冲流-基础
//1、字符缓冲流package Demo31;import java.io.*;public class Demo02Copy { public static void main(String[] args) throws IOException { long s = System.currentTimeMillis(); BufferedInputStream bis = new BufferedInputStream(new Fi.
2022-04-13 21:47:45
317
原创 JAVA-字符流-基础
public class Demo03Reader { public static void main(String[] args) throws IOException { //方法一,每次读取一个字符 FileReader fr = new FileReader("D:\\a.txt"); int len = 0; while ((len=fr.read()) != -1){ System.out.prin.
2022-04-13 21:41:41
266
原创 JAVA-字节流-基础
import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;//文件复制 一读一写public class Demo02OutputStream { public static void main(String[] args) throws IOException { FileInputStream fis = new FileInputStream(".
2022-04-13 21:23:06
300
原创 数据结构学习<1>
1、collection 容器数据类型dequefrom collectioins import dequeq = deque(maxlen=5)q.append()q.appendleft()q.popleft()从队列两端插入和删除元素,时间复杂度都是O(1),而从列表删除和添加元素的时间复杂度是O(n)2、找到最大或最小的元素 heapqimport heapqnums = [3,34,56,2,67,89,0,-3]heapq.nlargest(3,nums)heapq.ns
2021-04-26 19:53:22
119
原创 机器学习的分类
机器学习的分类:机器学习:计算机进行数据处理,找到数据间映射关系的过程1、督学习:本数据集中的数据,包括样本数据以及样本数据的标签。通过学习找到样本数据与数据标签之间的映射关系。主要解决回归问题和分类问题。 回归问题: 既是通过对现有数据的分析,找到映射关系,对以后的情况进行预测。 解决回归问题,主要有线性回归,决策树,随机森林,梯度提升决策树,神经网络等算法。 分类问题:通过对现有数据的分析,找到数据间的区别与...
2020-12-22 20:17:35
267
原创 Linux 命令整理
一、文件处理: ls -a 显示所有文件,包括隐藏文件 ls -l 显示文件详细信息 ls -d 显示目录属性 drwxr-xr-x d表示文件类型 目录 - 二进制文件 l 软链接文件 cat more head tail ***存储数据的最小单位, 数据块,block, 512字节 ln -s 建立软连接 类似于快捷方式 ,可以放...
2020-08-31 15:16:07
133
原创 IO多路复用(select,poll ,epoll 编程)
一、IO input output 在内存中存在数据交换的操作都可以认为是IO操作 和终端交互:input print 和磁盘交互: read write 和网络交互:recv send IO密集型程序:在程序执行过程中存在大量IO操作,而cpu运算操作较少。...
2019-03-19 10:18:49
217
原创 Python(cx_Oracle ,ibm_db)模块离线安装
一、cx_Oracle 模块线下安装cx_Oracle安装需要依赖oracle客户端的一些包,先下载instantclient-basic-linux.x64-11.2.0.4.0.zip,instantclient-sdk-linux.x64-11.2.0.4.0.zip再下载cx_Oracle-5.1.3.tar.gz包然后按照如下步骤执行即可:mkdir /opt/oraclec...
2019-01-24 13:01:53
1422
2
原创 python查找算法(顺序,二分)、排序算法(冒泡,插入,快速)
一、查找算法: 根据指定的值,在待查找数据集合中确认是否存在某一数据的值与该指定值相同。A. 顺序查找: 从待查找数据的第一个元素开始,逐个将每个元素与要查找的数据值进行对比:如果比较到两者值相同,则查找成功;如果一直到最后都未找到,则查找失败。特点: 不要求数据本身有序劣势: 当数据集合较大时,查找效率低代码示例:# 待查找数据集合 value# 查找的值 keydef...
2018-12-17 20:29:10
1538
原创 MongoDB数据库操作(修改器,索引,聚合,固定集合)
一、修改操作符(修改器)1、 $set 修改一个域 的值 e.g. 修改Lily的年龄 : db.class0.update({name:'Lily'},{$set:{age:17}}) 增加一个域 e.g. 为Jame增加sex域: db.class0.update({name:'Jame'},{$set:{sex:'m'}})2...
2018-12-12 17:35:49
1018
原创 关系型数据库与非关系型数据库,MongoDB数据库操作
一、关系型数据库与非关系型数据库的对比1、关系型数据库: 采用关系模型(二维表)来组织数据结构的数据库 oracle DB2 SQLServer Mysql SQLite 优点:*容易理解,逻辑类似常见的表格 *使用方便,都使用sql语句,sql语句非常成熟 *数据一致性高,冗余低,数据完整性好,便于操作 *技术成熟,...
2018-12-05 16:28:32
3317
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人