Die Luft der Freiheit weht

原创 异常监测②——lstm时间序列预测&lstm简易原理

lstm的原理，三个门是怎样作用的，对应的公式是什么

原创 dvc使用方法

参考使用文档。

原创 linux上的tensorflow 2.4.1-gpu c++接口编译并用其运行.pb模型

文章目录所有报错及解决办法`cmake ..` 报错合集`make` 报错合集`./your_demo` 过程报错合集1、段错误（核心已转储）2、报错`Invalid argument:Tensor ShuffleOutputPb:0,specified in either feed_devices or fetch_devices was not found in the Graph`3、报错 `No algorithm worked`所有报错及解决办法cmake .. 报错合集待make 报错

原创 二手车价格预测

文章目录1、问题分析1.1 赛题理解1.2 评价指标1、问题分析1.1 赛题理解1.2 评价指标本赛题评价指标：MAE（Mean Absolute Error）平均绝对误差。即绝对误差的平均值：yiy_iyi​：第i个样本实例的真实值yi^\hat{y_i}yi​^​:第i个样本的预测值MAE值越小，则模型越准确。MAE由来：衡量回归模型拟合的是否准确，首先会想到取各个点的差值求平均。MAE缺点： 实际拟合时，差值可能有正有负，那么求均值时会相互抵消，导致最终MAE值可能很小

原创 集成学习-xgboost原理

文章目录目标函数构造目标函数目标函数优化问题基于决策树的目标函数选择分裂节点策略1、贪心算法2、近似算法3、加权分位数稀疏感知算法目标函数xgboost是由k个基模型组成的一个加法运算式。模型的预测精度由模型的偏差和方差共同决定，我们追求偏差小方差小的模型。损失函数代表了模型的偏差，提升模型复杂度可以减小偏差。但模型过于复杂时容易过拟合，使用正则项抑制模型复杂度。选用抑制模型复杂度的正则项Ω\OmegaΩ 来衡量。增加模型的复杂度通常会显著提升模型的方差并减少偏差。反过来，降低模型的复杂度则会

原创 心跳信号分类预测(tsfresh特征工程)

文章目录1、问题建模赛题理解赛题数据评价指标混淆矩阵线下验证2、数据探索性分析（EDA）1、问题建模赛题理解赛题数据每种数据集之间的关系数据中缺失值的情况类别特征和数值特征的基本分布评价指标分类指标：精确率、召回率、AUC、logloss回归指标：MAE、MAPE、RMSE本赛题为多分类问题，常用评价指标为混淆矩阵。混淆矩阵准确率通常无法成为分类器的首要性能指标，特别是当你处理有偏数据集时（即某些类比其他类更为频繁）。可以使用confusion_matrix()函数来获取混淆矩阵

原创 smtplib发邮件

dataframe转html（且dataframe中含图片） ，smtplib利用qq邮箱授权代发邮件# smtplib_mail.py# -*- coding:utf-8 -*-import smtplibimport configparserfrom email.mime.text import MIMETextfrom email.mime.multipart imp...

原创 flask接口实现(返回csv、json)

Flask官方文档：https://dormousehole.readthedocs.io/en/latest/index.html本flask接口实现功能1）入参无‘json’时，返回csv文件2）入参json有任意值（如：json=1）时，在前端返回json3）各入参均可接收多个（以逗号分隔，如http://0.0.0.0:8888/myapi?studentId=101...

原创 异常监测①——统计学方法判断

异常监测①——统计学方法（正态分布3σ原则、箱型图四分位距法、经验阈值、累积法）异常监测②——时间序列预测（lstm模型）Table of Contents需求方案实现问题记录需求需要建立一个自动监测机制，主要监测 数据处理 这个环节是否发生了异常。异常：缺、多、数值不对 可能发生的异常有： ①在某段时间内数据未及时处理，堆积到了下一次应处理时间...

原创 利用python进行数据分析——笔记

目录第4章 Numpy基础第5章 Pandas入门第4章 Numpy基础数组运算：大小相等的数组间、数组和标量间的算术运算都会将运算应用到各个元素。数组的比较运算会产生bool型数组。示例：数组切片：arr[5:8]是从下标5 到下标7将一个标量值赋给一个切片时，该值会自动传播到整个选区。数组切片与列表不同，数组切片时原始数组的视图，修改会直接反映到源数组上...

原创 mongodb日常操作&bug记录

190806更新：今天跑mongo用count()时报了一个错error: { “$err” : “not master and slaveOk=false”, “code” : 13435 }stackoverflow一下：https://stackoverflow.com/questions/8990158/需要在查询前加一行rs.slaveOk() 日期查询 ...

原创 决策树

参考视频：https://www.bilibili.com/video/av26086646/参考文章：https://zhuanlan.zhihu.com/p/20794583目录一、特征选择二、决策树生成三、决策树剪枝决策树，是一种基本的分类与回归方法，可看做 if-then 规则的集合。决策树的路径特征：互斥且完备（即每一个样本均被且只能被一条路径所覆盖）...

原创 异常侦测anomaly detection

2019spring李宏毅老师的机器学习课程http://speech.ee.ntu.edu.tw/~tlkagk/courses.html学习进度：2019.3.29 ：1、anomaly detection（异常侦测系统）的创建过程： 2、评价Anomaly Detection系统好坏的方法：2019.3.30：待补充2019.4.2 ：μ、∑的计算方法A...

原创 SQL报错（工作中遇到的）

本菜狗写SQL时各式各样的bug： 1370 - execute command denied to user 'username'@'%' for routine 'fulldb.sum' 原因：sum函数要和左括号连在一起，不能换行！exists()等子查询里，里面的字段必须指明是属于外层表还是内层表的。...

原创 selenium找不到下拉框的选项元素

bug description:爬虫脚本执行到点击完下拉框后，无法根据css_selector中的路径，找到   下拉框中另一非默认选项。下拉框示例：这里“选择一个”为默认选项，其它选项如下我们想要选中的是“等于”， 利用chrome的开发者工具，定位到下拉框所在的html标签位置，此标签为动态变化标签，动态变化是指当选中不同选项时，此标签会发生改变，如从 <d...

原创 Python学习笔记——多线程锁

原创 sublime报错——SyntaxError: Non-ASCII character '\xe5' in file

报错提示：SyntaxError: Non-ASCII character '\xe5' in file /Users/... ...       原因：Python默认以ASCII码作为编码方式，这个错误是说在文件中存在着非法的ASCII字符（有可能是源码中存在中文）       解决办法：在脚本第一行加上：  #coding=utf-8     ...

原创 Python学习笔记——excel表格处理

1、涉及内容：openpyxl.load_workbook、workbook.sheetnames、workbook['表名']、sheet['A1'].row 、sheet['A1'].columnexample.xlsx：'''openpyxl模块1、用 openpyxl.load_workbook()方法返回workbook对象2、workbook对象的sheetname...

原创 Python学习笔记——selenium之豆瓣读书点击、登录

书：《Python编程快速上手-让繁琐工作自动化》——P236页 打开豆瓣读书页面 https://book.douban.com/，模拟点击右上角的【登录】元素，在登录页输入豆瓣账号，密码，模拟登录'''1、创建webdriver对象2、调用webdriver对象的get方法3、用find_element方法寻找元素4、调用webelement对象的属性方法1、调用webe...

原创 Python爬虫1—自动在新选项卡中打开子页面链接

学习路径：1）《简明python教程》 （用以了解python基础）                  2）《Python编程快速上手—让繁琐工作自动化》（主要看第11章即以后的内容，包括requests获取网页，BeautifulSoup解析HTML、selenium模块等等） 第11章——项目1'''只要在命令行中输入查找主题，计算机自动打开浏览器，并在新的选项卡中显示前面...

原创 Python学习笔记——回文判断

'''判断用户输入的文本是否为回文（对称）；考虑如何忽略文本的标点空格与大小写1、先用str.lower()将字符串全部转为小写2、定义元组，保存所有需要禁用的标点符号3、遍历，若字符串中有上面元组内的项目，则用list remove方法移除字符（在此之前需要将原字符串转为列表）'''def reverse(text): return text[::-1] # 利用切片...

原创 Python学习笔记——面向对象（类与对象）

1、类class Person: # 创建一个新类 pass # 这个类的主体是 一个空的代码块p = Person() # 采用类名()的方式给这个类创建一个对象print(p) # 打印结果告诉我们 在Person类的 __main__模块中拥有了一个实例；# 此外还会打印出计算机内存中存储这个对象的地址2、__init__方法class Perso...

原创 Python学习笔记——备份文件的脚本

 opt+cmd+L快捷键可以格式化代码（自动在等号左右加空格，平时手写应保持这样的良好习惯）第二版： 使用时间作为文件名，存储在以当前日期为名字的文件夹中，这一文件夹则照常存储在主备份目录下import osimport time'''使用时间作为文件名，存储在以当前日期为名字的文件夹中，这一文件夹则照常存储在主备份目录下1、先设置备份文件路径，2、再给出目标文件...

原创 Python学习笔记——数据结构

1、列表使用中括号[ ]#列表应该用方括号括起来shoplist=['apple','pen','mango']print(len(shoplist))def printshoplist(): print('The items are:') for item in shoplist: print(item,end=',') #使用 end 参数，这...

原创 Python 学习笔记——module

1、from module import 变量名如果希望直接将某个变量导入程序（避免每次都要输入 module. ），那么可以使用 from module import 变量名来实现。但是，一般来说，应尽量避免使用 from... import语句，而应该使用import语句。from... import示例：from math import sqrtrunning=Tru...

原创 Python 可变参数

 有时可能想定义的函数里面能够有任意数量的变量，也就是参数数量是可变的，这可以通过使用星号来实现def total(a=5,*numbers,**phonebook): print(a) for single in numbers: print('numbers',single) for first,second in phonebook.items(...

原创 SQL not exists(select 1...

SQL筛选每个订单（orderId）的时间（createTime）最早的那条记录select a.* from orders a where not exists --将orders表命名为a，下面一句又将orders表命名为b;可看做将orders表复制了两份，一份叫a,一份叫b(select 1 from orders b  where b.orderId=a.orderId and...

原创 Java——static关键字

static的存在是因为，当多个对象的某个成员都相同时，堆内存中会比较占空间；使用static，将此被“共享”的成员拿出来，单独存放在方法区。 class Dog { static String name="guana";//定义静态变量name int age;}class DogDemo{ public static void main(String[] a...

原创 Java——this关键字在构造函数间的调用

class Persona{ int age; String name; Persona(int age){ this.age=age; System.out.println("love"); } Persona(String name,int age){ this(age); /...

原创 Java——构造函数

构造函数1）函数名与类名相同2）不用定义返回值类型3）不可以写return语句//对象一建立、就会调用与之对应的构造函数//当一个类中没有定义构造函数时，系统会默认给该类加入一个空参数的构造函数//而若在类中自定义了构造函数、默认的构造函数就被覆盖了。什么时候自定义构造函数？——当该事物一建立，就具备一些特性或行为，则将这些内容定义在构造函数中。  为什么构造函...

原创 Java——二维数组

二维数组元素求和public class Twoweiarr { public static void main(String[] args){ int [][] arr={{1,1,1},{1,1,1},{1,1,1}}; int sum=0; for(int x=0;x<arr.length;x++){ ...

原创 Java——查表法进制转换

public class formattrans { public static void main(String[] args){ toBin(8); toHex(60); toEight(16); }//双重引用，这样再调用时就不用再填base、offset值，只需写num（待转化的数） public static v...

原创 Java——数组求最值、数组排序

数组求最值 public class arraymax { public static void main(String args[]){ int []arr={10,18,60,5,77}; int max=getMax(arr); System.out.println(max); } public static int...