joyceying小洲-CSDN博客

原创 OD学习5-高维数据异常检测

{blog framework}feature bagging实例# -*- coding: utf-8 -*-"""Example of using Feature Bagging for outlier detection"""# Author: Yue Zhao <[email protected]># License: BSD 2 clausefrom __future__ import divisionfrom __future__ import print_functio

2021-01-25 00:22:58 491

原创 OD学习4-基于相似度的异常检测

基于相似度的异常检测①基于距离度量代表算法：KNN算法（K近邻【在本人的博客OD学习1中有提及】）②基于密度度量代表算法：LOF以及基于lof算法优化的loci等算法以下给出赵越老师的lof算法实例# -*- coding: utf-8 -*-"""Example of using LOF for outlier detection"""# Author: Yue Zhao <[email protected]># License: BSD 2 clausefrom __futu

2021-01-21 17:36:10 274

原创 OD学习3-线性模型

PCA实例# -*- coding: utf-8 -*-from __future__ import divisionfrom __future__ import print_functionimport osimport sysimport unittest# noinspection PyProtectedMemberfrom numpy.testing import assert_allclosefrom numpy.testing import assert_array_le.

2021-01-18 21:24:00 267 1

原创 OD学习2-调用PyOD运行HBOS算法

HBOS是一种单变量方法的组合，不能对特征之间的依赖关系进行建模，但是计算速度较快，对大数据集友好。HBOS的基本假设是数据集的每个维度相互独立。对每个维度进行区间划分，区间的密度越高，异常评分越低。HBOS算法流程为每个数据维度做出数据直方图。对分类数据统计每个值的频数并计算相对频率。对每个维度都计算了一个独立的直方图，其中每个箱子的高度表示密度的估计。然后为了使得最大高度为1（确保每个特征与异常值得分的权重相等），对直方图进行归一化处理。参考代码：from __future__ impo

2021-01-15 22:12:17 550

原创 OD学习一：异常检测概述

一、理论学习二、代码实践赵越老师写的KNN示例# -*- coding: utf-8 -*-"""Example of using kNN for outlier detection"""# Author: Yue Zhao <[email protected]># License: BSD 2 clausefrom __future__ import divisionfrom __future__ import print_functionimport osimport

2021-01-13 00:42:18 435

原创切忌复杂化简单问题，遇到问题分类即可

7-13 后天如果今天是星期三，后天就是星期五；如果今天是星期六，后天就是星期一。我们用数字1到7对应星期一到星期日。给定某一天，请你输出那天的“后天”是星期几。输入格式：输入第一行给出一个正整数D（1 ≤ D ≤ 7），代表星期里的某一天。输出格式：在一行中输出D天的后天是星期几。输入样例：3输出样例：5...

2020-11-18 20:56:35 286

原创 Anaconda 安装tensorflow

参考博客：https://blog.csdn.net/weixin_43774880/article/details/100122390最后验证阶段无法运行，参考博客：https://www.cnblogs.com/123456www/p/12584427.html

2020-11-16 00:17:24 88

原创 task3-特征工程

导入需要用的函数库import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snsimport datetimefrom tqdm import tqdmfrom sklearn.preprocessing import LabelEncoderfrom sklearn.feature_selection import SelectKBestfrom sklearn.featu

2020-09-21 22:28:54 133

原创金融风控贷款违约预测探索性数据分析（EDA)【上】

此步骤是为了初步了解数据，熟悉数据为特征工程做准备，不仅要要统计量来显示数据，将数据可视化更利于观察各个类型变量之间的关系1. 数据概览了解导入数据分析及可视化过程需要的库import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snsimport datetimeimport warningswarnings.filterwarnings('ignore')train.

2020-09-19 09:42:33 490

原创【天池-Datawhale】零基础入门金融风控-贷款违约预测&赛题理解

赛题以金融风控中的个人信贷为背景，要求选手根据贷款申请人的数据信息预测其是否有违约的可能（赛事目标），以此判断是否通过此项贷款，这是一个典型的分类问题。一、理解数据该数据来自某信贷平台的贷款记录，总数据量超过120w，包含47列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取80万条作为训练集，20万条作为测试集A，20万条作为测试集B字段表FieldDescriptionid为贷款清单分配的唯一信用证标识loanAmnt贷款金额term贷.

2020-09-15 22:14:17 425

原创机器学习算法笔记：基于支持向量机的分类预测

本文结构1. 代码流程Step1:库函数导入## 基础函数库import numpy as np ## 导入画图库import matplotlib.pyplot as pltimport seaborn as sns## 导入逻辑回归模型函数from sklearn import svmStep2:构建数据集并进行模型训练##Demo演示LogisticRegression分类## 构造数据集x_fearures = np.array([[-1, -2], [-.

2020-08-26 18:21:01 362

原创 import graphviz 之后无法使用

*问题：已经在jupyter notebook中使用pip install graphviz，import graphviz 之后无法使用，显示failed to execute [‘dot’, ‘-Tpdf’, ‘-O’, ‘pengunis’], make sure the Graphviz executables are on your systems’ PATH*原因：graphviz需要在系统中配置环境变量进入官网http://www.graphviz.org/download/根据不同

2020-08-24 20:17:50 1433 1

转载 jupyter notebook 代码补全功能

在jupyter notebook中补全要按tab键，不太方便。jupyter notebook有扩展插件jupyter_contrib_nbextensions，可以实现自动补全（这就是飞翔的感觉~）。首先要安装扩展插件，以该用户身份运行。pip install jupyter_contrib_nbextensions -i https://pypi.tuna.tsinghua.edu.cn/simplejupyter nbextensions_configurator enable --user

2020-08-23 20:56:44 653

原创基于逻辑回归的分类预测（iris数据集实例）

基于逻辑回归的分类预测（iris数据集实例）1. 构建模型的基本步骤基本步骤基于鸢尾花（iris）数据集的逻辑回归分类实践导入库函数导入库函数模型训练读取数据模型参数查看数据信息简单查看数据和模型可视化可视化描述模型预测利用逻辑分类模型在二分类上进行训练和预测利用逻辑回归模型在多分类上训练和预测2. 代码实现（基本步骤）①导入库函数# 基础库函数import numpy as np# 画图库import matplot

2020-08-20 16:39:05 3651 1

转载电脑重装后恢复上传hexo博客的功能

电脑重装后恢复上传hexo博客的功能一：安装Node.js，git，并查看当前软件环境二：配置SSH key查看C:\Users\用户名.ssh下有无ssh文件夹，没有则创建cd ~/. sshssh-keygen -t rsa -C "邮件地址"打开用户目录，找到.ssh\id_rsa.pub文件，记事本打开并复制里面的内容，打开你的github主页，进入个人设置 -> SSH and GPG keys -> New SSH key：测试是否成功ssh -T git@g

2020-06-17 10:10:54 362

原创零食行业python数据分析实例——基于淘宝搜索排名分析

近期课程作业中分析糖果行业的销售数据，基于此，对淘宝平台的零食行业进行简单的Python数据分析，数据可视化，为之后的糖果行业做铺垫，有兴趣进一步了解糖果行业的数据分析的小伙伴，欢迎关注我，多多交流

2020-05-27 19:16:33 2638

原创【零代码爬虫】如何使用webscraper插件爬取数据，以淘宝网为例

1. 安装插件可以打开chrome store 的用户直接在里面搜索即可无法科学上网的用户，我也准备了webscraper的安装包领取方式如下：公众号【小洲三流road】后台回复webscraper获得本地解压安装包，最好放在新建的chrome 插件文件夹中，方便管理在chrome浏览器中输入：chrome://extensions/在图示位置选择文件点击文件夹，注意！不要打开，而是选择整个文件夹接下来你就可以看到这个了（显示错误没关系，可以正常使用，忽略即可）2. 以淘宝网为

2020-05-27 18:44:59 3429 1

原创 obs黑屏无法获取窗口

obs黑屏无法获取窗口找了很多方法都没用，只有这个有效如果是WIN10 1909黑屏的话。解决方法如下：系统-显示-图形设置-经典应用浏览-选择OBS Studio(大约是\obs-studio\bin\64bit)-选择节能.问题就解决了。来源：https://zhidao.baidu.com/question/814244791084838932.html...

2020-04-27 00:15:20 3109

原创 jupyter notebook 中安装代码自动补充功能

jupyter notebook 中安装代码自动补充功能在anaconda powershell prompt中输入以下命令(图片中的两者皆可，只是powershell中包含命令更多)pip install jupyter_contrib_nbextensionsjupyter contrib nbextension install --userpip install --use...

2020-04-26 23:46:49 288

原创 win系统81.0.4044.122/129版本的chrome对应的chrome driver下载与安装【4步安装】

win系统81.0.4044.122版本的chrome对应的chrome driver下载与安装开始按照网上的大部分教程安装，但都错在第一步，大部分教程是2019年的，没有出现过像我这版本的chrome没有对应的chromedriver。实现步骤如下1. 点击chrome里的三个点>>选择帮助>>关于Google chrome查看版本号2. 对应版本官方下载地...

2020-04-23 21:59:03 7200 17

原创 Linux中ctrl+f2进入编辑模式后，localhost怎么输入密码都不对

Linux中ctrl+f2进入编辑模式后，localhost怎么输入密码都不对localhost login:******Password:*******Linux环境下password的输入是不显示的，直接输入，按enter即可。在确保用户名和密码正确的情况下密码中的数字一定！一定！一定！要在主键盘输入（即字母上的那行数字），不要在旁边的小键盘输入。参考来源：https://a...

2020-04-21 23:56:38 932

原创安装sitemap插件时遇到found 4 low severity vulnerabilities

【small-debug】安装sitemap插件时遇到found 4 low severity vulnerabilities正在安装sitemap插件npm install hexo-generator-sitemap --save 适合提交给谷歌搜素引擎npm install hexo-generator-baidu-sitemap --save 适合提交百度搜索引擎出现...

2020-04-21 16:11:18 3559

小洲三流road的博客