徐长亮的专栏

1 决策树算法1.1 决策树简介1.1.1 什么是决策树决策树主要有二元分支和多元分支.决策树是判定树内部结点是决策节点: 对某个属性的一次测试分支: 每条边代表一个测试结果.叶子: 代表某个类或者类的分布使用决策树进行判别:决策条件-决策路径-叶子(结果)代表分类决策树的数学模式解题思路:贪心的算法 greedy solution不是最好的树,全...

1 flink开发环境安装下载git clone https://github.com/apache/flink1.1 cmd命令行执行：set MAVEN_OPTS="-Xmx4G"mvn clean install package -Dmaven.test.skip=true1.2 powershell命令行执行set MAVEN_OPTS="-Xmx4G"mvn clean...

1 准备工作1.1下载安装包hadoopwget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gzjdk1.8.0_121下载mysqlwget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-community-serve...

1 pytorch的概念1.1 tensor张量1.1.1 PyTorch的tensor与NumPy array相互转换PyTorch的很多操作和numpy都是类似的，但是因为其能够在 GPU 上运行，所以比 NumPy 快很多。import torchimport numpy as np# 创建一个 numpy ndarraynumpy_tensor = np.random.ran...

1 传统关联规则挖掘1.1 简介目标: 发现事务数据库不同项之间的联系, 这些联系构成的规则, 可以帮助找到某些行为特征,帮忙决策场景: 超市, 网络浏览偏好, 入侵检测, 生产等领域与序列挖掘的不同:不考虑事务内,或者事件之间的先后顺序只考虑前件,后件不相交的项集1.1.1 相关的概念全局项I: I={i1,i2,...,ij,...,imi_{1},i...

注: 两整天的成果,谬误之处勿喷1 聚类概述样本没有训练的样本没有标注的样本1.1 相似度度量1.1.1 距离相似度度量距离度量 dist(oi,oj)dist(o_{i},o_{j})dist(oi​,oj​)欧式距离距离相似度度量sim(oi,oj)=11+dist(oi,oj)sim(o_{i},o_{j})= \frac{1}{1+dist(o_{i},o_...

1 梯队下降法:1.1 梯队比如一个一个函数f(x,y)f(x, y)f(x,y)，那么 fff 的梯度就是(∂f∂x, ∂f∂y)(\frac{\partial f}{\partial x},\ \frac{\partial f}{\partial y})(∂x∂f​, ∂y∂f​)可以称为 gradf(x,y)grad f(x, y)gradf(x,y) 或者 ...

1 低阶API设置python环境pip3 install tensorflow==1.12 -i https://pypi.tuna.tsinghua.edu.cn/simplefrom __future__ import absolute_importfrom __future__ import divisionfrom __future__ import print_functio...

0 导入包%matplotlib inlineimport matplotlib.pyplot as pltimport tensorflow as tfimport numpy as npfrom sklearn.metrics import confusion_matrix1 定义数据1.2 加载数据from mnist import MNISTdata = MNIST(d...

极端梯队提升 Extreme Gradient Boosting贪婪函数逼近 Greedy Function Approximation梯队提升树 gradient boosted trees监督学习 Supervised Learning模型和参数 Model and Parameters线性回归预测为例 linear model prediction :\hat{y}i = \su...

目标: 根据2019-01-01 至 2019-07-30 , 沪市指数的收盘价, 使用SVR, 回归预测 2019-07-31( 或者2019-08-01)的收盘价拟合结果:[LibSVM]..........................*...........*optimization finished, #iter = 10450obj = -17004...

__author__='徐长亮'# pip install tushare# pip install plotlyimport osimport numpy as npimport pandas as pdimport tushare as tsfrom datetime import datetime as dtimport matplotlib.pyplot as plti...

1.1基本状态查看集群状态 get _cluster/health get _cluster/state get _cluster/settings get _cluster/pending_tasks 注: get _cluster/health查看分片状态 get _cluster/state查看nodes,me...

#!/usr/bin/expect# 脚本名称: sftp.sh# 执行例程 expect sftp.sh '192.168.1.1' 'user' 'passwd' '/DXP/DATA/EDW/ROUT/BEIJING_2016-12-01.DAT' '/app/sftp/BCSS_FILE/BCSS/EC/201907'if {$argc < 5} {puts "Usa...

第一范式:1.表述:列的值唯一性2.违反范式1的是另外一种含义：一个列的存放多个列的数据，不方便数据使用、修改和删除,可维护性极差第二范式：1. 表述属性完全依赖于主键：(1)必须满足第一范式 (2)必须有主键 (3)其他列必须完全依赖于主键2.违反范式2的是另外一种含义：将两个实体放在同一个表中，不方便其中一个实体数据的单独维护第三范式：1....

 思路是：1.轮询查找C盘（或者其他目录）的所有子目录及子文件夹2.如果是文件，不是目录，则判断文件的大小，自定义阈值比如100M3.满足条件的文件，将文件的绝对路径，文件名，文件大小，修改日期等，写入到excel中注：还有很多缺陷没有做，后续更新，未完待续dim xlsAppdim xlsWorkBookdim xlsSheetdim fileappdim fol...

一.通过PROJECTION_COLUMNS的statistics_type查看表的列的统计信息类型,和收集时间SELECT projection_name,projection_column_name,       statistics_type,statistics_updated_timestamp,       column_positionFROM PROJECTION_COLUMNS ...

ElasticSearch 5.6PUT /_template/template_wopayapp{    "template" : ["wopayapp*"],    "order" : 0,    "settings" : {        "number_of_shards": 1,        "number_of_replicas": 1    },    "mapp

ElasticSearch R语言接口，ELK R语言接口，ElasticSearch R语言包，R语言elastic包

目的:通过vbscript生成磁盘目录和文档的清单,写入到excel中保存途径: 通过wscript的Excel.Application对象和Scripting.FileSystemObject对象函数: a. writexls写入excel内容 b. listfiles遍历所有文件 c. listsubdir列出所有的子目录并且遍历迭代注意事项: a. 获取当前目录:cre