- 博客(33)
- 收藏
- 关注
RSS订阅
1转载 一文带你读懂异常检测(更新中)
什么是异常检测异常检测（Outlier Detection），顾名思义，是识别与正常数据不同的数据，与预期行为差异大的数据。识别如信用卡欺诈，工业生产异常，网络流里的异常（网络侵入）等问题，针对的是少数的事件。异常的类别点异常（point anomalies）指的是少数个体实例是异常的，大多数个体实例是正常的，例如正常人与病人的健康指标；条件异常（conditional anomalies），又称上下文异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的，例如在特定时间下的温度突
2021-05-11 21:40:43
378
原创 spark异常（一）
spark异常，application state: ACCEPTED xshell任务执行完成，sql一直running，没有任务回显
2020-02-26 13:14:28
264
原创 HIVE--hive优化系列（二）--hive本身的设置优化(参数调优)
hive优化系列文章（二），通过对hive本身进行一些设置进行优化，即参数调优
2019-07-17 17:31:09
281
原创 Spark--SparkSql--spark.sql.warehouse.dir使用详解
对spark。sql中spark.sql.warehouse的详解
2019-07-15 16:02:38
6536
原创 Spark--SparkSql--spark集成hive（hive on spark的配置和原理）
主要介绍hive on spark的配置过程和hive on spark的原理
2019-07-14 16:12:02
1134
原创 Scala---关于object修饰类和class修饰的类的理解（单例对象，伴生类，伴生对象）
-关于object修饰类和class修饰的类的理解（单例对象，伴生类，伴生对象）
2019-07-09 17:20:08
540
原创 JAVASE--java集合中的Collection接口详解（概念，方法，特点）
java集合中的Collection接口详解（概念，方法，特点）还有一些注意点
2019-07-07 15:05:19
1268
原创 Spark--ArrayIndexOutOfBoundsException：1出错记录
Spark--ArrayIndexOutOfBoundsException：1和spark--java.lang.ArrayIndexOutOfBoundsException: 10582错误处理方案
2019-07-06 18:28:31
3572
原创 Hive---hive的复杂数据类型（Array,Map,Struct）
本文主要介绍hive中一些较为复杂的数据类型，例如array,map，struct等类型
2019-06-29 13:13:35
5497
原创 HDFS--hdfs重点概念（namenode,datanode,hdfs读写流程）
本文主要介绍了namenode,datanode等工作机制和原理和hdfs读写流程
2019-06-21 06:13:31
607
原创 Hive---hive介绍，hive操作数据库基础语句
文章目录Hive简介hive是什么？hive特性？hive与hadoop，与关系型数据的关系？hive操作DDLHive简介hive是什么？是一个工具，可以将结构化的数据映射成一张数据库表，提供了类sql语句，并能将语句翻译成MR，在hadoop框架中执行hive特性？（1）对数据进行抽取、转换、加载（ETL）的工具（2）提供了一种将格式化数据加上映射（3）可以分析存储在HDFS或者...
2019-05-30 20:10:08
478
原创 MapReduce详解(MR运行全流程，shuffle，分区，分片)
对MapReduce进行全方面解析，包括MR的运行全流程，shuffle,分区，分片等信息
2019-05-29 14:27:48
4786
原创 Hive--shell脚本自动加载分区数据
业务场景：每天都有日志而且每小时都有日志，将日志按照小时存储Acccess_log/20190528/2019052800.log2019052801.log2019052802.log#!/bin/bashYESTERDAY = $(date -d "-1 days"+%Y%m%d)ACCESS_LOG_DIR=/data/access_log/$YESTERDAYHIVE_HOM...
2019-05-28 17:13:38
713
原创 MapReduce--yarn
本文主要介绍yarn的组成，yarn的配置，以及yarn与hadoop，与MapReduce的关系，yarn的详细工作机制，container
2019-05-21 15:39:49
182
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人