自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

数据科学 爱好分享 快乐就完了

大厂资深数据科学工程师 爱好收藏家 半财富自由

  • 博客(33)
  • 收藏
  • 关注

原创 flink---state详解

flink的state详解

2022-09-13 21:14:24 871 1

原创 算法实现方式--递归和迭代(不断更新)

递归 迭代 尾递归 递归转非递归 递归优化 分治思想

2021-10-24 18:14:30 603

原创 常用排序算法-面试-数据结构(不断更新)

数据结构 排序算法 面试 快排 冒泡

2021-10-22 11:23:31 330

原创 sublime Text--奇淫技巧全攻略-->不断更新

你想要sublime text的所有设置都在这里

2021-10-21 20:46:14 160

转载 一文带你读懂异常检测(更新中)

什么是异常检测异常检测(Outlier Detection),顾名思义,是识别与正常数据不同的数据,与预期行为差异大的数据。识别如信用卡欺诈,工业生产异常,网络流里的异常(网络侵入)等问题,针对的是少数的事件。异常的类别点异常(point anomalies)指的是少数个体实例是异常的,大多数个体实例是正常的,例如正常人与病人的健康指标;条件异常(conditional anomalies),又称上下文异常,指的是在特定情境下个体实例是异常的,在其他情境下都是正常的,例如在特定时间下的温度突

2021-05-11 21:40:43 360

原创 spark异常(一)

spark异常,application state: ACCEPTED xshell任务执行完成,sql一直running,没有任务回显

2020-02-26 13:14:28 257

原创 HIVE--DDL语句

创建hive 增加hive字段和配置 删除hive字段 修改hive信息 所有对hive表进行修改的操作

2019-07-24 00:31:29 5980 3

原创 HIVE--hive处理json格式数据

本文主要对hive处理json的方式方法进行详细介绍

2019-07-24 00:18:05 334

原创 Hive--hive语句中关于时间的一系列操作

本文主要对hive语句中关于时间的一系列操作进行总结

2019-07-21 14:40:49 517

原创 Spark---spark Sql建立临时表进行查询

本文主要对spark sql需要建立临时表的情景进行解释并对其中可能遇到的问题进行总结

2019-07-20 21:37:01 5288

原创 HIVE--hive优化系列(二)--hive本身的设置优化(参数调优)

hive优化系列文章(二),通过对hive本身进行一些设置进行优化,即参数调优

2019-07-17 17:31:09 265

原创 Spark--SparkSql--spark.sql.warehouse.dir使用详解

对spark。sql中spark.sql.warehouse的详解

2019-07-15 16:02:38 6499

原创 HIVE--hive优化系列(一)(存储方面)

对hive存储方面的优化

2019-07-15 15:03:21 356

原创 Spark--SparkSql--spark集成hive(hive on spark的配置和原理)

主要介绍hive on spark的配置过程和hive on spark的原理

2019-07-14 16:12:02 1123

原创 JAVASE---java反射机制详解

JAVASE---java反射机制详解

2019-07-13 21:45:33 370

原创 JAVASE---lambda表达式详解

对java基础的lambda表达式进行详解

2019-07-10 15:54:09 158

原创 数据库--Mysql--开启

Mysql数据库启动的注意事项

2019-07-10 10:17:10 130

原创 Scala---关于object修饰类和class修饰的类的理解(单例对象,伴生类,伴生对象)

-关于object修饰类和class修饰的类的理解(单例对象,伴生类,伴生对象)

2019-07-09 17:20:08 535

原创 JAVASE---包装类详解

对java中的包装类进行了详细介绍

2019-07-08 18:59:09 505

原创 JAVASE--java集合中的Collection接口详解(概念,方法,特点)

java集合中的Collection接口详解(概念,方法,特点)还有一些注意点

2019-07-07 15:05:19 1240

原创 JAVASE--java集合框架整体观

java中的集合框架,各个集合之间的关系

2019-07-07 13:10:26 278

原创 Spark--ArrayIndexOutOfBoundsException:1出错记录

Spark--ArrayIndexOutOfBoundsException:1和spark--java.lang.ArrayIndexOutOfBoundsException: 10582错误处理方案

2019-07-06 18:28:31 3557

原创 Hive---hive的复杂数据类型(Array,Map,Struct)

本文主要介绍hive中一些较为复杂的数据类型,例如array,map,struct等类型

2019-06-29 13:13:35 5467

原创 HDFS--hdfs重点概念(namenode,datanode,hdfs读写流程)

本文主要介绍了namenode,datanode等工作机制和原理和hdfs读写流程

2019-06-21 06:13:31 585

原创 Hive--hql语句易错易混点,常见问题思路

本文将分享本人在hive语句书写过程中存在的一些较容易发生错误的知识点

2019-06-17 21:59:36 352

原创 数仓架构

数仓架构

2019-06-09 21:31:55 1118

原创 数据仓库,数据集市介绍

数据仓库,数据集市的概要介绍

2019-06-09 21:13:08 1497

原创 HIVE--hive的窗口函数(开窗函数,分析函数)

本文详细介绍了hive窗口函数,即包括开窗函数和分析函数两部分。

2019-06-05 21:30:45 17334 4

原创 Hive---hive介绍,hive操作数据库基础语句

文章目录Hive简介hive是什么?hive特性?hive与hadoop,与关系型数据的关系?hive操作DDLHive简介hive是什么?是一个工具,可以将结构化的数据映射成一张数据库表,提供了类sql语句,并能将语句翻译成MR,在hadoop框架中执行hive特性?(1)对数据进行抽取、转换、加载(ETL)的工具(2)提供了一种将格式化数据加上映射(3)可以分析存储在HDFS或者...

2019-05-30 20:10:08 477

原创 MapReduce详解(MR运行全流程,shuffle,分区,分片)

对MapReduce进行全方面解析,包括MR的运行全流程,shuffle,分区,分片等信息

2019-05-29 14:27:48 4742

原创 Hive--shell脚本自动加载分区数据

业务场景:每天都有日志而且每小时都有日志,将日志按照小时存储Acccess_log/20190528/2019052800.log2019052801.log2019052802.log#!/bin/bashYESTERDAY = $(date -d "-1 days"+%Y%m%d)ACCESS_LOG_DIR=/data/access_log/$YESTERDAYHIVE_HOM...

2019-05-28 17:13:38 707

原创 MapReduce--yarn

本文主要介绍yarn的组成,yarn的配置,以及yarn与hadoop,与MapReduce的关系,yarn的详细工作机制,container

2019-05-21 15:39:49 181

原创 HBase读写数据流程,布隆过滤器

hbase写数据流程的详细解说

2019-04-26 19:52:23 492

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除