大数据
文章平均质量分 60
那后生
个威 heimi1605
展开
-
shell递归遍历文件夹中的指定文件
shell 递归遍历目录所有文件原创 2022-07-06 15:35:23 · 1966 阅读 · 0 评论 -
hive 文件存储结构总结,以及适用场景。
文章目录背景基本概念行式存储和列式存储总结Hive 存储格式有哪些?TEXTFILE 文本格式文件(行式存储)适用场景SequenceFile(二进制序列化文件)适用场景sequenceFile如何解决小文件问题RCFile(行列式文件)存储方式ORC(优化的行列式文件)存储方式适用场景Parquet适用场景背景hive 的数据存储其实是在HDFS文件系统中的。hive 提供了一种查询HDFS 中文件的一种方式。和传统的关系型数据库相比,hive 对所存储的数据在文件中的编码方式有很大的灵活性。Apac原创 2021-12-19 14:14:53 · 3000 阅读 · 0 评论 -
FlinkTable&Sql 中 OutputSelector升级到OutputTag 对数据分流(包含对比实例)
文章目录案例说明flink 1.10 版本 的outputSelector 实现flink 1.12 版本 OutputTag 实现案例说明利用flink source 功能实现一个自定义的实时数据源。达到的效果是:将实时的商品数据进行分流,分成even 和 odd 两个流进行join。条件是名称相同,最后把join 的结果输出。flink 1.10 版本 的outputSelector 实现public class MyStreamingSource implements SourceFu原创 2021-12-16 14:07:07 · 2028 阅读 · 1 评论 -
低版本 mysql 实现 ROW_NUMBER() over(partition by )分组后top n问题
文章目录问题问题# 表内容+--------+-------+-----+| Person | Group | Age |+--------+-------+-----+| Bob | 1 | 32 || Jill | 1 | 34 || Shawn | 1 | 42 || Jake | 2 | 29 || Paul | 2 | 36 || Laura | 2 | 39 |+--------+-----原创 2021-12-01 16:14:00 · 1540 阅读 · 0 评论 -
Flink Windows本地 wordcount 批、流、sql 案例
文章目录创建工程直接用maven 创建工程flink 提供的创建工程的方式添加依赖DataSet wordcountDataStream wordCount创建工程直接用maven 创建工程mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-quickstart-java \ -DarchetypeVersion=1.10.0通过mave原创 2021-11-18 11:48:18 · 1354 阅读 · 0 评论 -
hbase 获取分区信息 shell
文章目录hbase 获取分区信息hbase 获取分区信息scan 'hbase:meta',{FILTER=>"PrefixFilter('table_name')"}info:regioninfo 此限定符包含 STARTKEY 和 ENDKEY。info:server 此限定符包含 region 服务器的信息原创 2021-09-23 15:59:00 · 2733 阅读 · 0 评论 -
java 位运算基础
java 逻辑运算符java 提供的位运算(<<,>>,>>>,&,|,~,^) 。除了非(~)是一元运算符,其它都是二元操作符。什么是一元和二元运算符?一元运算符操作数只有一个。例如// 例如! 是逻辑运算符,表示相反,所以!是一元运算符。!x二元运算符:有两个操作数。例如// + 号就是二元运算符。x+y二进制中如何表示负数?二进制中采用最高位是符号位的方法区分正负数。剩下的就是这个数的绝对值部分。通过将负数转换成 二进制原创 2021-08-12 20:15:56 · 119 阅读 · 0 评论 -
nacos 入门案例和基础概念总结
文章目录nacos - 配置管理1 什么是配置中心1.1 什么是配置1.2 什么是配置中心2 nacos 简介2.1 主流配置中心对比2.2 nocos 简介2.3 nacos 特性3 nacos 快速入门3.1 安装3.2 配置入门3.2.1 发布配置3.2.2 客户端获取配置4 nacos 配置管理基础应用4.1配置管理(数据)模型4.2 命名空间管理4.3 配置管理4.3.1 不同的命名空间的差异如果不大,可以做导出和克隆的操作。4.3.2 历史版本查询4.3.3 监听查询nacos - 配置管理原创 2021-05-26 17:12:04 · 358 阅读 · 4 评论 -
java 异常处理(自定义异常)
文章目录1 自定义异常1.1 是什么1.2 为什么需要自定义异常1.3 自定义检测类异常1.4 自定义运行时异常1.5 最佳实践1 自定义异常1.1 是什么Java为我们提供了创建自己的异常的工具,这些异常基本上是Exception的派生类。 例如,以下代码中的MyException扩展了Exception类。1.2 为什么需要自定义异常尽管Java异常几乎涵盖了所有异常情况和条件,但是有时候,我们需要创建自己的代表业务逻辑异常的内容,即业务逻辑或工作流程特有的异常。 例如EmailNotU原创 2021-05-07 14:53:18 · 1463 阅读 · 0 评论 -
vscode 中解决 Java 11 or more recent is required to run. Please download and install a recent JDK
1 打开settings 配置。2 搜索找到 spring-boot.ls.java.home3 将下面的配置写入到 json 配置文件中这里需要结合自己的路径去配置相关的javahome"java.home": "/Library/Java/JavaVirtualMachines/adoptopenjdk-11.jdk/Contents/Home"...原创 2021-04-21 21:39:03 · 1539 阅读 · 0 评论 -
ERROR: must be owner of function acases Postgresql
ERROR: must be owner of function acases当使用一个新的用户去修改postgresql 中的function是会遇到如上问题解决在postgresql中只有是 owner(和 superuser)才能够 drop 数据库对象。删除对象或以任何方式更改其定义的权利不视为可授予的特权; 它是所有者固有的,不能被授予或撤销。 (但是,通过授予或撤消拥有对象...原创 2020-02-04 22:01:56 · 7087 阅读 · 0 评论 -
Hadoop 单机模式安装测试(Ubuntu)
Hadoop 安装有如下三种方式:单机模式:安装简单,几乎不用做任何配置,但仅限于调试用途;伪分布模式:在单节点上同时启动 NameNode、DataNode、JobTracker、TaskTracker、Secondary Namenode 等 5 个进程,模拟分布式运行的各个节点;完全分布式模式:正常的 Hadoop 集群,由多个各司其职的节点构成。前提条件安装java (不想去...原创 2019-07-10 13:44:03 · 844 阅读 · 0 评论