- 博客(15)
- 资源 (6)
- 收藏
- 关注
原创 flink-checkpoint实战使用
依赖在我上几篇文章有// 每 1000ms 开始一次 checkpointenv.enableCheckpointing(1000);// 高级选项:// 设置模式为精确一次 (这是默认值)env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);// 确认 checkpoints 之间的时间会进行 500 msenv.getCheckpointConfig().setMinPauseBe
2021-12-01 10:16:52
2086
原创 flink-sql配置hivecatalog 持久表元数据
flink sql中持久化hivecatalog 的依赖项下载maven地址 以及官网地址依赖配置 https://nightlies.apache.org/flink/flink-docs-release-1.12/zh/dev/table/connectors/hive/<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-hive_2.11&
2021-11-12 16:45:22
2420
原创 flink-sql消费kafka实时关联hbase获取维度信息
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime); // env.setParallelism(1); // 1、创建表执行环节 StreamTableEnvironment tableEnv = St..
2021-11-09 16:21:33
2023
5
原创 Flink开发MAVEN依赖
<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <flink.version>1.12.3</flink.version>
2021-11-09 16:05:57
1172
原创 Phoenix离线开发(python版本)
Linux环境选择:因为Phoenix对python的版本有要求,python的Phoenix包对python的版本有要求,所以一般为了安全起见建议新建一个Linux用户用来开发程序(hive,spark,Phoenix,Flink)python使用Anaconda,python版本3.8.3 和在线环境保持一致1 获取python phoenixdbd 包在 在线Anaconda中建一个虚拟环境 Phoenixconda create --name Phoenix python=3.8.3
2021-09-15 11:25:00
472
原创 Phoenix映射Hbase视图建立(VIEW)
官方文档描述Phoenix 视图在现有HBase表或 Phoenix 表上创建新视图。正如预期的那样,WHERE表达式始终自动应用于针对视图运行的任何查询。与 一样CREATE TABLE,表、列族和列名都是大写的,除非它们被双引号引起来。newTableRef 可能会直接引用一个HBase表,在这种情况下,表、列族和列名必须与现有元数据完全匹配,否则会发生异常。当视图直接映射到HBase表时,不会向行添加空键值,视图将是只读的。视图将是可更新的(即,可参考在DML声明如UPSERT或DELETE如果)W
2021-09-14 13:53:29
818
原创 Phoenix映射Hbase 以及phoenix 的基础操作(CDH版本)
注意这里的命名空间是小写,也可以大写,但是Phenix会默认把语句执行为大写,如果要传小写必须加引号。
2021-09-14 10:47:00
346
原创 微积分-换元积分法
第一类∫xsinx2dx\int xsinx^2 dx∫xsinx2dx∫xsinx2dx=12∫sinx2dx2=12(−cosx2)+C\int xsinx^2dx = \frac12\int sinx^2dx^2=\frac12(-cosx^2)+C∫xsinx2dx=21∫sinx2dx2=21(−cosx2)+C第二类∫11+xdx\int \frac {1} {1+\sqrt{x}}dx∫1+x1dx设t=x,x=t2,dx=2tdt设 t=\sqrt{x},x=t^2,dx=
2021-09-13 17:41:32
827
原创 微积分-分步积分
如下求积分,类似两个函数相乘形式∫xsinxdx \int xsinx dx∫xsinxdx设v(x)=x,u(x)=sinx,∫u(x)=−cosx=t设 v(x)=x ,u(x)=sinx ,\int u(x)=-cosx=t设v(x)=x,u(x)=sinx,∫u(x)=−cosx=t所以uv=vt−∫tv′(x)dx=−xcosx−∫−cosx=−xcosx+sinx所以uv=vt-\int t v'(x)dx =-xcosx-\int-cosx=-xcosx+sinx所以uv=vt−∫t
2021-09-13 10:51:35
529
原创 Hive中的桶表入门(适用于抽样查询)
1、基本概念 (1)桶表是对某一列数据进行哈希取值以将数据打散,然后放到不同文件中存储。 (2)在hive分区表中,分区中的数据量过于庞大时,建议使用桶。 (3)在分桶时,对指定字段的值进行hash运算得到hash值,并使用hash值除以桶的个数做取余运算得到的值进行分桶,保证每个桶中有数据但每个桶中的数据不一定相等。 &nbs...
2019-05-09 10:44:04
127
原创 Hive中分区表及陷阱
Hive中分区表及陷阱分区表分区表实际就是对应hdfs文件系统上的的独立的文件夹,该文件是夹下是该分区所有数据文件。分区可以理解为分类,通过分类把不同类型的数据放到不同的目录下。分类的标准就是分区字段,可以一个,也可以多个。分区表的意义在于优化查询。查询时尽量利用分区字段。如果不使用分区字段,就会全部扫描。在查询是通过where子句查询来指定所需的分区。样例create exter...
2019-05-09 10:32:29
273
原创 CDH-HIVE启动 metastore报错 Error creating transactional connection
第一步检查 hive.site.xml的元数据库地址是否正确第二步检查 $hive_home/lib 是否有数据库驱动包 具体目录根据报错的日志观看第三步 重启 hive --service metastore启动若出现Exception in thread “main” org.apache.thrift.transport.TTransportException: Could not...
2019-05-07 15:11:52
1477
原创 hbase表操作
启动、关闭hbase./bin/start-hbase.sh./bin/stop-hbase.sh查询HBase版本。它的语法如下:hbase(main):010:0> version建表create ‘’,’’create ‘emp’, ‘personal data’, ’professional data’清空表truncate ‘lmj_test’删除表分两步,首...
2018-11-26 15:04:46
505
转载 sqoop导入数据到
1.测试Oracle连接bin/sqoop list-databases --connect jdbc:oracle:thin:@192.168.16.223:1521/orcl --username sitts --password password2.导入hdfs3.1 导入bin/sqoop import --connect jdbc:oracle:thin:@192.168.16....
2018-11-26 14:39:32
311
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人