我看不见你的代码了-CSDN博客

原创 flink-checkpoint实战使用

依赖在我上几篇文章有// 每 1000ms 开始一次 checkpointenv.enableCheckpointing(1000);// 高级选项：// 设置模式为精确一次 (这是默认值)env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);// 确认 checkpoints 之间的时间会进行 500 msenv.getCheckpointConfig().setMinPauseBe

2021-12-01 10:16:52 2086

原创 flink-sql配置hivecatalog 持久表元数据

flink sql中持久化hivecatalog 的依赖项下载maven地址以及官网地址依赖配置 https://nightlies.apache.org/flink/flink-docs-release-1.12/zh/dev/table/connectors/hive/<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-hive_2.11&

2021-11-12 16:45:22 2420

原创 flink-sql消费kafka实时关联hbase获取维度信息

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime); // env.setParallelism(1); // 1、创建表执行环节 StreamTableEnvironment tableEnv = St..

2021-11-09 16:21:33 2023 5

原创 Flink开发MAVEN依赖

2021-11-09 16:05:57 1172

原创 Phoenix离线开发(python版本)

Linux环境选择:因为Phoenix对python的版本有要求,python的Phoenix包对python的版本有要求，所以一般为了安全起见建议新建一个Linux用户用来开发程序(hive，spark，Phoenix，Flink)python使用Anaconda，python版本3.8.3 和在线环境保持一致1 获取python phoenixdbd 包在在线Anaconda中建一个虚拟环境 Phoenixconda create --name Phoenix python=3.8.3

2021-09-15 11:25:00 472

原创 Phoenix映射Hbase视图建立(VIEW)

官方文档描述Phoenix 视图在现有HBase表或 Phoenix 表上创建新视图。正如预期的那样，WHERE表达式始终自动应用于针对视图运行的任何查询。与一样CREATE TABLE，表、列族和列名都是大写的，除非它们被双引号引起来。newTableRef 可能会直接引用一个HBase表，在这种情况下，表、列族和列名必须与现有元数据完全匹配，否则会发生异常。当视图直接映射到HBase表时，不会向行添加空键值，视图将是只读的。视图将是可更新的（即，可参考在DML声明如UPSERT或DELETE如果）W

2021-09-14 13:53:29 818

原创 Phoenix映射Hbase 以及phoenix 的基础操作(CDH版本)

注意这里的命名空间是小写，也可以大写,但是Phenix会默认把语句执行为大写，如果要传小写必须加引号。

2021-09-14 10:47:00 346

原创微积分-换元积分法

第一类∫xsinx2dx\int xsinx^2 dx∫xsinx2dx∫xsinx2dx=12∫sinx2dx2=12(−cosx2)+C\int xsinx^2dx = \frac12\int sinx^2dx^2=\frac12(-cosx^2)+C∫xsinx2dx=21∫sinx2dx2=21(−cosx2)+C第二类∫11+xdx\int \frac {1} {1+\sqrt{x}}dx∫1+x1dx设t=x,x=t2,dx=2tdt设 t=\sqrt{x},x=t^2,dx=

2021-09-13 17:41:32 827

原创微积分-分步积分

如下求积分,类似两个函数相乘形式∫xsinxdx \int xsinx dx∫xsinxdx设v(x)=x,u(x)=sinx,∫u(x)=−cosx=t设 v(x)=x ,u(x)=sinx ,\int u(x)=-cosx=t设v(x)=x,u(x)=sinx,∫u(x)=−cosx=t所以uv=vt−∫tv′(x)dx=−xcosx−∫−cosx=−xcosx+sinx所以uv=vt-\int t v'(x)dx =-xcosx-\int-cosx=-xcosx+sinx所以uv=vt−∫t

2021-09-13 10:51:35 529

原创 Hive中的桶表入门（适用于抽样查询）

1、基本概念（1）桶表是对某一列数据进行哈希取值以将数据打散，然后放到不同文件中存储。（2）在hive分区表中，分区中的数据量过于庞大时，建议使用桶。（3）在分桶时，对指定字段的值进行hash运算得到hash值，并使用hash值除以桶的个数做取余运算得到的值进行分桶，保证每个桶中有数据但每个桶中的数据不一定相等。 &nbs...

2019-05-09 10:44:04 127

原创 Hive中分区表及陷阱

Hive中分区表及陷阱分区表分区表实际就是对应hdfs文件系统上的的独立的文件夹，该文件是夹下是该分区所有数据文件。分区可以理解为分类，通过分类把不同类型的数据放到不同的目录下。分类的标准就是分区字段，可以一个，也可以多个。分区表的意义在于优化查询。查询时尽量利用分区字段。如果不使用分区字段，就会全部扫描。在查询是通过where子句查询来指定所需的分区。样例create exter...

2019-05-09 10:32:29 273

原创 CDH-HIVE启动 metastore报错 Error creating transactional connection

第一步检查 hive.site.xml的元数据库地址是否正确第二步检查 $hive_home/lib 是否有数据库驱动包具体目录根据报错的日志观看第三步重启 hive --service metastore启动若出现Exception in thread “main” org.apache.thrift.transport.TTransportException: Could not...

2019-05-07 15:11:52 1477

原创 hbase表操作

启动、关闭hbase./bin/start-hbase.sh./bin/stop-hbase.sh查询HBase版本。它的语法如下：hbase(main):010:0> version建表create ‘’,’’create ‘emp’, ‘personal data’, ’professional data’清空表truncate ‘lmj_test’删除表分两步，首...

2018-11-26 15:04:46 505

转载 sqoop导入数据到

1.测试Oracle连接bin/sqoop list-databases --connect jdbc:oracle:thin:@192.168.16.223:1521/orcl --username sitts --password password2.导入hdfs3.1 导入bin/sqoop import --connect jdbc:oracle:thin:@192.168.16....

2018-11-26 14:39:32 311