wx_start_ag-CSDN博客

原创 HBase 学习笔记

文章目录1. HBase 是什么？hbase的概念HBase的特点行存储和列存储各自优缺点？2. HBase 的架构 + 工作流程(读&写)HBase的架构HBase 的读写流程HBase 的寻址机制HBase的高级特性3. HBase 的优缺点？有哪些使用场景？4. HBase 的基本使用/快速入门5. HBase 的优化？**Rowkey的设计****数据预分区**参数/配置的优化列族的设计6. HBase 相关的面试问题HBase 为什么快？数据flush流程,数据合并的过程,Region切分

2022-02-08 11:07:27 1821

原创 Flink DataStream API使用(含实例)

本文主要通过代码练习熟悉Flink DataStream相关API的功能和使用。读者可完成简单的准备工作后跟着一起完成练习准备一台装有 Docker 的 Linux 或 MacOS 计算机。使用 Docker Compose 启动容器通过 wget 命令自动下载该 docker-compose.yml 文件，也可以手动下载mkdir flink-service; cd flink-service;wget https://gitee.com/WX_in_gitee/flink_learn/raw

2021-09-22 08:57:58 776

原创解决Flink SQL connector 连接 kafka 时报Could not find a suitable table factory的错

文章目录环境执行代码报错报错原因附：Flink 通过 CreateSql 创建 Table环境jdk 1.8scala 2.11.8flink: 当前最新版本1.13.0kafka 2.4.1执行代码 val bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build() val bsTableEnv = TableEnvironment.create(bsSe

2021-07-30 16:25:19 1677

原创 FlinkKafkaProducer 连接虚拟机中Kafka报错问题

FlinkKafkaProducer 连接虚拟机中Kafka报错问题解决org.apache.flink.streaming.connectors.kafka.FlinkKafkaException: Failed to send data to Kafka: Expiring 3 和org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy 报错这个错误是在IDEA中连接虚

2021-07-14 11:22:25 1534

原创使用IDEA-Maven工具编译Scala工程时报错: Error compiling the sbt component 'compiler-interface-2.11.8-56.0'

问题现象运行Scala项目时报错:Error compiling the sbt component 'compiler-interface-2.11.8-56.0'使用Maven编译工具进行编译时报错:Error compiling the sbt component 'compiler-interface-2.11.8-56.0'//以及:error: scala.re...

2020-04-07 18:05:43 6222 5

原创 Spark Streaming 广播变量更新操作（Java + Sacla）

一、广播变量的创建与使用spark 的广播变量允许在每个工作节点缓存一个只读的变量，这样做的好处是避免任务为每一个Task共享的数据单独创建拷贝，大大节省了运算空间占用，在Java中通过JavaSparkContext.broadcast(v)方法，Scala中通过SparkContext.broadcast(v) 方法对变量v进行包装和分发操作，使用时调用broadcast.value(...

2019-10-09 10:37:37 1325

原创 Linux服务器连接windows下Mysql服务时报错ERROR 1045 (28000): Access denied for user 'root'@%(using password: YES)

如题:部署Hive的远程模式安装时.尝试从linux端连接windows的Mysql服务时,提示报错信息如下:ERROR 1045 (28000): Access denied for user 'root'@'singlenode001' (using password: YES)我的做法如下:1.首先设置Mysql允许root用户远程登录,在mysql内执行:GRANT A...

2019-07-02 10:45:41 234

原创 ORM操作数据库问题处理总结

在学习通过ORM方式操作数据库时，创建表格和插入数据时都遇到如下问题： Warning: (1366, "Incorrect string value: '\\xD6\\xD0\\xB9\\xFA\\xB1\\xEA...' for column 'VARIABLE_VALUE' at row 484") Warning: (1287, "'@@tx_isolation' is depreca...

2018-05-25 14:06:55 1078

原创 linux正则表达式、sed、awk命令使用总结

一、正则表达式 linux的正则主要分为基础正则和拓展正则，基础的正则如下： 1.正则匹配时会最大化匹配结果正则表达式由于其贪婪匹配的逻辑，会将结果进行最大化匹配，经常书写出的正则会超出我们的需要，所以书写时我们要用定界符到，如/etc/passwd文件中的第一列为用户名，用冒号分隔，后面都跟x，如果我们简单的以:作为分隔符，正则...

2018-03-16 10:50:18 2636

wx_start_ag的博客