- 博客(8)
- 收藏
- 关注
RSS订阅原创 linux虚拟机启动黑屏无法进入也无法关闭以及获取所有权失败
最近碰到一个问题,VMware启动虚拟机时黑屏,无法进入也无法开机,始终卡在那里,并且多次重启才有可能进入,本人安装了三台虚拟机,所以经常要很多次重启之后才能三台全部进入,百度都是一个答案:在命令提示符输入netsh winsock reset，并重启计算机.但是解决不了我的问题,考虑可能是VMware版本bug,所以也从14升级到了15,依然不行.卡黑屏并不是唯一问题导致的,尝试以下两种解决方式.如果是"获取所有权失败"直接使用第二种方式第一种方式:先使用上面方法尝试一下是否能够解决问题:以管理员方式
2020-09-29 09:36:47
902
原创 waterdrop配置多数据源与多输出
我有两个数据源分别是es与kudu 输出到clickhouse不同的表spark { #程序名称 spark.app.name = "Waterdrop" #executor的数量(数据量大可以适当增大) spark.executor.instances = 1 #每个excutor核数(并行度,数据量大可以适当增大到服务器核数一半以下,尽量不要影响clickhouse) spark.executor.cores = 1 #每个excutor内存(不能小于512m) s...
2020-09-23 15:42:47
1038
1
原创 waterdrop 配置文件传参
waterdrop应用提交命令./bin/start-waterdrop.sh --master yarn --deploy-mode client --config ./config/test.conf如果我们通过azkaban调度,可能会有大量的waterdrop配置文件,但是有很多参数是放在azkaban的配置文件之中,所以我们需要把azkaban的配置文件中的参数传递到waterdrop的conf文件中.first.jobtype=commandcommand=echo "sta
2020-09-23 14:19:34
1406
原创 WaterDrop的使用
支持多种数据源与输出数据输入形式有两种:一种是批,一种是流(分别对应sparksql中的一次性读取,与structruedstreaming的流式处理)批处理有(start-waterdrop.sh):ElasticSearch File Hdfs Hive Hbase JDBC Kudu MongDB Mysql等(Hbase为商业版,普通版需要实现可以使用Hive映射HBase表的方式)流式处理有(start-waterdrop-structured-streaming.s...
2020-09-18 18:24:39
10497
原创 WaterDrop下载与安装
简介WaterDrop是一款数据同步/ETL工具,其底层是通过用户编写的配置文件转化执行spark代码.所以必须要spark2.x以上的环境.(类似于sqoop必须Mr)WaterDropV2同时支持Spark与flink支持多种数据源与输出数据输入有两种一种是批一种是流(分别对应sparksql中的一次性读取,与structruedstreaming的流式处理)批处理有:ElasticSearch File Hdfs Hive Hbase JDBC Kudu MongDB...
2020-09-18 15:38:01
6973
原创 MapReduce WordCount示例
依赖 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.2.0</version> </dependency>
2020-09-14 18:31:16
92
原创 mysql函数整理(字符串函数,日期函数,数字函数)
字符串函数函数描述使用CHAR_LENGTH(s)返回字符串s的长度CHAR_LENGTH(123)=>3CHARACTER_LENGTH(s)同上CONCAT(s1,s2…sn)拼接字符串,如果有null返回nullCONCAT(‘a’,‘b’,‘c’)=>‘abc’ CONCAT(‘a’,‘b’,null)=>nullCONCAT_WS(sep, s1,s2…sn)指定分隔符(sep)拼接字符串,忽略字符串为nullCONC
2020-09-10 15:58:05
294
原创 springboot后台上传与解析excel(同步解析与异步解析)
excel解析依赖(springboot依赖自己添加) <dependency> <groupId>com.monitorjbl</groupId> <artifactId>xlsx-streamer</artifactId> <version>2.0.0</version> </dependency>后台解析有种方式:流同步解析(数据量小,花费时间少)和文件保存应用所
2020-09-10 09:44:41
1222
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人