BigData
小米的蝉
Keep It Simple and Stupid
展开
-
Hbase2 没有org.apache.hadoop.hbase.mapreduce.TableInputFormat
导入 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-mapreduce</artifactId> <version>${hbase.version}</version> </dependency>参考链接:https://juejin.cn/post/68449039595853原创 2021-02-25 14:57:17 · 2456 阅读 · 0 评论 -
Spark2 Sql 遇到 Caused by: java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
问题版本:Spark:2.14.0Hive:2.1.0原因参见spark hive java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT解决方案:使用 cdh版本的包,比如<spark.version>2.4.0-cdh6.3.2</spark.version><hive.version>2.1.1-cdh6.3.2</hive.version>如果遇到有关 apache的log4j包缺失,加原创 2020-12-11 16:53:28 · 1845 阅读 · 0 评论 -
关于Flink 本地测试,自定义WebUI 端口的方法
以1.11.1版本举例,相差不大的版本之间大同小异。当我们加入了pom依赖后.发现能够看到本地IDE中的flink的webUI了. <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</artifactId> <version>${flink.version}</vers原创 2020-09-09 19:17:12 · 6909 阅读 · 4 评论 -
论如何解决类似如 '''使用 openresty 库 lua-resty-kafka 对接kafka 报错 no resolver defined to resolve "xxx" ''' 的问题
始苦寻无果,终幸得其所参考项目的issuehttps://github.com/doujiang24/lua-resty-kafka/issues/5这个issue已经将问题说的很明白了在我电脑上当时的表现就是lua从kafka获取到的broker的host一直是ubuntu而我明明给lua中配置的host是ip地址。而ubuntu这个域名在/etc/hosts中有设置,但是在我去...原创 2020-03-17 18:46:55 · 467 阅读 · 0 评论 -
ubuntu 18.04 使用 Docker 安装 kiwenlau版Hadoop
1. docker 安装参考sudo apt-get updatesudo dpkg --configure -asudo apt-get install apt-transport-https ca-certificates curl software-properties-commoncurl -fsSL https://download.docker.com/linux/ubunt...原创 2019-12-19 14:14:19 · 259 阅读 · 0 评论