大数据分享
文章平均质量分 91
qq_41504585
这个作者很懒,什么都没留下…
展开
-
TIDB探索
第1章 TIDB基本概念1.1 TiDB 整体架构要深入了解 TiDB 的水平扩展和高可用特点,首先需要了解 TiDB 的整体架构。TiDB 集群主要包括三个核心组件:TiDB Server,PD Server 和 TiKV Server。此外,还有用于解决用户复杂 OLAP 需求的 TiSpark 组件和简化云上部署管理的 TiDB Operator 组件。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dPYwhFhC-1621955238207)(file:///C原创 2021-05-25 23:08:40 · 231 阅读 · 0 评论 -
Unable to load configured region split policy ‘org.apache.phoenix.schema.MetaDataSplitPolicy‘ for
phoenix起不来具体错误如下Error: org.apache.hadoop.hbase.DoNotRetryIOException: Unable to load configured region split policy 'org.apache.phoenix.schema.MetaDataSplitPolicy' for table 'SYSTEM.CATALOG' Set hbase.table.sanity.checks to false at conf or table descri原创 2020-09-05 21:37:21 · 3754 阅读 · 0 评论 -
org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session
问题描述Logging initialized using configuration in jar:file:/opt/module/hive/lib/hive-common-3.1.2.jar!/hive-log4j2.properties Async: trueHive Session ID = 0c953008-3c72-4e36-bcaf-47e92a5b9759FAILED: SemanticException Failed to get a spark session: org.apac原创 2020-08-17 21:15:07 · 5682 阅读 · 0 评论 -
Test测试类中没有Run test()
今天小编在写代码的时候遇到了一个问题,在测试类中右键没有Run test*()的选项,同样也没有Debug,后来发现了问题并解决,今天总结一下问题长相正常的应该是这样导致问题的原因解决办法原因有二:第一种:就是在导入junit包的时候导入了如下图的包,导错了,删去或注掉即可第二种:我是在创建 .scala 文件的时候点错了这样也会导致上述现象正确的为以上便是小编,在写代码的时候遇到的问题...原创 2020-08-09 21:57:25 · 1041 阅读 · 1 评论 -
Idea创建DataFrame出错:Error while instantiating ‘org.apache.spark.sql.internal.SessionStateBuilder‘:
首先在小编出现这个问题的时候很是懵逼,百度也搜不出来这样的错误。于是我就写了一篇。错误的长相出现这样的错误完全是由自己的笔误造成的,错误如下:长这个样子详细错误java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.internal.SessionStateBuilder': at org.apache.spark.sql.SparkSession$.org$apache$spar原创 2020-08-08 08:31:50 · 1034 阅读 · 0 评论 -
spark中的WordCount,从搭建到运行
spark一、关于spark1.1 What is sparkSpark是一种基于内存的快速、通用、可扩展的Big Data 计算引擎1.2spark的特点快速:Spark基于内存的运算是Hadoop的MapReducer的100倍,快相对于Hadoop的MapReducer而言。、 Spark实现了高效的DAG执行引擎,可以通过基于内存来高效的处理数据流。 DAG(有向无环图)通用:Spark 结合了SQL, Streaming和复杂分析.Spark 提供了大量的类库, 包括 SQ原创 2020-08-01 08:30:46 · 275 阅读 · 0 评论 -
Scala中List集合中滑窗的详解
滑窗的使用详解在idea中运行val list1:List[Int] =List(1,2,3,4,5,6,7,8,9,10) println("滑窗") list1.sliding(2, 2).foreach(println)运行代码如下:list1.sliding(2, 3).foreach(println)运行代码如下:原创 2020-07-25 13:48:56 · 962 阅读 · 0 评论