大数据
Demon_gu
这个作者很懒,什么都没留下…
展开
-
spark streaming和spark SQL整合使用出现的问题
问题描述:在spark streaming的foreachrdd中使用spark session获取hive中的数据时,只会显示一个default库解决方法:1、在resources中放入集群中的core-site.xml、hdfs-site.xml、hive-site.xml2、修改代码之前的代码:@transient val sparkConf = new SparkConf() .setAppName("REPORT_SYSTEM") .se原创 2020-05-15 12:05:56 · 794 阅读 · 0 评论 -
快速排序(scala版本)
首先假设tmp为数组中的第一个数为6,然后从数组两边扫描,设定两个索引值:low代表起始位置,high代表末尾位置首先我们要获取数组的一个分界索引首先假设从右往左开始扫描,如果扫描的值大于tmp的值并且high>low就让high减1,不满足该条件时将arr(low)赋值为arr(high)然后从左往右开始扫描,如果扫描的值小于tmp的值并且high>low就让...原创 2019-11-22 12:07:29 · 620 阅读 · 0 评论 -
定时缓存之LoadingCache
遇到的问题:在项目中需要使用一个定时更新某个本地缓存里面的数据解决的方案:使用LoadingCacheval loadingCache: LoadingCache[String, util.List[String]] = CacheBuilder.newBuilder() .expireAfterAccess(10, TimeUnit.MINUTES).maximumSize(1L) .b...原创 2019-10-30 16:16:58 · 1435 阅读 · 0 评论 -
大数据常见错误(持续更新中)
1、Exception in thread "main" org.apache.spark.SparkException: Only one SparkContext may be running in this JVM (see SPARK-2243). To ignore this error, set spark.driver.allowMultipleContexts = true. Th...原创 2019-04-10 18:29:19 · 1038 阅读 · 0 评论 -
安装Cloudera Manager出现的错误
1、hostname localhost.localdomain differs from the canonical name localhost解决方法:CentOS7查看hostnameCentOS6查看vim /etc/sysconfig/network发现与/etc/hostname中的不一致运行命令hostnamectl set-hostname XXX2...原创 2019-05-08 16:32:57 · 2142 阅读 · 0 评论 -
希望大家多多支持本博主新建的公众号
昨天本博主心血来潮,建了个微信公众号,希望喜欢的朋友多多支持,我争取每天更新内容,将公众号发展的越来越好!!下面是我公众号的二维码,喜欢大家多多支持,谢谢拉~~~...原创 2019-09-18 10:49:40 · 852 阅读 · 0 评论