18_job
文章平均质量分 92
有问题就记录下来
潭中镜月
这个作者很懒,什么都没留下…
展开
-
TDMQ 常用总结
一.产品简介腾讯云消息队列 TDMQ(Tencent Distributed Message Queue,简称 TDMQ)是一款基于 Apache 顶级开源项目 Pulsar 自研的金融级分布式消息中间件,具备跨城高一致、高可靠、高并发的特性。 TDMQ 目前已应用在腾讯计费绝大部分场景,包括支付主路径、实时对账、实时监控、大数据实时分析等方面1.1 产品概述腾讯云消息队列 TDMQ(Tencent Distributed Message Queue,简称 TDMQ)是一款基于 Apache 顶级开源原创 2021-07-13 14:42:50 · 6473 阅读 · 1 评论 -
hive on spark环境搭建(官方源码编译方式)
此前,我已经搭建了 hive on spark, 不 准确说 是 spark on hive, 我可以在spark 中愉快得玩耍 hive,这也符合我当时得需求:hive on spark集群环境搭建然而,通过hive客户端连接,hive 使用spark 引擎时,却报了 我无法解决得错误:hive on spark异常Failed to create Spark client for Spark session解决过程所以,只得参考官方网站方式来从新搭建:hive on spark:Hive on Sp转载 2021-03-29 14:25:00 · 863 阅读 · 1 评论 -
Spark core中的cache、persist区别,以及缓存级别详解
https://blog.csdn.net/yu0_zhang0/article/details/80424609原创 2020-12-07 16:02:44 · 120 阅读 · 0 评论 -
BigDecimal
BigDecimal.setScale()方法用于格式化小数点setScale(1)表示保留一位小数,默认用四舍五入方式setScale(1,BigDecimal.ROUND_DOWN)直接删除多余的小数位,如2.35会变成2.3setScale(1,BigDecimal.ROUND_UP)进位处理,2.31变成2.4setScale(1,BigDecimal.ROUND_HALF_UP)四舍五入,2.35变成2.4setScaler(1,BigDecimal.ROUND_HALF_DOWN)四舍转载 2020-12-07 15:24:59 · 1364 阅读 · 0 评论 -
org.apache.hadoop.hbase.DoNotRetryIOException: hconnection-0x4feb3272 closed
背景:从hbase读取数据写入原因:自己把hbase的表关闭的位置放错了原创 2020-11-24 15:47:31 · 2278 阅读 · 1 评论 -
SQL之判断是否为null
判断SQL是否为空的语句应该是where t2.BVDID is null 而不是where t2.BVDID = null这里要注意了,基本上每一次都会犯错 , 这次之后不应该再犯原创 2020-11-09 15:00:51 · 1123 阅读 · 0 评论 -
java.lang.NumberFormatException: For input string: ““
当时是这里没有写,要细心原创 2020-11-09 14:36:52 · 121 阅读 · 0 评论 -
java.sql.SQLException: Parameter index out of range (3 > number of parameters, which is 2).
这里主要的问题还是往MySQL中插入数据的时候,使用占位符的时候出了问题修改为如下代码就可以了,之前需要2个参数,但是实际只有2个val sqlText = s"insert into ${mySQLTableName3}(ename,cityStr,city) values(?,?,?)"...原创 2020-11-04 15:50:51 · 493 阅读 · 0 评论 -
spark提交任务的模板
./bin/spark-submit –class –master –deploy-mode –conf = … # other options [application-arguments]举几个常用的用法例子:Run application locally on 8 cores./bin/spark-submit –class org.apache.spark.examples.SparkPi –master local[8] /path/to/examples.jar原创 2020-10-19 14:34:49 · 136 阅读 · 0 评论 -
pom文件报红的问题
一般来讲,不是因为依赖或者其他问题很有可能是:字符问题多加了空格或者什么问题原创 2020-10-18 13:39:13 · 995 阅读 · 0 评论 -
com.microsoft.sqlserver:sqljdbc4:jar:4.0下载不了
直接原因:制定路径下确实没有sqljdbc4.jar文件。根本原因:微软不允许以maven的方式直接下载该文件解决方法:1.下载 sqljdbc4.jar 下载地址可以百度搜索sqljdbc4.jar 去微软官网下载,也可以从这个地址下载:链接: http://pan.baidu.com/s/1nu6cgdz 密码: ikqn2.改名为sqljdbc4-4.0.jar,放到maven库里。我本地的maven仓库地址:C:\Users\sss.m2\repository\com\mic原创 2020-10-18 12:46:27 · 4223 阅读 · 1 评论