Java开发
文章平均质量分 50
Java开发 && Java大数据开发
NBA首席形象大使阿坤
好事尽从难中得,少年勿向易中求。
展开
-
TDengine Schemaless(无模式写入)常见问题的原因及故障排除
TDengine无模式写入常见问题分析原创 2024-04-12 08:47:36 · 919 阅读 · 0 评论 -
[Java线程池]ExecutorService|CompletionService的区别与选择
这段时间对业务系统做了个性能测试,其中使用了较多线程池的技术,故此做一个技术总结。这次总结的内容比较多,主要是四个:ExecutorServiceCompletionServiceRunnableCallable前两个是线程池相关接口,后两个是多线程相关接口。在最后,我会说明什么情况下使用哪个接口,这两类接口如何搭配使用。Tips:个人拙见,如有不对,请多多指正。一、ExecutorServiceExecutorService是一个接口,继承自Executor。ExecutorSe原创 2024-04-12 08:47:32 · 1257 阅读 · 0 评论 -
大数据常用实时流处理方式(Kafka+SparkStream or ETL+Kudu)
这两天刚完成一个项目,我有个习惯就是完了项目做一下总结和复盘正好这两天没有事情,根据项目顺手做了一个Demo,算是对项目做一个实例化吧。项目核心:展现实时数据流的处理方式整体流程:Java模拟数据,发送到UDP↓......原创 2021-07-23 13:02:24 · 5173 阅读 · 2 评论 -
Windows下载使用nc(netcat)命令
== ‘nc’ 不是内部或外部命令,也不是可运行的程序?==点击链接地址,下载压缩包。完成后解压使用方式(三种):1、直接双击exe使用2、把这个exe放到cmd启动的默认路径下放到默认路径下,使用nc,会自动运行那个软件3、把解压路径添加到环境变量添加到环境变量后,无论是在哪个路径,只要使用nc命令,都能启动那个软件。Tips:如果杀毒软件报错,请退出杀毒软件。...原创 2024-04-13 21:42:29 · 3020 阅读 · 0 评论 -
[Spark SQL]Spark SQL读取Kudu,写入Hive
SparkUnitFunction:用于获取Spark Sessionpackage com.example.unitlimport org.apache.spark.sql.SparkSessionobject SparkUnit { def getLocal(appName: String): SparkSession = { SparkSession.builder().appName(appName).master("local[*]").getOrCreate() }原创 2024-04-11 08:54:52 · 1592 阅读 · 1 评论 -
SparkException: Dynamic partition strict mode requires at least one static partition column
创建表后却无法写入数据?报错内容:== Exception in thread “main” org.apache.spark.SparkException: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nonstrictat org.apache.spark.sql.hive.exec原创 2024-03-18 10:28:37 · 2296 阅读 · 0 评论 -
[spark sql连接kudu]kudu.client.NonRecoverableException: The table does not exist:table_name: “tbname“
报错:原因:没有指定库解决方式:在kudu master ui查看添加到代码中: // 读取kudu // 获取tb对象 val kuduTb = ss_kudu.read.format("org.apache.kudu.spark.kudu") .option("kudu.master", "10.168.1.12:7051") .option("kudu.table", "impala::realtimedcs.wtr31") // Tips:.原创 2024-03-18 10:28:13 · 1184 阅读 · 0 评论 -
SparkSQL读取本地文件写入MySQL
unit1:LoggerLevel思路在main代码中,读取的文件要注意格式。package com.unitsimport org.apache.log4j.{Level, Logger}trait LoggerLevel { Logger.getLogger("org").setLevel(Level.ERROR)}unit2:getLocalSparkSessionpackage com.unitsimport org.apache.spark.sql.SparkSessi原创 2024-03-18 10:28:01 · 1314 阅读 · 0 评论 -
[IDEA运行spark|spark sql出错]Error:(4, 8) object SparkConf is not a member of package org.apache.spark
**原因:**实际上问题的根本原因,是因为spark升级到spark2以后,原有lib目录下的大JAR包被分散成多个小JAR包,原来的spark-assembly.jar已经不存在。原来的 jar包分解为:jars/.jar解决办法:到Saprk官网下载spark安装包,然后解压spark,将jars下的所有jar包添加到项目lib中。spark下载地址:https://archive.apache.org/dist/spark/解压后将jars目录放到自己熟悉的地方,然后在IDEA中为项目添加l.原创 2024-04-07 08:52:21 · 1389 阅读 · 2 评论 -
[2021最新]Java时间戳和日期时间互转换
代码:import java.text.ParseException;import java.text.SimpleDateFormat;public class MainProcess { public static void main(String[] args) throws ParseException { // 1.set format SimpleDateFormat timeSmat = new SimpleDateFormat("yyyy-MM原创 2024-04-16 10:26:38 · 2210 阅读 · 0 评论 -
架构、框架、设计模式三者的区别
架构、框架、设计模式,对于搞IT的人来说,再熟悉不过了。那么它们三者有什么联系?又有什么区别呢?架构: 架构是几个动词,是一个方法论,包含一系列活动过程和步骤。可以联想一下架构师,大数据架构师、软件架构师、首席架构师等等,他们的工作职责,就是根据自己的知识(方法论),通过一系列的步骤,去构建一套框架。框架: 框架是一个架子,是一个名词。用于解决或者处理复杂的问题,框架的搭建需要架构方法论的指导。如果搞得懂架构,就能理解框架。设计模式: 在一定环境中,解决某一类问题的方案。例如Gang of Four合原创 2021-03-03 21:22:38 · 913 阅读 · 1 评论