项目
文章平均质量分 64
慢点走
这个作者很懒,什么都没留下…
展开
-
TDengine 如何批量插入?
【本文正在参与 “拥抱开源 | 涛思数据 TDengine有奖征稿】拥抱开源 涛思数据 TDengine有奖征稿活动-CSDN 链接:https://marketing.csdn.net/p/0ada836ca30caa924b9baae0fd33857c文章目录正常插入批量插入解决错误查询官方文档常见问题官方文档连接器官方文档高效写入数据官方文档最终结论修改后的代码 最近在使用涛思旗下tdengine数据库的时候,因为需求,需要原创 2021-07-13 14:28:24 · 5419 阅读 · 0 评论 -
nohup和&的区别
最近因为某些原因,需要自己去服务器部署项目,出于好奇,专门看了下脚本的命令,然后自己测试了一下。代码准备 首先,是java代码:public class test{ public static void main(String[] args) throws InterruptedException{ while(true){ System.out.p原创 2021-06-08 11:05:28 · 728 阅读 · 2 评论 -
tdengine jdbc连接报错: Unable to resolve FQDN; 其他情况出现该错误,也可用此方法处理。
最近因为项目原因,用到了涛思(taos)旗下的tdengine,踩到的一些坑,记录一下。起因 首先,服务端安装tdengine,按照官方文档即可,客户端使用时按照文档先安装并下载jar包。在 windows 环境开发时需要安装 TDengine 对应的 windows 客户端,Linux 服务器安装完 TDengine 之后默认已安装 client,也可以单独安装原创 2021-06-07 13:49:43 · 7942 阅读 · 4 评论 -
使用curl发送es部分常用命令
文章目录使用sql对es进行查询查看索引信息删除索引全部数据删除索引新增索引注意事项 最近项目碰到需求,用curl给es发指令,看看返回结果,记录部分如下。使用sql对es进行查询curl -X POST "http://127.0.0.1:9201/_sql?format=json" -H 'Content-Type: application/json; charset=UTF-8' -H 'Authorization原创 2021-05-31 16:22:11 · 1163 阅读 · 0 评论 -
HIVE中,cluster by有什么意义
文章目录1. cluster by 是什么?2. cluster by有什么意义?1. cluster by 是什么? 如果想彻底了解:HIVE中,order by、sort by、 distribute by和 cluster by的区别,请查看HIVE中,order by、sort by、 distribute by和 ...原创 2020-03-18 21:32:40 · 15627 阅读 · 5 评论 -
hive中,cluster by为什么会出现?有什么意义?有什么用处?有什么应用场景?
前段时间,因为项目原因,了解了cluster by,顺路写了一篇博客:HIVE中,cluster by有什么意义。然后底下有人回复:假如100个专业分了10个区,那么每一个区里都应该会有不同的专业。但反过来说,真正的mr 并没有完全按专业分区,如果完全的话那应该是100个区。问题是结果只有10个区,这么做意义的结果总结一下应该是:cluster by 的字段只是参原创 2021-05-20 23:00:47 · 7018 阅读 · 11 评论 -
pgsql case when 报错: ERROR: invalid input syntax for type numeric ,应该如何处理?
文章目录问题把结果扩展一下问题 最近有个需求,sql如下:select case when score < 60 then 60 else '优秀' end from stuent 但是运行的时候报错了:ERROR: invalid input syntax for type numeric:'优秀' &原创 2021-05-18 15:58:04 · 35037 阅读 · 0 评论 -
pgsql 无法删除表 CASCADE无效
问题发生并解决后,有一段时间了,所以问题和解决过程只记住了个大概…问题表现 pgsql,删除某张表,无论是用第三方工具,还是命令,都无法删除成功。因为时间有点长了,所以报的啥错我也记不清了… 无法删除、无法访问、select 什么的都不成功。其他同事对这张表的操作一样。  原创 2021-05-18 15:14:01 · 4616 阅读 · 4 评论 -
springBoot项目,图片存在,路径正确,但是访问图片时报404
先说一下具体现象:所有图片都放在一个文件夹里,但其他图片都可以访问到,只有一张图片访问不到。 说结论:1. 路径写错了; 2. 浏览器刷新的时候用的缓存 首先声明,本人是写后台的,所以大部分都是后台视角,前台也就是简单的h原创 2021-04-25 17:13:07 · 3057 阅读 · 0 评论 -
spark executor内存足够使用,却报错SparkOutOfMemory: Unable to acquire xxx bytes of memory,如何解决?是否与coalesce有关?
文章目录问题描述解决办法问题描述 从spark查出来数据后可以再次保存到hive中。当数据量不是很大的时候,为了避免产生过多小文件,可以使用重分区来解决。 重分区有两个方法:coalesce 和 repartition 。本文重点不是介绍这两个方法,所以大概说一下区别:coalesce 不需要shuffle, 而 repartition 需要 shuffle。而为原创 2020-12-23 21:56:13 · 1876 阅读 · 0 评论 -
springBoot报错: MyBatis:check the manual that corresponds to your MySQL server version
昨天用java的SpringBoot写项目,底下是个查询语句(为了说明方便,使用*): select * from t_student where birthday &gt; = #{beforeDate} and birthday &lt;= #{nowDate} order...原创 2018-11-14 09:56:09 · 10510 阅读 · 0 评论 -
jdbc执行sql出现错误: mismatched input ‘,’ excepting ‘.‘ 应该如何解决?
最近有一个需求,需要查出来数据,再插入到数据库种。采用的办法是:先把数据取出,放到一个list中,然后循环list,拼接sql的插入语句,然后执行sql。 代码大概如下(简化了业务,表达大意): String insertSql = "insert into t_test(\"name\") values"; StringBuffer sb = new Stri原创 2020-12-09 17:16:29 · 29562 阅读 · 0 评论 -
java程序中,如何设置周一为一周的开始?如何设置周一为一周的第一天? 或者说,如何理解java的setFirstDayOfWeek()方法?
java中,在统计周的时候,默认一周是从周日开始的。但因为生活习惯或项目需求,我们经常需要改变一周的起始日期,这里说一下解决办法以及我陷入的误区。 一、 解决办法 使用Calendar类可以解决,这个类很灵活,功能很强大。 &nbs原创 2020-11-30 22:07:07 · 3509 阅读 · 6 评论 -
使用hue oozie运行spark程序,appName不生效
最近公司要求使用hue oozie来管理spark的定时任务。配置并运行spark项目后,虽然项目成功启动了,但是在yarn上查看任务的时候,却发现applicationName与oozie设置的appName完全不一样。 举个例子:oozie中设置的appName是test123,但是在yarn中查看到的applicationName是abc456。原创 2020-11-29 21:29:28 · 392 阅读 · 0 评论 -
集群上运行spark任务,任务突然提前结束;多线程中,main线程结束了,其他线程为什么也跟着结束了。
文章目录情况说明集群上运行解决方案情况说明 最近有一个需求,在spark集群上运行一个任务,这个任务是多线程的,伪代码如下:public class TestMain { public static void main(String[] args) { Thread t1 = new Thread( new A(1)); Thread t2 = new Thread( new A(2));原创 2020-08-17 17:34:52 · 829 阅读 · 2 评论 -
linux shell 脚本,将变量拼接到命令中。
有这个一个场景:需要写多个定时任务提交到yarn,这些任务都是同一时间启动的。原先的做法是,所有的启动命令都使用linux的crontab,但是因为任务过多,所以crontab里的内容越来越多,不好管理,改时间也不方便,所以这里写脚本进行管理。 同时为了方便查看任务,每个任务的名字,将当前时间的时分拼接到yarn的任务的name上。linux拼接字符串 原创 2020-08-06 19:16:03 · 19574 阅读 · 2 评论 -
使用spark读取hadoop文件的具体内容
在一些情景下,需要用spark读取hadoop的文件的具体内容,这里做一下简单介绍。pom.xml pom.xml如下:<dependencies> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-j原创 2020-07-03 17:46:52 · 1474 阅读 · 0 评论 -
Java,Scala - 使用代码统计hadoop中hdfs的文件大小以及文件夹大小
文章目录一些配置和前提说明hadoop的一些说明代码的一些说明pom.xml获取行数使用FileSystem获取文件行数使用spark获取hdfs 文件的条数获取大小第一种解决办法:使用getBytes()第二种解决办法:使用listStatus()简单的情况比较麻烦的情况第三种解决办法:使用getContentSummary()额外说点hadoop fs -dus &nb原创 2020-07-03 17:29:02 · 5717 阅读 · 0 评论