大数据开发
刘sir--
这个作者很懒,什么都没留下…
展开
-
es修改字段类型
概述首先说明es中索引的字段类型是不可修改的,只能是重新创建一个索引并设置好mapping,然后再将老索引的数据复制过去。操作步骤1、创建索引,并指定mappingPUT /web-log{ "mappings" : { "properties" : { "classMethod" : { "type" : "text", "fields" : { "keyword" : {原创 2020-07-16 14:47:33 · 15118 阅读 · 2 评论 -
多线程并发情况下使用日期转换函数
最近,要对每条log进行日期过滤,由于log日期是这种样式的“2018-08-03 00:00:00”,需要在过滤的时候将其转化成long类型进行比较筛选,这时候就要用到SimpleDateFormat了,但是,由于rdd有多个分区,各个分区并行执行,考虑到线程安全和资源问题,最后使用了第三方jar包的FastDateFormat val dateFormat = FastDateForm...原创 2018-10-20 20:20:46 · 604 阅读 · 0 评论 -
windows编写的shell脚本到linux环境下运行
在windows下编写shell脚本回车符是\n\r,而linux下的回车符是\n,所以在linux下运行脚本的时候,需要修改下脚本的的编码格式,vi 脚本,底行模式,输入set fileformat=unix ...原创 2018-10-27 19:54:58 · 4161 阅读 · 0 评论