- 博客(8)
- 资源 (3)
- 问答 (3)
- 收藏
- 关注
原创 mac 安装kafka报错 mkdir: illegal option -- e FAILED TO WRITE PID
mac配置kafka 环境报错,解决途径,记录一下: 清华源下载:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.8/ 选择bin 下载,然后解压,启动报错如下: /usr/bin/java ZooKeeper JMX enabled by default Using config: /Users/malong63/opt/apache-zookeeper-3.5.8-bin/bin/../conf/zoo.cf
2020-05-24 23:33:16 1231 2
原创 spark读取hdfs文件过滤临时文件 scala
spark读取hdfs中文件的时候,.tmp文件不是我们需要的,需要进行过滤 import org.apache.hadoop.fs.{Path, PathFilter} /** * filter temp files in hdfs dirs * eg: 1234556.tmp */ class FilterTmpPath extends PathFilter { @Override def accept(path:Path):Boolean = { val tmpS
2020-05-22 11:39:51 587
原创 Spark 数据写入ES日期类型自动转换,在es中自动保存为date类型?
spark中数据写入es, 数据自动mapping 的时候,es会把时间戳转换为long, 如果是 yyyy-MM-dd HH:mm:ss 格式的则会转换为为text 类型。 折腾两天,发现如果写入数据之前,将时间戳格式化为、UTC格式的时间,再写入ES,则ES会自动mapping为date类型。 为什么要ES mapping这个字段为date类型呢?一个是不想写入局之前先往ES中手动建立mapping, 一个是 ES中数据会在ES中使用,ES中需要选择一个字段作为时间戳字段,必须为date类型。 具
2020-05-11 15:05:41 1854
原创 python split 与 java split 函数的区别
以空格作为分割符号为例子: 最后一个字符如果是空格,python分割后最后会多一个空串,java则没有 python s = "abc abc " 这个字符串 分割之后,长度为三 java 中这个字符串,分割之后,长度为2,没有最后的空字符串 输出 ...
2019-07-22 23:36:37 281
原创 Linux shell 日期,时间相关的命令
在shell开发中,经常要用到跟获取日期相关的东西,这里记录一下Linux shell 获取日期的方法 获取当前日期:today=`date +"%Y-%m-%d"` 获取昨天的日期:yesterday=`date -d "-1 day" +"%Y-%m-%d"` 获取指定日期前N天的日期:date=`date -d "$date -3 day" +"%Y-%m-%d"` 其中$date ...
2017-06-06 11:31:09 10437
原创 json操作
遇到一些与json数据处理有关的问题,记录一下,有新的理解随时更新: 1. python 解析json数据: 如果已经有了一个被格式化为json格式的字符串str = {"slots":[["pricerange","cheap"],["food","vegetarian"]],"act":"canthelp"} 使用 encodejson = json.loads(str) 然后就
2015-11-18 16:44:39 299
求ATIS3语料的介绍,比如示例,标注,轮次,或者介绍的网址什么的
2015-09-21
c++中cin,cin.getline()中换行符问题
2014-04-12
python中import soundplayback失败
2014-03-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人