![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
老段,万物互联之物联网
万物互联之物联网
展开
-
时序数据库是什么?
以时间为序主产生的数据称之为时序数据,存放这些时序数据的库称之为时序数据库。时序数据一般是由设备周期性产生,特点是量大价低,主要用于监控及统计设备产生的数据,预测趋势。因为量非常巨大,所以不适合放关系型数据库中。原创 2023-05-21 16:54:07 · 204 阅读 · 0 评论 -
pyspark 中删除hdfs的文件夹
在pyspark中保存rdd的内存到文件的时候,会遇到文件夹已经存在而失败,所以如果文件夹已经存在,需要先删除。搜索了下资料,发现pyspark并没有提供直接管理hdfs文件系统的功能。寻找到一个删除的方法,是通过调用shell命令 hadoop fs -rm -f来删除,这个方法感觉不怎么好,所以继续找。后来通过查找hadoop hdfs 的源代码发现 hdfs是通过java的包 org.appache.hadoop.fs中的几个类来完成的,也有用java创建 hdfs对象再调用对象的删除...原创 2020-12-01 20:39:52 · 2211 阅读 · 0 评论