- 博客(2)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 对HDFS存储粒度的一点新认识
首先HDFS是适合大文件存储的文件系统，对于过多的小文件的应用场景并不适合。以下是一些使用过程中的经验和总结，希望对大家有所帮助，当然，如有谬误，也请大家指出，欢迎讨论。过犹不及——根据数据查询需求，定制数据存储粒度为了尽可能的细化数据存储粒度，我们对于每个产品的数据，按天进行隔离存储，这样，我们在查询某个产品某天的数据时，从HDFS中读取的数据就只是那一天的数据，这样从IO层面上
2014-03-28 11:39:32
1949
原创 CentOS 5.x和CentOS 6.x限制单个用户线程数上限的不同行为
在使用HiveServer的过程中，通过一个Java程序向其并发提交多个Job，我们发现在同时提交的任务较多的时候，程序就会莫名其妙地卡住，并报出内存溢出（OOM）的错误，但是经过排查，系统还有数十GB的内存处于FREE状态，JVM的内存上限也非常大，所以可以断定问题的原因并不是因为内存不够，而有其它原因。根据以往的经验，我们在部署服务器的时候，会设置一个系统最大打开文件数量和系统最大
2014-03-07 11:32:05
5522
1
ASGI 3.0规范中文版.pdf
ASGI规范 3.0；主要用于ASGI服务器的设计和开发提供基础协议规范，具体服务器实现有Django Daphne/Uvcorn这两个代表；现在Django 3 也直接集成了异步功能。
2019-12-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人