大数据
子非鱼的博客
www.dangjinh.cn
展开
-
Hadoop的CombineFileInputFormat合并小文件(附代码)
简单的demo!!!需求:海量小文件,每一个文件都传递一个map()函数,每个map创建一个映射器,导致效率低下。代码如下:package xxx;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Pat...原创 2019-06-10 17:37:22 · 520 阅读 · 0 评论 -
Zookeeper启动后自动关闭
translate:没有足够的粉丝支持,leader自杀!!!java.lang.Exception: shutdown Leader! reason: Not sufficient followers synced, only synced with sids: [ 1,4 ] at org.apache.zookeeper.server.quorum.Leader.shutdown(...原创 2019-07-12 16:43:41 · 4721 阅读 · 0 评论 -
KNN算法
KNN算法原创 2019-07-18 12:00:55 · 241 阅读 · 0 评论