Hadoop
拉丁解牛说技术
拉丁哥,10年+TOP金融互联网大厂开发经验,大道至简、行胜于言。用最少的代码+最直白的文字,分享JAVA技术栈。
展开
-
Hadoop 3.0 新特性总结
JDK8、EC、大于2个namenode、 Java最低版本要求从Java7 更改成Java8 所有的Hadoop JARs都是针对Java 8 编译的。仍在使用Java 7 或更低版本的用户必须升级至Java 8。 HDFS支持纠删码(Erasure Coding) 与副本相比纠删码是一种更节省空间的数据持久化存储方法。标准编码(比如Reed-Solomon(10,4))会有 1.4 倍...原创 2018-10-14 15:47:27 · 466 阅读 · 0 评论 -
Hadoop 3.0 安装部署
最近在虚拟机上新装了一个单节点的Hadoop,用于日常测试。 下载二进制包,解压。官网 http://hadoop.apache.org 1、 安装ssh,否则Pseudo-Distributed Operation 模式下启动hdfs会失败。 sudo apt-get install ssh 2、打开 etc/hadoop/hadoop-env.sh 配置java home e...原创 2018-11-17 18:04:24 · 441 阅读 · 0 评论