Hadoop&Spark
曹小小七
IT
展开
-
大数据与机器学习
1、大数据的定义(3V):volume(大量数据) variety(多样性)velocity(时效性)1.2 Hadoop的特性可扩展性经济性弹性可靠性1.3 HDFS分布式文件系统 NameNode负责管理、维护、控制读写 HDFS设计的前提和目标:1、硬件故障是常态而不是异常---容错能力-自动恢复2、Streaming 流式数据存取批处理,有点:提高存取大数据的能力,确定,牺牲了响应时间3...原创 2018-04-28 15:39:26 · 569 阅读 · 0 评论 -
Hadoop 2.6 Single Node Cluster 安裝指令
1.安裝JDKjava -version sudo apt-get update sudo apt-get install default-jdk java -version update-alternatives --display java2.設定 SSH 無密碼登入sudo apt-get install ssh sudo apt-get install rsync ssh-keygen -...转载 2018-04-28 15:40:27 · 188 阅读 · 0 评论