大数据的特征是什么?
答:1.数据量大
2.数据类型多样化
3.价值密度低,商业价值高
4.速度输入输出要求快
大数据集群的搭建详细步骤
HDFS是什么?
答:分布式文件存储系统
HDFS优点是什么?
答:1.处理超大的文件
2.流式的数据访问
3.可以处理结构化、半结构化、非结构化数据
HDFS缺点/局限性是什么?
答:1.不适合处理低延迟数据访问
2.无法高效的存储大量的小数据
3.不支持多用户对文件进行同时写入和修改文件
HDFS的特性是什么?
答:1.高容错性,可配置性强、可扩展性强
2.跨平台
3.shell命令接口
4.机架感知
5.负载均衡
6.web界面
HDFS块的默认大小是?
答:hadoop1.0默认为64mb
hadoop2.0默认为128mb
HDFS默认存放副本数为?
答:3个
HDFS的副本存放策略?
答:第一块:在本机器的HDFS目录下存储一个Block
第二块:不同机架的某个DataNode上存储一个Block
第三块:在该机器的同一个机架下的某台机器上存储最后一个Block
HDFS安全模式命令
答:hadoop dfsadmin -safemode leave //强制退出安全模式
hadoop dfsadmin -safemode enter //进入安全模式
hadoop dfsadmin -safemode get //查看安全模式
hadoop dfsadmin -safemode wait //等待,一直到安全模式检查结束
HDFS几个命令行接口
答:hadoop fs -ls 查看hdfs下一级目录
hadoop fs -lsr 递归查看目录文件
hadoop fs -mkdir 创建目录
hadoop fs -put 从本地上传文件到HDFS上
hadoop fs -get 从HDFS下载文件到本地
hadoop fs -cat 查看文件内容
hadoop fs -rm(r) 删除文件/夹
HDFSjava接口的案例(重点)
HDFSRPC协议底层原理(Server和Client案例)
HA高可用集群的搭建步骤
hadoopIO操作压缩、序列化案例
hadoopIO操作SequenceFile序列化框架案例