Hadoop
文章平均质量分 83
大数据-刘耀文
这个作者很懒,什么都没留下…
展开
-
Hadoop搭建完全分布式环境
在搭建集群中,常见的错误1)格式化首先要记住,不要频繁的格式化namenode, 如果非要格式化namenode,先删除tmp目录中的内容 ,清空之前,最好把所有的进程jps 中的残存的服务关掉,如果不关闭的话会存在遗留的进程,就有可能占用之前的端口号。2)端口可能被占用3)避免多用户的使用,多用户的时候会造成pid的冲突4)最好fsimage edites 存储的目录也清空一下Ha...原创 2018-10-27 17:25:49 · 234 阅读 · 2 评论 -
hadoop知识点汇总
1.HDFS读写流程2.namenode的启动过程3.HDFS不适合存储小文件,如果生成场景中还必须将这些小文件进行存储(比如,每天产生的日志,数据量很小,但是必须存储)4.什么情况下会进入安全模式,安全模式的解决办法5.说一下HDFS的可靠性策略6.HDFS的优缺点7.datanode宕机后,集群能否立即将宕机的datanode下线,datanode下线后,集群将进行什么工作。8....原创 2018-11-27 13:05:50 · 550 阅读 · 0 评论 -
hive及hbase常见问题汇总
2018.11.261、HDFS读写流程(1)写数据流程1).客户端发出请求 hdfs dfs -put /etc/profile /qf/data2).namenode查看维护的目录结构,检查/qf/data是否存在,如不存在直接报错”no such file or directory“,如存在返回给客户端同意上传文件请求,将操作写入日志文件3).客户端请求上传第一个块,询问name...原创 2018-11-27 13:10:09 · 784 阅读 · 0 评论