【大数据】hadoop
自然语言处理-nlp
熟能生巧
展开
-
hdfs心跳机制
hdfs心跳机制:1)hdfs是master/slave结构,master包括namenode和resourcemanager,slave包括datanode和nodemanager2)master启动时会开启一个IPC服务,等待slave连接3)slave启动后,会主动链接IPC服务,并且每隔3秒链接一次,这个时间是可以调整的,设置heartbeat,这个每隔一段时间连接一次的机制,原创 2017-08-04 15:36:19 · 4319 阅读 · 3 评论 -
hdfs安全模式
hdfs安全模式三种情况会进入安全模式:1) 在集群冷启动时,由于正在读取block块的信息,会处于安全模式,当读取完毕,会自动退出安全模式2) 当block块的丢失率达到0.1%时,会进入安全模式 3) 手动进入安全模式,hdfsdfsadmin –safemode enter三种退出安全模式方法:1) 在启动完后,自动退出2) 手动退出安全模式,hdfsd原创 2017-08-04 15:37:37 · 728 阅读 · 0 评论 -
上传文件到集群失败
想put文件到hdfs上,遇到org.apache.hadoop.fs.ChecksumException: Checksum error的问题hadoop fs -put cheap_all /tmp/wanglei/cheap16/03/24 09:27:52 INFO fs.FSInputChecker: Found checksum error: b[0, 4096]=31转载 2017-10-20 11:40:15 · 1182 阅读 · 0 评论 -
WIN7下运行hadoop程序报:Failed to locate the winutils binary in the hadoop binary path
报Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.下载winutils的windows版本 GitHub上,有人提供了winuti...原创 2018-05-17 18:58:38 · 715 阅读 · 0 评论 -
Yarn队列
yarn队列提交spark任务权限控制转载请注明出处:http://www.cnblogs.com/xiaodf/1 CapacityScheduler 1.1 模型介绍 1.2 资源分配相关参数 1.3 限制应用程序数目相关参数 1.4 队列访问和权限控制参数 2 线上实例 2.1 配置 2.1.1 配置ResourceManager使用CapacitySch...转载 2018-08-09 15:10:08 · 4016 阅读 · 0 评论