Hadoop学习笔记
蚂蚁的肩膀
这个作者很懒,什么都没留下…
展开
-
linux虚拟机 yum安装出现 “Could not resolve host: mirrors.bfsu.edu.cn; 未知的错误“
错误截图错误出现后,会不停的在控制台输出错误Ctrl+Z 结束当前的安装ps -ef | grep yum #查找当前yum相关的进程kill -9 进程号(pid) #杀掉进程在 虚拟机的 /etc/sysconfig/network-scripts/ifcfg-ens33(网卡名称) 文件中查看配置的DNS,centos6中名称可能不一样设置VMnet8的网络的IPv4信息1.首先打开本地网络适配器,找到VMnet8的IPv4,配置DNS服务器DNS1也需要在本机查找,打开cmd原创 2021-08-20 22:12:08 · 8854 阅读 · 0 评论 -
Hadoop集群中某台DataNode无法启动
**搭建的集群是自学按照尚硅谷的搭建的**;请对应好自己的文件。(1)停止关于Hadoop的所有进程(2)删除每个节点Hadoop目录下 logs 和 data文件夹,命令如下: rm -rf logs rm -rf data(3)cd到Hadoop/bin目录下,重新格式化: hdfs namenode -format没有问题后,重新启动hadoop集群,DataNode进程成功启动。...原创 2021-08-13 12:15:21 · 302 阅读 · 0 评论 -
hive启动异常:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStor
Exception in thread "main" java.lang.RuntimeException:java.lang.RuntimeException: Unable to instantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientatorg.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:449)...原创 2021-03-03 17:22:47 · 1105 阅读 · 1 评论 -
HDFS学习 笔记 关于 HDFS网络拓扑概念及机架感知(副本节点选择)
HDFS网络拓扑概念及机架感知(副本节点选择)在HDFS写数据的过程中,NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离怎么计算呢?节点距离:两个节点到达最近的共同祖先的距离总和。例如,假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记,这里给出四种距离描述。Distance(/d1/r1/n1, /d1/r1/n1)=0(同一节点上的进程)Distance(/d1/r1/n1, /d1/r1/n2)=2(同一原创 2020-08-12 19:01:25 · 418 阅读 · 1 评论