hadoop
Lakers-24
这个作者很懒,什么都没留下…
展开
-
Hbase与Hive的关系
作者:yuan daisy链接:https://www.zhihu.com/question/21677041/answer/78289309来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。Hive中的表是纯逻辑表,就只是表的定义等,即表的元数据。Hive本身不存储数据,它完全依赖HDFS和MapReduce。这样就可以将结构化的数据文件映射为为一张数据库表,并提供完整的SQL查询功能,并将SQL语句最终转换为MapReduce任务进行运行。 而HBase表是物理表转载 2021-06-21 17:06:56 · 448 阅读 · 0 评论 -
slave2: ERROR: Cannot set priority of datanode process 12421
可能原因有多种,我上次遇到的原因有些记不到了。只记得一种,可能是你hadoop文件夹的权限问题。1、hadoop文件夹的拥有者和组不同尝试先ll (小写的L)查看hadoop文件夹的拥有者和组,看是否是你当前的hadoop用户。如果不同则修改hadoop文件夹的拥有者,例如:将testfiel 及其内部文件所属用户设置成zhuo,所属用户组设置成zhuoroup。sudo chown...原创 2018-11-28 08:48:01 · 9970 阅读 · 2 评论 -
Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) D
运行hdfs dfsadmin -report没有报错,但是所有项都为0;Configured Capacity: 0 (0 B)Present Capacity: 0 (0 B)DFS Remaining: 0 (0 B)DFS Used: 0 (0 B)DFS Used%: 0.00%Replicated Blocks:Under replicated blocks: 0Blo...原创 2018-11-28 10:03:41 · 4622 阅读 · 0 评论 -
hadoop 3.1.1 分布式安装部署 ubuntu16.04
参考链接:https://blog.didiyun.com/index.php/2018/11/20/hadoop3-1-1/其中需要注意的几个点包括hosts节点中删除原来的127.0.0.1 localhost和127.0.0.1 master两行。hadoop用户需要有hadoop文件夹的读写权限,是该文件夹的所有者。ssh配置按照规范来,使用ssh时用hadoop用户。我前几...原创 2018-11-28 10:19:27 · 293 阅读 · 0 评论