- 博客(12)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Phonix:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.fs.PathIsNotEmptyDirectoryException)
1.现象：按照官网安装:启动后报错：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.fs.PathIsNotEmptyDirectoryException)反正就是各种报错2.原因与解决最后发现官网没有写修改phonix的hbase-site.xml,因为原始的hbase-site.xml与已经部属的hbase-site.xml冲突，所以报错。解决方法：将hbase的hbase-site.xml移动到phonix的bin/目录
2021-05-22 13:18:25
743
原创 azkaban:Failed to find write-enabled DB connection. Wait 15 seconds and retry.
1.原因：翻看日志：可以查看到原因即登陆的权限问题，查看mysql数据库的权限：1）use mysql;2) select User, Host, authentication_string from user;注意：5.7版本下的mysql数据库下已经没有password这个字段了，password字段改成了authentication_string2. 解决：可知道时root 不愿徐远程登陆 两种解决办法：第一，修改root为%权限，允许远程登陆第二，创建新的用户赋值为%权限，远程
2021-05-22 12:56:36
1123
原创 各种的HA
1.定义：所谓HA（High Available），即⾼可⽤（724⼩时不中断服务）。Hadoop-HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。2.HDFS的HAHDFS HA功能通过配置Active/Standby两个NameNodes实现在集群中对NameNode的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种⽅式将NameNode很快的切换到另外⼀台机器。hadoop2.0----支持2个NNhadoop3.0----引入多个
2021-05-16 13:27:17
188
原创 zookeeper
1.zooker的选举原理第一、看有没有leader；如果有正常工作（如何工作？见下一个问题。），如果没有就选举leader.第二、如何选举leader? 先比较zxid,然后比较serverId（大的优先）。如果有5个机器，在选票没有过半的情况下，会一直选举直到某一台机器获得超过半数以上的选票。投票过程：最开始，他们都会选择自己，但是会相互比较zxid和server中的MYId，如果自己小那么就改投到选票到大的那一个，直某一个台机器获取半数以上的选票。这是looking状态，选举完毕就是备注：
2021-05-14 22:03:45
194
原创 hive学习笔记（纯手工）
DDl DATA DEFINE LANGUAGE分区表create table if not exists t3(id int,name string,score int)clustered by(id) partitioned by (dt string)row format delimited fields terminated by “:”collection terminated by “,”map key terminater by “:”;load data inpath
2021-05-09 11:11:40
140
转载 hive的时间函数
**unix_timestamp()**是hive系统时间，格式是timestamp，精确到秒。**unix_timestamp(ymdhms)**是把时间转换成timestamp格式，是2018-05-23 07:15:50格式。**unix_timestamp() - unix_timestamp(ymdhms)**是两个时间转换为timestamp之后相减，timestamp单位是秒，相减之后是两个时间之间相差的秒数。**CAST((unix_timestamp() - unix_timesta
2021-05-08 20:36:00
662
原创 hadoop MR的一些迷糊知识总结
1.set 方法是在map任务启动时初始化执行一次-=—给我个人的感觉是同一个文件只会启动一次map任务。2.在mapper 类中的map方法 它只要是用他context.write方法写出以后 后面的 kv对再进来 复写 属性 （例如bean对象）时 而对前面的 kv 的产生影响。 可以看出if里面的bean是属性 但是 前面输出的 kv 不会被后面输入的 kv 影响。...
2021-04-23 14:45:28
255
原创 hadoop 出现bug：Exception in thread “main“ java.lang.UnsatisfiedLinkError
问题：Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIOWindows.access0(Ljava/lang/String;I)Zatorg.apache.hadoop.io.nativeio.NativeIOWindows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.Native
2021-04-22 22:14:13
261
原创 Maven在idea中加载依赖包不成功，或者pom.xml一直报错，如何解决？
因为大家都是知道的原因，国内的都需要更改加镜像源才能从中央仓库里面下载依赖，所以需要修改maven的settings的文件，更改镜像源，但是这样的结果可能会导致兼容性问题，出现pom.xml一直报错（依赖加错不在讨论范围之内）。解决方法：1.从idea的plugins文件夹里找出maven的setting配置，将其放在idea默认读取的中央仓库的位置，这个位置可以在idea的maven中设置中找到，复制过来就行。2.删除之前下载的lastupdate的镜像，我一般直接吧c盘默认为仓库里面的全部删除了。
2021-04-20 10:57:19
3965
原创 为何hadoop集群只有一个datanode呢？
为何hadoop集群只有一个datanode呢？1.看配置 hadoop2的看slaves文件配置；hadoop3的看workers文件配置2.同步的错误 在同步时将hadoop文件夹全部都同步过去了，里面的log日子也同步过去了，这样的的话，就会导致datanode只有一个。解决办法：删除data和logs文件 然后重新初始化naname...
2021-04-19 11:41:08
1193
原创 复制文件夹到集群所有节点的相同目录下的shell脚本
复制文件夹到集群所有节点的相同目录下的shell脚本代码#!/bin/bash##在/usr/local/bin这个目录下存放的脚本#，root用户可以在系统任何地方直接执行#需求：循环复制文件到集群所有节点的相同目录下# rsync -rvl $dirname/$base_name $username@$hostname:$pdir# 1.获取当前dir 和 dir if (( $# == 0 )); then echo no params; exit;fi# p1=$1f
2021-04-17 16:38:29
166
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人