量变训练质变-CSDN博客

原创 HADOOP 之 YARN配置

HADOOP 之 YARN配置修改yarn-site.xml修改start-yarn.sh使用验证修改yarn-site.xml <?xml version="1.0"?> <configuration>  <property> <name>yarn.resourcemanager.hostname</name> <value>linux01</value> </

2021-05-17 22:18:23 389

原创 hbase异常：PleaseHoldException: Master is initializing

hbase异常：PleaseHoldException: Master is initializing 问题描述解决方案问题描述正常开启hdfs，zookeeper，和hbase后，各项进程正常。进入hbase的shell客户端后，输入指令运行错误，抛出异常：解决方案先进入zookeeper客户端删除/hbase,再进去hdfs客户端删除/hbase,重启hbase。 zkCli.sh rmr /hbase hdfs dfs -rm -r /hbase 重启hbase客户端 ...

2021-05-09 19:02:28 713

原创 log4j配置失效

IDEA 配置问题集1. log4j配置失效 1. log4j配置失效问题描述：我已经在main/resources/下新建了一个log4j.properties，但是运行项目还是不会打印日志。解决办法：将logj.properties文件复制进target/classes/下 ...

2021-05-06 22:54:15 1399

原创 Hadoop之HDFS使用

HDFS使用一.客户端二级目录三级目录一.客户端 hdfs有3个客户端： 1.web客户端，仅仅提供文件浏览和删除，http://linux01:89870,browse file system。 2.命令行客户端，提供hdfs dfs <选项>来启动客户端并执行对应语句，hdfs目录地址在：http://linux01:8020/下，也就是hdfs-site.xml里面dfs.namenode.rpc-addres对应的value值。本机文件上传到hdfs: hdfs dfs -put 本

2021-05-04 20:55:21 704

原创 WIN10本地配置HADOOP

WIN10本地配置HADOOP需求需要一个windows版本的Hadoop的bin文件环境配置需求希望在本地跑一些hadoop测试程序需要一个windows版本的Hadoop的bin文件链接：https://pan.baidu.com/s/1-uzJi27URRuYFBALymV-RA 提取码：love 下载如图：（解压完里面就一个bin目录）环境配置新建一个" HADOOP_HOME "，里面填上面文件解压的目录。在PATH里面添加 " %HADOOP_HOME%\bin "。 ..

2021-05-04 20:39:25 216

原创 IDEA配置远程连接

IDEA配置远程连接一. 配置二. 使用一. 配置 1）依次点击Tools->Deployment->Configuration。 2）进入配置界面后，点击左上角的+号，选择SFTP。 3）选择SSH configuration 右边的3个点，添加远程主机账户。 4）进入SSH configuration界面后，点击左上角的加号，Host是主机IP，User name是登入用户名，默认为root,Passwoed是登入密码，记得点save password。 5）为了避免中文乱码，记得

2021-05-01 17:24:30 3080

原创 HDFS集群正常启动，web客户端datanode数量查看错误

Hadoop问题集一. HDFS集群正常启动，web客户端查看错误一. HDFS集群正常启动，web客户端查看错误问题描述：所有配置正确，集群所有机器防火墙关闭，集群机器间ssh免密，hosts,hostname都正常可以正常ping通，namenode主机拉起集群服务，集群所有的namenode和datanode正常启动。但是，打开web客户端看不见正确数量的datanode! 解决办法：可能是hadoop默认hdfs-site.xml里面的配置导致，现在需要修改用户的hdfs-site.xml进行合

2021-04-27 19:23:00 437

原创 IDEA版MAVEN配置

idea版maven配置一. 安装maven二. 配置本地仓库三. 配置阿里云maven镜像四. 生成本地仓库五. idea新建maven项目一. 安装maven maven下载官网：https://maven.apache.org/download.cgi 。然后在环境变量里面新建MAVEN_HOME,内容就是maven解压的目录（是bin等文件所在的父目录）。 win键+r,打开命令行，输入 mvn -v ,如果出现版本，说明成功。二. 配置本地仓库 maven一般是先在本地仓库中寻找包，找不到

2021-04-26 13:23:21 547

原创 Hadoop 之 HDFS配置

Hadoop 之 HDFS配置目录一. hdfs概念二. 配置N台虚拟机（搭建集群）2.1 主机名2.2 ip地址2.3 hosts映射2.4 防火墙2.5 jdk2.6 ssh免密三. Hadoop配置一. hdfs概念二. 配置N台虚拟机2.1 主机名2.2 ip地址2.3 hosts映射2.4 防火墙2.5 JDK2.6 ssh免密三. Hadoop之HDFS配置3.1 解压hadoop安装包3.2 配置hadoop环境3.3 配置hadoop-env.sh3.4 配置hdfs-site.xml3.5

2021-04-25 17:03:43 1449

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

qq_39996037的博客