- 博客(13)
- 收藏
- 关注
RSS订阅原创 [hadoop&hbase篇]hbase启动后主节点hadoop001的Hmaster启动不起来，而从节点hadoo002与hadoop003的HRegionServer都能够正常启动
hadoop集群活跃(active)状态的namenode节点和hbase的master必须是同一台机器。
2023-09-16 23:01:51
1028
1
原创 [java篇]IDEA如何打jar包
1. 进入到项目结构File–Project Structure...2. 添加空Jar包Artifacts–Jar–Empty3.给Jar包起名字wc( wordcount的缩写)4.导出模块"+" – Module Output5.选择导出的模块6.模块导出的环境7.定位Jar包，创建Manifest,即元信息8.自动定位到项目9.添加路径Main class10.选定自己要添加的项目11.如图所示
2022-10-31 09:04:50
7498
1
原创 [java&hadoop篇]上传文件报异常(读写操作不支持)Exception: Operation category WRITE is not supported in state standby
一.执行代码二.打印日志三.异常原因:在启用hadoop的集群中,HDFS客户端无法预知在操作的时刻哪个NameNode处于活动状态。因此，当客户端与NameNode联系，而NameNode恰好是备用节点时，读或写操作将被拒绝，此消息将被记录下来。因此查看状态hdfs haadmin -getServiceState nn1，发现nn1为活跃，nn2为备用四.将nn1改为备用，nn2改为活跃hdfs haadmin -transitionToStandby --forc
2022-10-30 09:05:01
1714
原创 [java&hadoop]上传文件java.io. FileNotFoundException:D:\ soft\mysql8.0(访问被拒)及解决方案
一.执行代码二.打印异常日志java.io. FileNotFoundException:D:\ soft\mysql8.0(访问被拒)三.异常原因:FileInputStream读取流的时候如果是文件夹，就会出错，无论怎么读，都拒绝访问，应该在读取的目录后面加上文件名！四.执行成功
2022-10-30 08:39:07
917
原创 [java&hdfs篇]使用Java创建目录和HDFS的权限(causeBy permissions deny)问题及解决方法
一.看一下新建目录/folder111的权限及创建目录的用户.1.由下图我们知道/folder111的权限是755。而此时的操作用户为其他用户admin。又因为只有当前root用户有写的权限，而同组用户和其他用户都不具备写的权限，所以报错权限被否causeby2.查看自己电脑当前登录的用户是admin二.解决方法:有4种解决方法，前三种常用1.设置一个属性AW -->root hdfs 你说你是谁，你就是谁，不加验证。//指定当前hadoop的用户是roo
2022-10-27 09:30:43
1302
原创 [HDFS篇]用java操作hdfs,由于没有开启hadoop集群而出现异常failed on connection exception
1.异常: 拒绝连接异常failed on connection exception2.原因：没有进一步信息no further information。是因为hadoop没开，你用java操作hdfs，那必须先把hadoop打开3. 解决方案:打开hadoop集群，运行成功。对于 exit code，在大部分编程语言中都适用；exit code 0 表示程序执行成功，正常退出；exit code 1 表示程序执行执行过程中遇到了某些问题或者错误，非正常退出。
2022-10-27 08:47:43
853
原创 [ sqoop篇]用java操作hdfs时，添加hdfs的依赖时注意事项
一:用java操作hdfs,首先要将hdfs依赖的jar包导入到java工程中来.那么hadoop依赖的jar包有哪些呢？首先看一下hadoop的目录结构由hadoop目录可得，想要用java操作hdfs,就添加hadoop的依赖。具体操作如下:1. hadoop-2.7.3/share/hadoop/common下的三个jar包以及hadoop/common/lib的所有jar包复制到java工程的lib目录下2. hadoop-2.7.3/share/hadoop
2022-10-26 20:53:19
988
原创 [ java篇] IDEA如何创建工程
1.创建项目File–> New–> Project…2.java–> next( jdk版本我这里是1.8)3.是否创建项目案例，如果是首次则需要选择一个。我们这里直接next4.项目名称和项目保存的路径,点击finish5.建包src–> New–> Package6.建类(建工程)包名–> New–> Java Class
2022-10-26 19:33:31
514
原创 [ Linux篇]执行jpsall.sh命令，权限不够问题
1.问题描述:执行jpsall.sh命令，权限不够(红框内容)。查看jps all.sh脚本文件(绿色框中的内容)，白色表示权限没加上去2.添加权限命令chmod +x 脚本文件(红框)。添加成功，文件变绿(绿框所示)
2022-10-26 09:25:48
718
原创 [Linux&hadoop篇]修改/root目录后，SSH免密登录失效问题(修改权限引起的免密登录失效问题。解决方案:修改权限为原来的权限)
1.问题描述:用xftp进入/ root目录时,无法显示远程文件。原因:是当前用户没有操作/root的权限2.用ls查看/root权限,权限是550并(记住这个权限，得会儿要改回来,绿框内容)。然后修改/root权限777(红框内容)3.进入到/root后并上传了三个脚本文件4.上传文件后发现ssh免密登录失效，原因是修改了/ root的权限5.修改/root的权限改回之前550(第二步时让记住的权限)并查看6.再次ssh免密登录,登录成功
2022-10-26 09:01:41
1338
1
原创 【Linux系统root用户登录后显示 “-bash-4.2#” 解决方案 】
一.【问题】登录root用户的时候,不是[root@localhost ~]# 而是-bash-4.2二.【问题的原因是】不小心删除了/root文件夹下的.bash_profile与 .bashrc两个文件，这里我们只需要将这两个文件还原即可。具体操作如下:1.查看/root目录下是否有文件缺失，这里使用命令ls -a，以显示隐藏文件，我们可以看到. bash_profile和. bashrc两个文件缺失2.找到. bash rc和. bash_profile两个文件的位置。我
2022-10-19 00:10:51
6071
4
原创 [sqoop篇]将MySQL库表中的数据导入到hive中报错hive.表名 already exists
一、执行语句二、报错内容三、报错原因hive.defaults. ods_test_stu表已经存在，所以我不能继续在hive中创建ods_test_stu表四、解决方案方法1.修改导入进hive中的表名 ，既将执行语句中的参数--hive-table ods_test_stu中的ods_test_stu改了(例如此处我将表名改为ods-test_student)方法2.删除之前主节点导入hive中的表,也就是hive里的ods_test_stu表
2022-09-02 16:57:00
1296
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人