- 博客(9)
- 问答 (2)
- 收藏
- 关注
RSS订阅
2原创 hdfs文件读取到控制台不乱码
要求：读取hdfs的文件/ggg1.txt到控制台代码如下：会由乱码！！！import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;
2021-12-22 20:04:51
1248
原创 分享一个hadoop常用的脚本
1.集群分发脚本，使用安全传输准备前提需要先做好ssh传输协议 首先在控制台输入echo $PATHecho $PATH输出的地址就是，脚本存放的地方，我这里选择/usr/local/bin进入到/usr/local/bin vim xsync 写入如下命令我这里使用的是主机名为hadoop100到hadoop102的主机pcount=$#if((pcount==0)); thenecho no args;#!/bin/b...
2021-11-04 20:14:34
111
原创 hive安装出现 Failed to get schema version
我们在初始化的时候出现错误1.先检查是否导入驱动包，驱动包是否版本正确，不同的系统驱动包的后缀不一样，linux的驱动包为bin.jar后缀的，千万不要下错了驱动包2.mysql是否给予本地远程登录，hive配置文件是否正确，假如这样还是不行的话可以看看我的建议如图我在确保以上都做好的情况下还是无法初始化元数据在尝试了无数遍之后发现我在hive-site.xml里面设置的If 打错了，f是小写，主要是这玩意还不会报错就很离谱，可以去检查下一下是否打错了修改回正确...
2021-10-31 20:44:15
7538
原创 实现hadoop组件分布式守护进程部署
一般初学Hadoop我们都是把全部的守护进程安装在一台集群上，其他几台集群就会很闲，导致资源分配不全！！！ 我的hadoop版本为2.7.1，配置为3台集群我们可以更改一下配置文件来达到分配的目的首先配置hdfs-site.xml我设置的是hadoop102为SecondaryNameNode的启动节点，建议先按照我的来，后面你们可以自己改<!-- 指定Hadoop辅助名称节点主机配置 --><prop...
2021-10-23 16:21:03
518
原创 hadoop开启历史服务器的过程
1.确保Hadoop服务开启，在打开mapred-site.xml添加如下配置，我的hadoop版本为2.7.1<!-- 历史服务器端地址 --><property><name>mapreduce.jobhistory.address</name><value>hadoop105:10020</value></property><!-- 历史服务器web端地址 --><property&g
2021-10-22 11:17:17
2416
原创 伪分布转换全分布的步骤
伪分布 变 全分布准备工作首先克隆两台一模一样的虚拟机，在去修改他们的ip和主机名修改/etc/hosts增加ip地址和主机号，，注意不要写多余的东西2.修改 $hadoop/etc/hadoop/slavs增加集群的主机号3．需要设置免密登录免密登录及生成密钥，在相互交换密钥4．删除格式化生成的文件夹 dfs/ Logs日志文件夹 logs/ 缓存文件夹 tmp/不知道在...
2021-10-13 17:42:21
255
原创 hadoop伪分布的一些注意事项
今天终于吧Hadoop伪分布写好了，我做到了，我做到了！！！！！我卡了一个礼拜，一下是我之前出现的错误，的确很无语，都是自学的。。。1.无法ping通外网，有的时候软件包不兼容，需要下载一些软件包解决方法Vi /etc/resolv.conf 添加网关，192.168.1.2是我设置的网关添加 nameserver 192.168.1.2以百度为例验证成功2.无法复制配置文件的内容！！！建议安装...
2021-10-05 19:18:38
366
空空如也
初始化hive元数据提示驱动未成功启动
2021-10-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人