Hadoop
文章平均质量分 51
柿子镭
努力做一个勤勤恳恳的代码搬运工
展开
-
Hadoop实践小项目——统计学生成绩,按总成绩排序
1、创建一个学生成绩的文件vi data2、将txt文件上传到hdfs上hdfs -fs -put /hadoop/data3、在eclipse上实现统计学生成绩的代码(1)ScoreSortEntity.classpackage demo2;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.W..原创 2021-12-15 21:54:10 · 6649 阅读 · 6 评论 -
Hadoop伪分布构建(保姆式教程)
1、新建一个虚拟机,可参考这篇,有详细的过程(92条消息) Hadoop 新建一个虚拟机详细步骤(保姆式教程)_小镭敲代码的博客-CSDN博客2、 查看虚拟机的IP地址ip aifup ens33ip a在Xshell里面新建一个会话3、配置java环境现在/opt里创建一个soft文件(1)上传 jdk 压缩文件到 soft 目录。(2)解压 jdk 压缩文件到 opt 目录,并将 jdk1.8.0_112 目录变为 jdk。...原创 2021-12-01 11:53:30 · 1542 阅读 · 3 评论 -
在eclipse上实现一个 WordCount 程序,并将 WordCount 程序打包发布到 Hadoop 分布式中运行。
1、在eclipse上编写方法,实现一个 WordCount 程序package cn.cqsw;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;public class WCMap extends Mapper<LongWritable, Tex原创 2021-11-24 15:24:26 · 2158 阅读 · 0 评论 -
Hadoop在浏览器中Browse Directory,无法下载文件的解决方法
Hadoop在浏览器中Browse Directory,无法下载文件解决办法:把虚拟机liunx里的hosts映射到本机win的hostsC:\Windows\System32\drivers\etc以记事本打开,修改hosts刷新页面,再次download就可以下载文件了...原创 2021-11-17 11:48:10 · 3081 阅读 · 0 评论 -
启动ZooKeeper服务命令
在准备好相应的配置之后,可以直接通过zkServer.sh 这个脚本进行服务的相关操作1. 启动ZK服务:sh bin/zkServer.sh start 2. 查看ZK服务状态:sh bin/zkServer.sh status 3. 停止ZK服务: sh bin/zkServer.sh stop 4. 重启ZK服务: sh bin/zkServer.sh restart在主机上启动Hadoop启动四台虚拟机的zookeeper发现slave...原创 2021-11-08 10:53:02 · 20665 阅读 · 1 评论 -
HBase中Zookeeper安装部署
安装zookeeper将走zookeeper的安装包拷贝到hadoop集群中的software中,然后解压到module中配置完zoo.cfg后注意同步。 本步骤也可以放在前面去执行接下来再执行启动bin/zkServer.sh start成功:常见报错:解决方案:引发这个异常还有就是,我们总共有3台服务器,目前只启动了一个,没有达到超过半数,没有查到超过半数,就不会选出leader,这个集...原创 2021-10-27 11:03:30 · 360 阅读 · 0 评论 -
集群拓扑配置说明
1、新建四台虚拟机创建虚拟机可参考下面的文章(9条消息) Hadoop 虚拟机安装步骤_小镭敲代码的博客-CSDN博客2、启动四台虚拟机1、输入账户密码2、ip aifup ens33ip a其中一台虚拟机的启动过程:(红色圈起来的是:IP地址)3、分别配置静态IP以及网关...原创 2021-10-16 16:55:22 · 421 阅读 · 0 评论 -
Hadoop 新建一个虚拟机详细步骤(保姆式教程)
《Hadoop》环境安装说明1.文件点击“新建虚拟机”2.选择“自定义”选择指定下载镜像选择2GB即可原创 2021-09-15 11:58:55 · 457 阅读 · 3 评论 -
Hadoop练习——FS Shell的常用命令
1、在hadoop指定目录内创建新目录 hdfsdfs–mkdir /user hdfsdfs–mkdir /user/hadoop hdfsdfs–mkdir /user/hadoop/dir1hdfs dfs -mkdir - p /user/hadoop/dir1 /user/hadoop/dir22、查看指定目录下内容—— hdfs dfs –ls [文件目录]hdfs dfs -ls /userhdfs dfs -ls /user/hadoop...原创 2021-10-14 00:10:55 · 436 阅读 · 2 评论 -
Hadoop——练习1(统计单词个数)
1、启动Hadoopcd /optcd hadoop./sbin/start-all.shjps2、创建一个txt,存入英文单词vi bluei(输入)——>est键(退出)——wq(保存)3、使用 put 操作将“blue”文件上传到 HDFS 的根目录hadoop fs -put blue /blue4、使用 jar 操作运行 Hadoop 中自带的 jar 进行单词计数cd hadoop/share/hadoop/mapred...原创 2021-09-29 11:07:58 · 1277 阅读 · 3 评论