Hadoop的学习
日京
这个作者很懒,什么都没留下…
展开
-
setReducerClass gjava.lang.class<? extends org.apache.hadoop.mapreduce.Reducer>)in Job cannot be app
报错信息如下:原因:要么是你本该继承mapper却继承成了reducer要么就是你导包出错了。解决方法:1.去到对应的类,比如我是AnalysisTextReducer类。如图我是第二种错误原因,导包出错。应该是导入mapreduce下的Reducer。修改过后:over...原创 2021-08-27 19:49:30 · 485 阅读 · 0 评论 -
解决HBase中HMaster闪退问题Master exiting java.lang.RuntimeException: HMaster Aborted
查看日志发现报错如下,这是第二次遇到了,所以必须记下来了。问题原因:hadoop的core-site.xml和hbase的hbase-site.xml中的hdfs的路径不匹配。解决方法:1.进入hadoop的core-site.xmlcd /opt/module/hadoop-3.2.2/etc/hadoop/vim core-site.xml2.进入hbase的hbase-site.xmlcd /opt/module/hbase-1.7.1/confvim hbase-site.原创 2021-08-26 22:09:25 · 3184 阅读 · 1 评论 -
使用hadoop来提取文件中的指定内容
需求:把以下txt中含“baidu”字符串的链接输出到一个文件,否则输出到另外一个文件。步骤1.LogMapper.javapackage com.whj.mapreduce.outputformat;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapre原创 2021-05-24 19:35:41 · 528 阅读 · 2 评论 -
windows安装hadoop-3.2.2
啊啊啊啊啊啊啊总之又不是一个很顺畅的过程,记录一下。1.去这个镜像源下载对应版本我下载的是3.2.2版本2.下载解压到一个不含中文和空格的文件夹,比如如下。3.下载hadooponwindows-master.zip在这里感谢博客网盘下载hadooponwindows-master.zip地址https://pan.baidu.com/s/1vxtBxJyu7HNmOhsdjLZkYw提取码:y9a44.下载完成后把hadooponwindows-master中的bin和etc文件夹完原创 2021-05-12 11:09:18 · 3851 阅读 · 6 评论 -
hadoop执行mapreduce一直卡在mapreduce.Job: Running Job
其实根本原因就是内存不够了。啊啊啊啊啊啊我真的好气,做大数据真的需要一个性能强大的电脑,我电脑开两个虚拟机就已经撑死了cpu都占了90%了,如果开三个的话就会卡死。呜呜呜呜呜呜呜呜好伤心,小王什么时候才能买到MacBook Pro。鸣谢感谢这位博主的博客以及他的评论,再次谢谢!解决问题1.去修改yarn-site.xml(修改的内容注释为“这是新加的”)<configuration> <!--指定MR走shuffle --> <pro原创 2021-05-11 14:49:09 · 1551 阅读 · 12 评论 -
linux下实现ssh免密登录
前提:第一台机器是hadoop100第二台机器是hadoop102在hadoop100中首次使用命令ssh hadoop102会要求输入密码然后会在双方的目录下生成.ssh文件夹,如下图所示。正式步骤:1.cd .sshssh-keygen -t rsa一路回车然后就会生成以下文件3.ssh-copy-id hadoop102输入hadoop102的密码over...原创 2021-05-09 13:54:28 · 59 阅读 · 0 评论 -
linux安装hadoop步骤
1.去官网下载最新版本https://hadoop.apache.org/releases.html2.点击上图中的红框跳转到https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz3.点击下图红框中的复制链接地址4.接着去linux中进行下载,wget的地址就是刚刚复制的地址5.下载下来后接着解压到指定文件夹,比如我解压到了/opt/module下tar -zxvf hadoo原创 2021-05-08 15:38:49 · 462 阅读 · 0 评论 -
使用hadoop-mapreduce-examples-3.2.2.jar来计算文件中的不同字符个数
学习hadoop第一天,好牛呀!!!其实还是自己菜1.mkdir wcinputcd /wcinput3.新建一个测试文件vim word.txt4.在这个文件中随便写点测试数据,待会就会输出这个文件里面每个字符各有多少个5.返回上一级cd ..bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar wordcount wcinput/ ./wcoutput7.然后进入原创 2021-05-07 21:25:16 · 948 阅读 · 0 评论