![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
疯狂奔跑的少年
砥砺前行,不断进取
展开
-
启动Flume Agent出现“A fatal error occurred while running“解决方法
在安装完flume后启动日志控制台时出现如下报错2020-11-13 18:10:23,564 ERROR [main] node.Application: A fatal error occurred while running. Exception follows.java.lang.NullPointerException at java.io.File.<init>(File.java:277) at org.apache.flume.node.Application.mai原创 2020-11-14 10:35:26 · 11091 阅读 · 0 评论 -
MapReduce编程的“Type mismatch in value from map“问题解决方法
最近在写MapReduce编程作业的时候出现报错,报错具体如下:报错的主要意思就是map的输出和reduce的输入类型不匹配,但是在代码中我也明确标注了传出传入类型即map的输出都是Text类型,reduce也以相应的Text类型接收,代码仍然报错。后来查询资料发现需要强制转换,即在main函数设置中加入如下两行代码job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(Text.class);问题即可解决。.原创 2020-11-11 11:16:58 · 549 阅读 · 0 评论 -
Ubuntu的hbase.thrift文件编译没有hbase.thrift文件的解决办法
在用python访问hbase的配置过程中需要进入hbase.thrift文件的路径下即cd hbase/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift然后执行thrift --gen py Hbase.thrift,但是我找不到这个目录,查找之后要将其下载,输入命令git clone https://github.com/apache/hbase.git(如果找不到git命令,可以sudo apt-get ins原创 2020-11-01 13:06:24 · 498 阅读 · 0 评论 -
[已解决]Ubuntu-18.04下安装thrift中./configure出现configure:error:“Error:libcrypto required.“报错
在Ubuntu中安装thrift的过程中,进行./configure的命令操作时出现configure:error:"Error:libcrypto required."的报错导致后续的make操作也进行不了,在网上搜索很久也没有解决的办法。后来无意中在stackoverflow中看到有大佬分享了相应的解决方法,在Ubuntu-18.04的版本中(也许其他版本也可以)输入如下命令sudo apt install libssl1.0-dev执行之后再次执行./configure命令即可。..原创 2020-11-01 11:29:35 · 2364 阅读 · 3 评论 -
Centos上Hadoop集群安装及配置详细教程
ps:写此博客记录Hadoop集群的安装配置的步骤,方便日后学习回顾,也希望给各位带来帮助。Hadoop集群的安装与配置安装环境系统基本配置伪分布式安装分布式安装配置安装环境 Centos版本:6.7 VMware版本:15.5.1 JDK版本:jdk-7u67系统基本配置 1.主机名修改 切换至root,进入/etc/sysconfig/network文件中修改HOSTNAME=hadoop1,方便之后的操作。vi /etc/sysconfig/network修改之后退出重原创 2020-10-23 13:34:38 · 945 阅读 · 0 评论