Hadoop
Leon-Zheng
未来已来
展开
-
解决Hadoop命令方式运行WordCount异常Class WordCount$XXXMapper not found
WordCount.java 注意把job.setJarByClass(WordCount.class);改成job.setJar("wc.jar");,解决类找不到的问题import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;im原创 2017-12-09 15:22:17 · 3802 阅读 · 1 评论 -
IDEA 运行 Hadoop WordCount示例
1、在本地解压hadoop安装包,然后修改系统变量,增加HADOOP_HOME及HADOOP_USER_NAME,HADOOP_USER_NAME为实际集群运行用户2、修改项目的Pom文件 org.apache.hadoop hadoop-common 2.9.0原创 2017-12-05 19:37:05 · 1185 阅读 · 0 评论 -
Hadoop 搭建高可用完全分布式集群
部署规划主机用途IPrm01.hadoop.comResourceManager01192.168.137.11nn01.hadoop.comNameNode01、DFSZKFailoverController192.168.137.12原创 2017-12-09 21:20:20 · 550 阅读 · 0 评论 -
编译Hadoop 2.9.0 提示 Could not find artifact com.amazonaws:DynamoDBLocal
编译Hadoop 2.9.0 提示 DynamoDBLocal包找不到,到maven仓库也查不到com.amazonaws下的DynamoDBLocal,只能查到com.jcabi下的。无奈找找看,发现在文章http://docs.aws.amazon.com/amazondynamodb/latest/developerguide/DynamoDBLocal.html#DynamoDBL原创 2017-12-10 21:50:37 · 2409 阅读 · 2 评论 -
Hadoop MR程序学习笔记
1 在客户端程序必须要显示设置 myJob.setMapOutputKeyClass(LongWritable.class); myJob.setMapOutputValueClass(Text.class);不然map任务会没结果输出2 hdfs访问文件 String url = HDFS_URL +PATH+ "/part-r-原创 2017-12-17 00:52:13 · 362 阅读 · 0 评论 -
解决CentOS搭建DNS服务器无法解析外网地址的问题
问题描述:搭建了DNS服务器来解析自定义的域名,但是在遇到非自定义的域名时,不会去自动解析。使用nslookup 会提示 ** server can't find xxxx: NXDOMAIN问题解决:网上找了说要配置DNS转发,在/etc/named.conf中配置 forward 和 forwarders,但是配完以后,确没有和想象的一样,自动拿到转发的服务器解析。最后快要原创 2017-12-10 17:02:11 · 8499 阅读 · 3 评论