![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
grace.free
本科毕业 从事增删改查工作
展开
-
java.net.ConnectException: Call From USER-20160828CP/192.168.2.107 to 192.168.66.8:9000 failed on co
可能是hdfs拒绝访问 是因为windows的用户名跟linux的用户名不一致导致:我的解决方案是修改hdfs-site.xml 文件添加节点dfs.permissions.enabledfalse然后重启集群 stop-dfs.sh start-dfs.sh 然后再运行程序 可以运行!!原创 2017-05-14 16:08:48 · 3752 阅读 · 0 评论 -
Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks determined at compile time: 1 In orde
Total jobs = 1Launching Job 1 out of 1Number of reduce tasks determined at compile time: 1In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer=<nu...原创 2018-03-24 20:30:44 · 8694 阅读 · 0 评论 -
Automatic failover is enabled for NameNode at hadoop11/192.168.1.11:8020 Refusing to manually manage
Automatic failover is enabled for NameNode at hadoop11/192.168.1.11:8020Refusing to manually manage HA state, since it may causea split-brain scenario or other incorrect state.If you are very sure you...原创 2018-03-24 19:33:13 · 7334 阅读 · 1 评论 -
(12) Hadoop Java 实现MapReduce HelloWord 单词统计 更新版
package com.my.hadoop.hadoophdfs.mapreduce;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;impor...原创 2018-03-13 22:11:08 · 2836 阅读 · 0 评论 -
(11) Hadoop Java 实现MapReduce HelloWord 单词统计
package com.my.hadoop.hadoophdfs.mapreduce;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apac...原创 2018-03-13 21:46:06 · 3025 阅读 · 0 评论 -
(16) Hadoop Zookeeper 分布式安装
0)下载 上一篇文章 1)解压 cd /opt/softwares/ tar -zxf zookeeper-3.4.5.tar.gz -C /opt/app/ 2)配置 文件地址: /opt/app/zookeeper-3.4.5/conf/zoo_sample.cfg 修改名字为zoo.cfg 创建目录 cd /opt/app/zookeeper-3.4.5/ ...原创 2018-03-18 21:51:53 · 2714 阅读 · 0 评论 -
(15) Hadoop Zookeeper 伪分布式安装
ZooKeeper ●一个开源的分布式的,为分布式应用提供协调服务的Apache项目 ●提供一个简单的原语集合,以便于分布式应用可以在它之上构建更高层次的同步服务 ●设计非常易于编程 它使用的是类似于文件系统那样的树形数据结构 ●目的就是将分布式服务不再需要由于协作冲突而另外实现协作业务 ● 从设计模式来看 是基于观察者模式设计的分布式服务管理框架 1)下载地址:http:...原创 2018-03-18 21:11:38 · 2954 阅读 · 0 评论 -
Centos7 ntp 设置时间
主服务:hadoop1 ip:192.168.1.88 其他服务器:hadoopxx ip:192.168.1.xx 1)查看软件包是否安装 rpm -q ntp 1.png 2)如果没有 那么用yum install 软件包 进行安装 3)设置开启自启动 systemctl enable ntpd 4)启动服务 syst...原创 2018-03-18 20:29:43 · 6397 阅读 · 0 评论 -
java.net.BindException: Problem binding to [hadoop21:8031] java.net.BindException: 无法指定被请求的地址; For m
java.net.BindException: Problem binding to [hadoop21:8031] java.net.BindException: 无法指定被请求的地址; For more details see: http://wiki.apache.org/hadoop/BindExceptionnamenode在hadoop1上ResourceManager 在 had...原创 2018-03-18 16:02:46 · 10007 阅读 · 7 评论 -
Name or service not knownstname hadoop11
Name or service not knownstname hadoop11网上搜了很久都说是slaves文件被污染 删除重新创建就行了 都是抄过来超过去我也抄一遍:1.为什么被污染(我理解的被污染就是格式不对 可能看着对 但是一些编码什么的可能有问题 我用的nodepad++直接连接linux文件 进行编辑 是这个原因的导致slaves格式有了问题)2.删除重新创建 (删除随便用什么方...原创 2018-03-18 10:08:13 · 3309 阅读 · 2 评论 -
(9) Hadoop HDFS Java API使用 之 获取FileSystem对象 读取HDFS文件 写文件到HDFS
(1)pom.xml (2)创建类 编写内容 1)复制配置文件到项目中 cp /opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop/core-site.xml /opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop/hdfs-site.xml /opt/tool/workspace/hadoophdfs/sr...原创 2018-03-11 18:43:10 · 6545 阅读 · 0 评论 -
(5)Hadoop 两类配置文件 以及HDFS垃圾回收
(1)配置文件 1)默认配置文件 位置:模块相对应的jar包中 比如:common模块 $HADOOP_HOME/share/hadoop/common/hadoop-common-xxx.jar 中 *core-default.xml *hdfs-default.xml ...原创 2018-03-04 18:53:55 · 3038 阅读 · 0 评论 -
(4)Hadoop YARN 的 历史查看
(1)开启YARN的历史查看功能 sbin/mr-jobhistory-daemon.sh start historyserver 用jps查看 多了一个JobHistoryServer 启动之后点击History就能查看了(2)Aggregation 日志的聚集功能 (将应用运行完成后的日志信息 上传到hdfs文件系统上) 在yarn-site.xml中添加属性:&...原创 2018-03-04 18:29:29 · 10875 阅读 · 0 评论 -
(2) hadoop 配置部署启动HDFS及本地模式运行MapReduce案例(使用HDFS上数据)
(1)hdfs的配置 /opt/modules/hadoop-2.5.0-cdh5.3.6/etc/hadoop/core-site.xml 添加:<property> <name>fs.defaultFS</name> <!-- 可以通过命令hostname 查看主机名字 这里的主机名字是hadoop1--> <value>hdfs...原创 2018-03-03 21:32:44 · 4877 阅读 · 0 评论 -
(14) Hadoop MapReduce 自定义数据类型
* * 所有Mp数据类型 都要实现Writable (这个类中有2个方法 写 读 ) 以便这些类定义的数据可以被序列化和存储 * Writeble接口中方法: * write() 是把每个数据对象序列化到输出流 * readFields 是把输入流字节凡序列化 * * 基本数据类型: * // BooleanWritable 标准布尔型数据 // ByteWr...原创 2018-03-17 11:56:12 · 2849 阅读 · 0 评论 -
(13) Hadoop Java 实现MapReduce HelloWord 单词统计 更新版 2
添加了:setup方法 和 cleanup 方法 setup是在reduce之前做一些动作 cleanup 是在reduce之后做一些动作添加了shuffle内容介绍package com.my.hadoop.hadoophdfs.mapreduce;import java.io.IOException;import org.apache.hadoop.conf.Configura...原创 2018-03-17 11:53:04 · 2704 阅读 · 0 评论 -
(1)Hadoop 2.x基本配置及运行MapReduce案例在本地模式下
(1)下载hadoop安装包 http://hadoop.apache.org/releases.html(2)上传到Linux 解压 tar -zxf hadoop-2.5.0-cdh5.3.6.tar.gz -C /opt/modules(3)根据官方文档步骤进行配置 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-di...原创 2018-03-03 14:26:42 · 2850 阅读 · 0 评论 -
unknown protocol: hdfs
URL默认不支持hdfs import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); 然后再使用URL url2=new URL("hdfs://192.168.66.8:9000"); 就可原创 2017-05-14 17:02:58 · 5587 阅读 · 0 评论 -
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instant
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient at org.apache.hadoop.hive.ql.session.Sessi...原创 2018-03-24 20:52:08 · 10801 阅读 · 0 评论