Hadoop
小辣椒lllll
这个作者很懒,什么都没留下…
展开
-
hadoop-(2)wordcount运行
1、linux本地创建input、output文件夹2、将本地input文件夹中的所有内容拷贝到 Hadoop的/in文件夹下bin/hadoop fs -put ../input/* /in3、查看Hadoop文件系统/in文件夹下的文件bin/hadoop fs -ls /in运行wordcount: bin/hadoop ja原创 2015-12-28 17:09:15 · 791 阅读 · 0 评论 -
hadoop scheduler.capacity queues 配置
yarn.scheduler.capacity.maximum-applications 10000 Maximum number of applications that can be pending and running. yarn.scheduler.capacity.maximum-am-resource-原创 2017-09-12 19:56:40 · 479 阅读 · 0 评论 -
Hadoop Yarn Container 资源分配
在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求, 然后YARN会通过分配Container来给每个应用提供处理能转载 2017-07-27 11:42:40 · 7631 阅读 · 0 评论 -
HDFS异常恢复调研报告
1 问题描述 HDFS在机器断电或意外崩溃的情况下,有可能出现正在写的数据(例如保存在DataNode内存的数据等)丢失的问题。再次重启HDFS后,发现hdfs无法启动,查看日志后发现,一直处于安全模式。 2 原因分析 出现前面提到的问题主要原因是客户端写入的数据没有及时保存到磁盘中,从而导致数据丢失;又因为数据块丢失达到一定的比率,导致hdfs启动进入安全模式。转载 2017-07-13 14:40:46 · 620 阅读 · 0 评论 -
How to fix corrupt HDFS FIles
1 问题描述HDFS在机器断电或意外崩溃的情况下,有可能出现正在写的数据(例如保存在DataNode内存的数据等)丢失的问题。再次重启HDFS后,发现hdfs无法启动,查看日志后发现,一直处于安全模式。2 原因分析出现前面提到的问题主要原因是客户端写入的数据没有及时保存到磁盘中,从而导致数据丢失;又因为数据块丢失达到一定的比率,导致hdfs启动进入安全模式。转载 2017-02-24 19:55:17 · 933 阅读 · 0 评论 -
hadoop生产集群离线datanode(遇到的问题及解决方法)
1、修改namenode节点的hdfs-site.xml(master主机) dfs.hosts.exclude file_path 2、file_path文件中存储要离线的几点名称3、执行命令 hdfs dfsadmin -refreshNodes 问题:执行到最发现50070界面数据块不发生变化,查看namenode发原创 2017-02-08 16:48:15 · 3923 阅读 · 0 评论 -
kylin问题记录
1,版本选型hbase-0.98.23Hive 1.2.1Hadoop 2.7.1apache-kylin-1.6.0 切记hbase版本不能选用1.x,否则build时hdfs解析成localfile导致失败(yarn配置的fs.defaultFS没起作用,解决方法是手工将yarn的*.xml配置拷到./tomcat/webapps/kylin/WEB-INF/classe原创 2016-12-27 11:55:45 · 1865 阅读 · 0 评论 -
hadoop参数优化
hadoop.tmp.dir默认值: /tmp说明: 尽量手动配置这个选项,否则的话都默认存在了里系统的默认临时文件/tmp里。并且手动配置的时候,如果服务器是多磁盘的,每个磁盘都设置一个临时文件目录,这样便于mapreduce或者hdfs等使用的时候提高磁盘IO效率。fs.trash.interval默认值: 0说明: 这个是开启hdfs文件删除自动转移到垃圾箱的选项,值转载 2016-10-08 13:49:50 · 369 阅读 · 0 评论 -
hadoop-(1)集群安装及配置
环境准备主节点master:redhat 6.4 192.168.1.11从节点slave1:centos 6.5 192.168.1.12Hadoop-2.6.3jdk 1.81、安装jdk1)下载jdk放到了 /opt/software/ 目录下2)移动到 /usr/java/目录下cd /usrmkdir javacd /原创 2015-12-28 16:57:50 · 766 阅读 · 0 评论 -
hadoop-(3)hadoop问题汇总
问题1、虚拟机安装hadoop,windows通过主机名打不开hadoop的web页面http://master:50070/无法访问。windows ping master也ping不通方法:windows本机C:\Windows\System32\drivers\etc\hosts文件下面加上linux hosts配置hadoop机器的主机名和ip地址加进去。问题2、windows下ecl原创 2016-01-26 15:03:02 · 3783 阅读 · 4 评论 -
hadoop中datanode节点不同的dfs.data.dir之间数据均衡问题
问题:集群中的存储数据增大,导致datanode的空间都快占满了(以前的dfs.data.dir=/data/hdfs/dfs/data),机器的硬盘监控程序不停的报警 。 给每台机器加了一倍的存储硬盘(新的dfs.data.dir=/data/hdfs/dfs/data,/data/hdfs/dfs/data2 新的硬盘挂载在/data/hdfs/dfs/da转载 2017-10-24 17:00:18 · 947 阅读 · 0 评论