Hadoop
Regan_Hoo
这个作者很懒,什么都没留下…
展开
-
Hadoop_HA配置过程记录
一、修改配置文件 ①vim hadoop-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_71②vim core-site.xml<property> <name>fs.defaultFS</name> <value>hdfs://cluster1</value></property>【默认的HDFS路径。多个HDFS集群同时工作时,集群名原创 2017-11-20 14:16:21 · 694 阅读 · 0 评论 -
Hadoop_Kerberos配置过程记录
在KDC上创建kerberos实例①通过root用户,输入kadmin.local进入kerberos命令行,在kerberos数据库中生成实例 addprinc -randkey hadoop/namenode@SILENCE.COMaddprinc -randkey hadoop/datanode1@SILENCE.COMaddprinc -randkey hadoop/datanode2@原创 2017-11-20 15:36:28 · 4604 阅读 · 1 评论 -
Hadoop运维配置
一、Linux优化点文件描述符ulimit -n 用户最大进程 nproc关闭swap分区设置合理的预读取缓冲区Linux的内核的IO调度器二、 Hadoop常用参数说明1、core-default.xmlhadoop.common.configuration.version // 配置文件的版本hadoop.tmp.dir=/tmp/hadoop-${user.name} // Had原创 2017-11-20 17:23:10 · 1436 阅读 · 0 评论 -
常用命令
进入/关闭安全模式hdfs dfsadmin -safemode enter/leave上传文件到hdfsbin/hadoop fs -put /home/hadoop/spark-1.6.2/lib/*.jar查看hdfs中的文件bin/hadoop fs -ls /查看hbase元数据状态hbase hbck修复hbase元数据表hbase hbck -fixMeta重新将hbase元原创 2017-11-24 21:17:21 · 353 阅读 · 0 评论 -
Hadoop_HA原理
总体上说, Hadoop 2.0 中的HDFS 和YARN 均采用了基于共享存储的HA 解决方案,即Active Master 不断将信息写入一个共享存储系统, 而Standby Master 则不断读取这些信息,以与Active Master 的内存信息保持同步。当需要主备切换时, 选中的Standby Master需先保证信息完全同步后, 再将自己的角色切换至Active Master。目前而言原创 2017-12-14 14:18:48 · 2540 阅读 · 0 评论 -
集群调优
系统调优① Nproc:单个用户同一时刻可用的最大进程数量② Ulimit:单个用户同时打开的最大文件数,调整ulimit上限 修改limits.conf文件,执行ulimit -a命令可以检查这个文件的内容。③ 禁用JVM的自适应堆大小,固定堆内存的上下限④ 启用JVM重用,可以设置mapred.job.reuse.jvm.num.tasks参数为我们想重用的JVM的个数⑤ atime和noat原创 2017-11-27 17:13:28 · 596 阅读 · 0 评论 -
Hadoop运维问题
① 问题描述:HBase只能启动HRegionServer,HMaster启动后瞬间又停止② 日志java.net.UnknownHostException: Invalid host name: local host is: (unknown); destination host is: "namenode":9000; java.net.UnknownHostException;③ 解决:修改原创 2017-11-20 16:08:12 · 4151 阅读 · 0 评论