大数据开发
文件存储:HDFS
离线计算:Hadoop MapReduce、Spark
数据库:HBase、Redis
资源管理:YARN
日志收集:Flume
消息系统:Kafka
查询分析:Hive
分布式协调服务:Zookeeper
数据同步:Sqoop 任务调度:Oozie
啊哈程序
勤學如春起之苗,不見其增,日有所長。綴學如磨刀之石,不見其損,日有所虧。
展开
-
第一次启动时格式化namenode 第二次格式化会出错
第一次启动时格式化namenode 第二次格式化会出错 (只能格式化一次,如果报错就按照以下方法解决) 解决: 1.首先关掉进程 2.删除hadoop目录下的data目录 3.删除hadoop目录下的logs 4.删除根目录下的tmp 里关于hadoop的...原创 2018-04-28 19:05:08 · 1723 阅读 · 0 评论 -
hadoop 操作中root 和普通用户常出现的问题
root 和普通用户常出现的问题 问题:如果用root 用户启动namenode 然后正常关掉,再用普通用户启动,就会出现权限的问题。 原因:因为配置中生成运行的文件是root 权限,普通用户无root 权限,所以会报错,说无权限。 解决:需要用chown -R 普通用户名 要赋权限的文件夹 ...原创 2018-04-28 19:07:20 · 5074 阅读 · 0 评论 -
hadoop完全分布式的关闭时出现JAVA_HOME not set and could not be found
解决: 修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME。 应当使用绝对路径。 将export JAVA_HOME=${JAVA_HOME} 改为: export JAVA_HOME=/usr/java/...原创 2018-04-28 19:10:11 · 336 阅读 · 0 评论 -
rsync 分发文件报错 Permission denied
原因: 是因为要分发的路径没有这个文件夹 ,找不到这个路径所以出现这个问题 解决:在要分发的下面创建和要被分发路径的一样名字的文件夹...原创 2018-04-28 19:11:09 · 8767 阅读 · 0 评论 -
INFO client.RMProxy: Connecting to ResourceManager at hadoop101/192.168.10.101:8032
1.查看防火墙是否没关闭、2.用jps 命令查看是否没有启动resourcemanager原创 2018-04-28 19:14:43 · 17564 阅读 · 6 评论 -
hadoop 启动时不识别主机名称
java.net.UnknownHostException: hadoop102: hadoop102 at java.net.InetAddress.getLocalHost(InetAddress.java:1475) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter...原创 2018-04-28 19:16:43 · 1045 阅读 · 1 评论 -
java操作HDFS (API) 常用操作亲测代码
package com.yxc.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.IOUtils;import org.junit.After;import org.junit.Before;import org.juni...原创 2018-05-03 20:40:30 · 594 阅读 · 2 评论 -
sqoop 报 Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR 解决方法
将hive 里面的lib下的hive-exec-**.jar 放到sqoop 的lib 下可以解决以下问题。原创 2018-05-21 11:14:38 · 3354 阅读 · 1 评论 -
hbase 触发flush的条件
1.(hbase.regionserver.global.memstore.size)默认;堆大小的40%regionServer的全局memstore的大小,超过该大小会触发flush到磁盘的操作,默认是堆大小的40%,而且regionserver级别的flush会阻塞客户端读写2.(hbase.hregion.memstore.flush.size)默认:128M单个region里me...原创 2018-05-24 15:07:53 · 4930 阅读 · 0 评论