![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
liang墨竹
菜鸟进修中……
展开
-
Hadoop - HA配置信息
配置:core-site.xml<configuration> <!-- 把两个NameNode的地址组装成一个集群mycluster --> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> <...原创 2021-01-06 11:21:54 · 92 阅读 · 0 评论 -
Docker搭建Hadoop-3.2.1集群
参考链接:https://blog.csdn.net/xu470438000/article/details/50512442 https://blog.csdn.net/k393393/article/details/91410409# 查看Linux配置[root@localhost /]# df -h文件系统 容量 已用 可用 已用% 挂载点devtmpfs 16G 0 16G 0% /devtm...原创 2020-11-06 13:11:16 · 915 阅读 · 0 评论 -
hadoop3.2.0的eclipse plugin生成
一、准备工作:Window7、JDK1.8、Eclipse、Hadoop-3.2.0安装包、eclipse-hadoop3x-master(https://github.com/Woooosz/eclipse-hadoop3x)、ANT(https://ant.apache.org/bindownload.cgi)二、环境变量的配置JDK1.8、ANT (安装目录的文件夹名称不能有空格,...转载 2019-10-22 00:03:06 · 2703 阅读 · 0 评论 -
Hadoop-HDFS-API-Maven
1、目录结构:2、代码:2.1 pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http...原创 2019-05-13 23:04:30 · 613 阅读 · 0 评论 -
Hadoop HA 环境搭建
1、环境Centos7.2VirtualBox5.2hadoop-2.7.32、Hadoop配置表nna --> masterdn1 --> slave01dn2 --> slave02dn3 --> slave033、基础环境配置3.1 JDK安装3.2 配置hosts系统文件192.168.199.10 nna19...原创 2019-05-29 23:23:03 · 317 阅读 · 1 评论 -
Logstash
链接地址:https://www.cnblogs.com/cjsblog/p/9459781.html转载 2019-06-20 11:14:47 · 98 阅读 · 0 评论 -
elasticsearch-.yml
Elasticsearch的config文件夹里面有两个配置文件:elasticsearch.yml和logging.yml,第一个是es的基本配置文件,第二个是日志配置文件,es也是使用log4j来记录日志的,所以logging.yml里的设置按普通log4j配置文件来设置就行。cluster.name: elasticsearch# 配置es的集群名称,默认是elasticsearch...转载 2019-06-20 11:46:43 · 337 阅读 · 0 评论 -
Caused by: java.lang.RuntimeException: can not run elasticsearch as root
错误信息描述:3405 -- main class information unavailable[root@master bin]# [2019-06-20T00:14:04,792][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [es1] uncaught exception in thread [main]org.elas...原创 2019-06-20 12:28:41 · 12060 阅读 · 0 评论 -
Elasticsearch异常信息解决
错误信息描述:[elsearch@master bin]$ ./elasticsearch[2019-06-20T03:10:49,383][INFO ][o.e.e.NodeEnvironment ] [es1] using [1] data paths, mounts [[/ (rootfs)]], net usable_space [11.2gb], net total_spa...原创 2019-06-20 16:26:04 · 2759 阅读 · 0 评论 -
HBase和Hive整合配置
hive和hbase同步https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration1、把hive-hbase-handler-1.2.1.jar cp到hbase/lib 下 同时把hbase中的所有的jar,cp到hive/lib2、在hive的配置文件增加属性: <property>...原创 2019-06-24 10:22:59 · 189 阅读 · 0 评论 -
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes
错误描述:[root@nna hadoop-3.2.0]# start-dfs.shStarting namenodes on [nna nns]ERROR: Attempting to operate on hdfs namenode as rootERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operatio...转载 2019-06-28 11:56:34 · 15115 阅读 · 3 评论 -
hadoop-3.2.0 Error:Operation category JOURNAL is not supported in state standby
错误描述:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category JOURNAL is not supported in state standby. Visit https://s.apache.org/sbnn-error at org.apach...原创 2019-06-28 15:42:30 · 1940 阅读 · 0 评论 -
HDFS高可用集群搭建简易步骤
# 集群规划 NN ND JN ZK ZKFC RMmaster 1 1 1slave1 1 1 1 1...原创 2018-10-26 18:35:21 · 468 阅读 · 1 评论 -
Hadoop原理——HDFS原理
Hadoop核心组件:分布式文件系统(HDFS):以流式数据访问模式来存储超大文件,运行于商用硬件集群,是管理网络中跨多台计算机存储的文件系统 分布式运算框架(MapReduce); 分布式调度引擎(YARN);HDFS的设计特点:概括:分(分块)、余(冗余)、展(动态扩展)的大硬盘!分块:HDFS的存储文件被划分为块,作为独立的存储单元,称为数据块,默认大小是:Hadoop1....原创 2018-10-25 16:41:59 · 507 阅读 · 0 评论 -
启动Hadoop后,namenode和datanode都启动,但datanode的存活数为0!
错误信息展示:错误原因:……because hostname cannot be resolved ……DataNode的log日志错误信息:2018-09-10 21:30:35,761 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-235382543-192.168.1.110-1536...原创 2018-09-11 09:51:16 · 4066 阅读 · 4 评论 -
Will not attempt to authenticate using SASL (unknown error)……
在master服务器端/usr/local/hbase/bin目录下执行:[root@master bin]# hbase zkcli ;错误信息:2018-06-28 14:30:08,745 WARN [main-SendThread(localhost:2181)] zookeeper.ClientCnxn: Session 0x0 for server null, unexpected ...原创 2018-06-29 22:56:21 · 3291 阅读 · 0 评论 -
Caused by: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable.
一、启动HIVE报错:[root@master ~]# hiveLogging initialized using configuration in jar:file:/usr/local/hive-1.2.2/lib/hive-common-1.2.2.jar!/hive-log4j.propertiesException in thread "main" java.lang.Run...原创 2018-06-26 22:48:41 · 1817 阅读 · 0 评论 -
Permission denied: user=liangsw, access=EXECUTE, inode="/tmp/hadoop-yarn":grid:supergroup:drwx------
Eclipse执行HDFS导入数据至HBASE时报错:Permission denied: user=root, access=EXECUTE, inode="/tmp/hadoop-yarn":grid:supergroup:drwx------解决方法:hadoop fs -chown -R liangsw:liangsw /tmp ;...原创 2018-07-23 22:25:41 · 937 阅读 · 0 评论 -
eclipse连接HBase时报错:org.apache.hadoop.hbase.client.RetriesExhaustedException: Can't get the locations
org.apache.hadoop.hbase.client.RetriesExhaustedException: Can't get the locations at org.apache.hadoop.hbase.client.RpcRetryingCallerWithReadReplicas.getRegionLocations(RpcRetryingCallerWithReadReplic...原创 2018-07-12 23:40:48 · 2979 阅读 · 2 评论 -
Centos 7 常用yum源配置
一、环境Cent7 64Bit二、概要:2.1、什么是yum,什么是yum源,常见的yum源有哪些?yum是centos下更新、管理软件的命令,也有相应的图像界面版本;yum源是yum命令去哪里取安装包的地图;常见的yum源:网易、阿里云、epel等;2.2、yum、rpm、repo什么关系?yum命令查询repo上配置的地址去取相应的rpm包进行安装;三、方法...转载 2018-07-28 07:44:07 · 8958 阅读 · 3 评论 -
安装CDH时报错:Parcel 不可用于操作系统分配 RHEL7,请大神指导!谢谢!
错误信息:系统信息:CentOS7.2 64位;原创 2018-08-29 15:16:35 · 7892 阅读 · 14 评论 -
CDH安装HDFS时提示:Creating HDFS /tmp directory Command (Create /tmp Directory (347)) has failed,请大神指教!谢谢
错误日志:Mon Sep 3 10:19:31 EDT 2018Current working directory: /opt/cloudera-manager/cm-5.15.0/run/cloudera-scm-agent/process/91-hdfs-NAMENODE-createtmpLaunching one-off process: /opt/cloudera-manag...原创 2018-09-04 10:30:30 · 5462 阅读 · 5 评论 -
Hadoop 入门级学习——第一话
1、软件准备:1、下载VirtualBox: http://download.virtualbox.org/virtualbox/5.2.18/VirtualBox-5.2.18-124319-Win.exe2、下载CentOS http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso...原创 2018-09-01 09:19:20 · 330 阅读 · 0 评论 -
Cloudera Manager安装 & 搭建CDH集群
简介由于Hadoop深受客户欢迎,许多公司都推出了各自版本的Hadoop,也有些公司则围绕Hadoop开发产品。在Hadoop生态系统中,规模最大、知名度最高的公司则是Cloudera。Cloudera由来自Facebook、谷歌和雅虎的前工程师杰夫·哈默巴切(Jeff Hammerbacher)、克里斯托弗·比塞格利亚(Christophe Bisciglia)、埃姆·阿瓦达拉(Amr ...原创 2018-08-25 17:23:00 · 10801 阅读 · 5 评论 -
CentOS 7.2 卸载离线安装的CM和CDH
一、配置环境:一台cm Server(Mysql)三台CM agent一台CDH主机二、停止各种cdh及cm的服务三、停止CM Server及其Agent./cm-5.15.1/etc/init.d/cloudera-scm-server stop./cm-5.15.1/etc/init.d/cloudera-scm-agent stop执行stop命令后查看进...原创 2018-09-05 10:37:04 · 1388 阅读 · 0 评论 -
Hadoop启动datanode失败或无法启动
一、问题描述 当我多次格式化文件系统时,如 [root@master]# cd /usr/local/hadoop/etc/bin/hdfs namenode -format 会出现datanode无法启动,查看日志(/usr/local/hadoop/logs/hadoop-hadoop-datanode-xsh.log),发现错误为:2018-0...原创 2018-05-16 09:16:27 · 21254 阅读 · 6 评论