自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 HDFS NFS功能

目的:利用NFS,将HDFS底层文件共享到本地操作系统 本篇文章主要介绍HDFS 的NFS网关配置及配置之后读写性能问题,网上有比较多的参考资料,也都很有用。但我在配置过程中,遇到许多其他隐藏的坑,例如,首先我不知道NFS是什么,我就开始配,导致简单的配置出错我都弄了很久。为了让跟我一样的小伙...

2019-12-12 10:51:17

阅读数 15

评论数 0

原创 Hadoop NFS启动失败

问题描述:启动Hadoop的NFS失败。 查看日志:显示Failed to delete file or dir [/tmp/.hdfs-nfs]: it still exists. 原因:说明当前用户对/tmp目录没有权限; 解决方法:可以用root用户手动删除该目录;也可以对当前用户赋予...

2019-11-25 17:46:33

阅读数 7

评论数 0

转载 三种恢复 HDFS 上删除文件的方法

本文转自两篇博文: 过往记忆:https://www.iteblog.com/archives/2321.html?from=related https://www.cnblogs.com/cuishuai/p/8288976.html 三种恢复 HDFS 上删除文件的方法 我们每天都可...

2019-09-21 11:32:37

阅读数 29

评论数 0

原创 hadoop 集群移除节点,剩余节点空间不够怎么办?急

问题描述:对hadoop 集群移除节点,单次移除的节点太多,而集群已有数据量太大,导致移除节点后,容量不够。 集群一直显示Decommission in progress.等待了一天还是这样。 由于数据比较关键,怕丢失,不敢操作,网上查询没有相关的资料,最后不得已,强制恢复节点,重新加载配...

2019-08-26 16:00:53

阅读数 31

评论数 0

原创 linux:通过rpm包部署FTP服务

需求:在内部环境中部署FTP服务,供其他人员通过公共路径下载数据 由于不能连接外网,不能使用大部分网友介绍的yum安装方法,且未找到一篇完整的介绍FTP服务部署到使用的文章,因此,整理了整个部署流程,希望对大家有帮助。 一、 前期准备 ftp由客户端和服务器端两部分组成。在linux下,服务...

2019-07-24 16:52:27

阅读数 103

评论数 0

原创 HADOOP添加与删除节点

一、如何添加节点? 大概配置思路:(转载于https://blog.csdn.net/czz1141979570/article/details/86712881) 1、在新节点中进行操作系统的配置,包括主机名配置,防火墙,网络,免密登陆和安装JDK等 2、在所有的节点的/etc/hosts...

2019-07-04 10:41:58

阅读数 61

评论数 0

转载 linux之特殊字符

linux之特殊字符 备注:此文章为转载,转载链接https://www.cnblogs.com/yanhui1995/p/10698388.html 特殊字符: 与路径和位置有关的特殊字符: ~ 用户的家目录,超级用户为/root _ 用户(-) 代表上一次用...

2019-07-02 10:14:30

阅读数 135

评论数 0

原创 Docker:(一)简介与安装

    一、基础概念     Docker 是 PaaS 提供商 dotCloud 开源的一个基于 LXC 的高级容器引擎,是一个新兴的轻量级虚拟化技术,其主要动力是在不同的机器上创造无差别的应用运行环境。     Docker是以docker容器为资源分割和调度的基本单位,封装整个软件运行时...

2019-01-22 15:05:43

阅读数 98

评论数 0

原创 Hbase错误(二):ServerNotRunningYetException: Server is not running yet

前言:我用的是hbase2.1.0;Hadoop2.7.4;zookeeper3.4.10;分别对以上三个工具进行了容器化。 好不容易解决完各种坑,将容器化的hbase运行起来,数据插着插着又出现各种问题,我的内心真的是崩溃的。 一、首先出现的第一个问题描述如下: 1. 用jps查看hbas...

2019-01-11 17:41:08

阅读数 399

评论数 0

原创 Rasdaman一:CentOS下Rasdaman安装与petascope配置

    rasdaman安装方式有很多种,源码安装、RPM/DEB包,或者下载预制虚拟机。最简单的安装方式是通过yum安装,自动添加了相应依赖,无需手动下载,见链接。默认安装路径为:/opt/rasdaman/;rasdaman.war和def.war安装在/var/lib/tomcat/weba...

2019-01-09 09:07:25

阅读数 178

评论数 0

原创 Hbase-Thrift:Thrift安装及错误集锦

本文主要分为三部分:安装thrift、使用实例程序通过thrift访问hbase及错误集锦。第一部分:安装thrift 根据官网文档,thrift安装比较简单,但是在实际过程中仍然遇到不少问题,一般是依赖库的问题; 1.首先通过官网下载thrift 安装包,本人安装0.11.tar.gz 2.验证...

2018-12-19 10:57:42

阅读数 563

评论数 0

原创 eclipse windows 安装

eclipse安装很简单,本文只是为了记下下载链接,便于以后查找。 下载:https://www.eclipse.org/downloads/ 安装前提,JDK包或JRE:https://www.oracle.com/technetwork/java/javase/downloads/jdk8...

2018-12-12 17:35:27

阅读数 28

评论数 0

原创 Hbase错误(一):Hbase 所有节点regionserver启动成功,Hmaster起不来

Hbase 所有节点regionserver启动成功,Hmaster起不来。查看日志,显示错误:failed on connection:connection refused; 首先查看hbase 的配置文件hbase-site.xml,hbase.rootdir属性是否设置正确,路径主机与ha...

2018-11-23 16:02:51

阅读数 152

评论数 0

转载 Error response from daemon: Cannot start container ···-i docker0: iptables: No chain/target/match by

 方法一: 参考:https://blog.csdn.net/qq_14853889/article/details/79678406 通过分析异常信息,发现是因为在进行原地址到目标地址转换的时候没有在docker主机的iptables规则中找到nat表规则,只有filter表规则。 在fil...

2018-11-23 15:51:11

阅读数 460

评论数 0

原创 java.io.IOException:could not find my address:dn0-eth0 in list of zookeeper quorum servers

问题描述: zookeeper、hbase、hadoop都启动正常,也能正常写入数据,但是启动hbase的时候会出现提示信息,但是进入hbase shell 中创表及写入数据都正常: java.io.IOException:could not find my address:dn0-eth0 ...

2018-11-08 15:10:21

阅读数 478

评论数 0

转载 Hadoop四:Container is running beyond memory limits

The NodeManager is killing your container. It sounds like you are trying to use hadoop streaming which is running as a child process of the map-red...

2018-11-08 10:14:10

阅读数 38

评论数 0

原创 Hadoop二:hadoop hbase与最新版本兼容性

总:HBase 2.0+ 最低需要Java 8和Hadoop 2.6,需要ZooKeeper 3.4.x。 hbase官网给出的hbase与hadoop兼容表格如下:http://hbase.apache.org/book.html#standalone_dist "S"...

2018-11-07 16:44:59

阅读数 2234

评论数 0

原创 Hadoop三:hadoop运行错误3:yarn执行作业卡死

部署步骤一致,每次错误不一样; 错误1: INFO org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher: Error launching appattempt_1541382172965_0001_0000...

2018-11-06 09:38:05

阅读数 436

评论数 0

原创 error: KeeperErrorCode = NoNode for /hbase/master

错误2: 搭建完集群之后,在hbase shell中查看表,出现error: KeeperErrorCode = NoNode for /hbase/master 1. 查看日志,是因为zookeeper启动后又自动关闭了。为什么会出现这个问题呢?是因为原来是因为zoo.cfg里的data目录...

2018-10-29 16:02:35

阅读数 11238

评论数 0

原创 hbase启动成功,进入hbase shell,list表出现zookeeper.znode.parent

启动hbase,出现HMaster和HRegionServer后台进程,进入hbase shell,执行表操作,出现error:zookeeper.znode.parent;查看日志,出现zookeeper连接失败,不存在的服务名或主机名; 刚开始以为是hbase-site.xml属性文件配置错...

2018-10-24 09:21:23

阅读数 3376

评论数 0

原创 Hadoop一:Hadoop的NodeManager启动错误,NodeManager from slavenode2 doesn't satisfy minimum allocations

启动hadoop,刚解决完datanode未成功启动问题,又出来新问题,在datanode上用jps看不到NodeManager进程;查看日志,出现错误如下: Recieved SHUTDOWN signal from Resourcemanager ,Registration of Node...

2018-10-23 19:30:32

阅读数 210

评论数 0

转载 Hadoop-2.7.4启动datanode失败

Hadoop-2.7.4启动datanode失败,出现如下错误: WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/opt/hbase/temp/had...

2018-10-23 19:20:48

阅读数 45

评论数 0

转载 docker no space left

此文章为转载加总结; 保存镜像tar包,显示 设备空间不足,如何解决?参考链接:https://blog.csdn.net/niu_hao/article/details/78873076 1. 用df -Th查看磁盘使用情况; 2. docker ps -s 查看容器大小,验证数据卷是否设...

2018-09-28 20:06:14

阅读数 251

评论数 0

原创 启动zookeeper服务不成功,zkServer.sh status查看状态,显示not running。

在搭建hbase-hadoop-zookeeper集群的过程中,zookeeper总是起不来,遇到各种各样的问题,现在列出来做一个总结: 错误1:启动zookeeper服务不成功 用/usr/local/work/zookeeper-3.4.10/bin/zkServer.sh start开启...

2018-09-28 20:02:27

阅读数 358

评论数 0

原创 docker-compose安装

1. 下载安装文件 docker-compose-Linux-x86_64;链接: https://github.com/docker/compose/releases 2. 复制文件到bin路径,并修改文件名 cp ./docker-compose-Linux-x86_64 /usr/lo...

2018-09-28 11:35:20

阅读数 530

评论数 0

转载 如何解决 image has dependent child images 错误

文章为转载:原地址http://www.ibloger.net/article/3217.html 感谢《程序喵》,方法很管用,所以转载供需~~~ 问题 在 Docker 中删除 image 时有时会遇到类似 Error response from daemon: conflict: un...

2018-09-26 20:00:40

阅读数 1836

评论数 0

原创 Vertica二:Vertica 的Management Console(MC)架构与安装详解

1.基础知识 1.1 MC概念 Management Console(MC)是基于浏览器的监控和管理工具,其图形接口为vertica数据库相关操作提供一个统一视图。通过用户友好界面,可以创建、导入和管理数据库及相关集群。使用MC可以查询数据、管理用户,并提供最新的图表,用于监测数据库的健康与性...

2018-09-10 18:13:14

阅读数 336

评论数 0

原创 FVCOM安装

    本人以前未接触过FVCOM相关,甚至都不知道FVCOM 是干什么的,但是领导要我安装部署FVCOM ,因此,作为菜鸟程序员,不管FVCOM架构及如何使用,单纯站在程序员角度安装部署FVCOM环境。     FVCOM(An Unstructured Grid, Finite-Volume...

2018-08-18 11:03:05

阅读数 3112

评论数 8

原创 Vertica一:vertica安装

新人第一次安装有一个偷懒(了解安装流程)的方法,在/etc/hosts中添加主机节点之后,直接执行18,19步骤,根据系统报错提示,一一去官网查找报错信息,根据报错信息,一一修改配置,在这个过程中,可以增加对vertica安装与部署流程的理解。         1. 创建管理账户vdbadmin(...

2018-07-20 09:21:46

阅读数 1035

评论数 0

提示
确定要删除当前文章?
取消 删除