- 博客(21)
- 收藏
- 关注
RSS订阅转载 启动HBase脚本start-hbase.sh时报Class path contains multiple SLF4J bindings.解决方法
1. 使用start-hbase.sh启动HBase时报Class path contains multiple SLF4J bindings.错误，原因是jar包冲突导致的。所以，对于和Hadoop的jar包冲突的，可以将其他jar包删除，如果你不确定是否删除正确，可以将其他的jar包复制备份或者修改名称，确保操作以后失败了，还可以找回。解决方法：#进入/op...
2019-04-19 09:05:00
602
转载 HQuorumPeer和QuorumPeerMain进程的区别
HBase是列式数据库，既可以单机也可以集群的方式搭建，以集群的方式搭建一般建立在HDFS之上。分布式HBase启动说明：首先启动hadoop，然后问题就来了：zookeeper和hbase的启动顺序是什么？1,先启动hbase:hbase有内置的zookeeper，如果没有装zookeeper，启动hbase的时候会有一个HQuorumPeer进程。2.先启动zookeeper...
2019-04-19 09:04:00
1361
转载 Zookeeper集群安装与配置
在本文中，Zookeeper节点个数（奇数）为3个。Zookeeper默认对外提供服务的端口号2181。Zookeeper集群内部3个节点之间通信默认使用2888:3888。1. Hadoop集群环境2. 下载Zookeeper安装包下载地址：http://mirrors.shu.edu.cn/apache/zookeeper/根据需要选择合适的版本，本文为zook...
2019-04-18 16:37:00
250
转载 Zookeeper下载方法
Zookeeper官网地址：http://zookeeper.apache.org/ Zookeeper下载链接：http://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/转载于:https://www.cnblogs.com/shireenlee4testing/p/10728478....
2019-04-18 11:14:00
140
转载 Hadoop3.0 DataNode启动不成功——java.net.BindException: Port in use: localhost:0 Caused by: java.net.BindEx...
一、问题出现的原因启动Hadoop分布式环境时出现主节点的namenode、secondarynamenode启动成功，但是Worker节点datenode启动不成功。 hadoop@master$ ${HADOOP_HOME}/sbin/start.dfs.sh查看Worker的输出日志，显示如下：[root@hadoop02 ~]# vim /opt/hado...
2019-04-16 14:54:00
699
转载 Hadoop中解除 "Name node is in safe mode"的方法
运行hadoop程序时，有时候会报以下错误，说明Hadoop的NameNode处在安全模式下。原因分析：在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数...
2019-04-15 14:20:00
157
转载 Hadoop 3.0完全分布式集群搭建方法（CentOS 7+Hadoop 3.2.0）
本文通过4台Linux虚拟机，详细介绍搭建4个节点的完全分布式Hadoop集群的方法，Linux系统版本是CentOS 7，Hadoop版本是3.2.0，JDK版本是1.8。一、准备环境1. 在VMware workstations上创建4个Linux虚拟机，并配置其静态IP。有关【创建Linux虚拟机及配置网络】，请参考这里。2. 配置DNS（每个节点）编辑配置文...
2019-03-07 08:32:00
191
转载 Hadoop 2.0完全分布式集群搭建方法（CentOS7+Hadoop 2.7.7）
本文详细介绍搭建4个节点的完全分布式Hadoop集群的方法，Linux系统版本是CentOS 7，Hadoop版本是2.7.7，JDK版本是1.8。一、准备环境1. 在VMware workstations上创建4个Linux虚拟机，并配置其静态IP。有关【创建Linux虚拟机及配置网络】，请参考这里。2. 配置DNS（每个节点）编辑配置文件，添加主节点和从节点的映...
2019-02-13 17:21:00
258
转载 Linux下配置Java环境方法
本文详细介绍Linux系统下配置Java环境的方法，使用JDK1.8版本。1. 从Oracle官网上下载Java8版本。下载链接：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2. 上传Java包到Linux系统。使用rz命令将Java tar包上传到...
2019-02-13 11:41:00
104
转载 Hadoop集群配置免密SSH登录方法
Hadoop集群包含1个主节点和3个从节点，需要实现各节点之间的免密码登录，下面介绍具体的实现方法。一、Hadoop集群环境二、免密登录原理每台主机authorized_keys文件里面包含的主机（ssh密钥），该主机都能无密码登录，所以只要每台主机的authorized_keys文件里面都放入其他主机（需要无密码登录的主机）的ssh密钥就行了。三、实现方法1....
2019-02-13 10:34:00
218
转载 Hadoop安装包下载方法
Hadoop3.0版本的诞生，引入了很多新功能，为了验证Hadoop2.0与3.0版本的性能，需下载Hadoop的不同版本。故下文演示如何下载Hadoop安装包的方法。1. 进入Apache Hadoop官网：http://hadoop.apache.org/2. 点击左侧【Download】按钮，进入如下下载页面：可点击当前界面上显示的Binary安装包进入下载，亦可点...
2019-02-12 16:26:00
518
转载 在VMware上克隆Linux虚拟机及其网卡配置方法
最近在搭建Hadoop集群，1个Master，3个Workers。使用VMware workstations创建Linux虚拟机，版本是CentOS7。安装完成并做了相应的网络配置后，使用VMware自带的克隆功能复制3个Worker节点。下面详细描述了克隆Linux虚拟机及网卡配置的方法。一、在VMware上克隆Linux虚拟机1. 右键点击已经安装的虚拟机，选择管理-->...
2019-02-12 10:54:00
203
转载 Hadoop基本操作命令
Hadoop基本操作命令#hadoop dfsadmin -report 查看hdfs集群的存储空间使用情况。#hadoop fs -du-h 目录 查看当前目录下各个文件占得内存#hadoop fs –rmr /tmp/aaa删除一个目录#hadoop fs –put文件 hdfs文件目录上传一个文件#hadoop fs –get hdfs文件下...
2019-01-30 14:01:00
127
转载 Linux服务器上的禅道迁移及升级方法（Linux to Linux）
由于阿里云服务器（Linux系统）到期停用，故需要将部署在该服务器上的禅道迁移到新的Linux服务器上。另外，借此机会，正好可以对旧版禅道进行一次升级。下面总结此次迁移和升级的具体操作方法。一、禅道迁移方法1. 在目标服务器上，安装相同版本的zbox一键安装包，具体安装步骤可参考博文《如何在Linux服务器上部署禅道》。安装成功后，验证禅道页面能够正常打开后，需要停掉禅道服务，其...
2018-12-24 17:30:00
539
转载 在IDEA中设置页面背景护眼色的方法
在IDEA中设置页面背景护眼色的方法如下：转载于:https://www.cnblogs.com/shireenlee4testing/p/9680571.html
2018-09-20 14:13:00
251
转载 如何在VMware workstation上创建Linux虚拟机
由于需要使用Linux虚拟机部署Hadoop集群，故在win10系统上安装了VMware workstation 14，现将介绍如何在VMware workstation上创建Linux虚拟机。下面以CentOS 7为例，演示具体安装步骤。1. 如下图，在VMware workstation中，点击【创建新的虚拟机】。2. 选择【安装程序光盘映像文件】后，点击“下一步”，如下...
2018-08-13 17:55:00
222
转载 如何使用Xshell连接VMware上的Linux虚拟机
前序：最近开始研究Hadoop平台的搭建，故在本机上安装了VMware workstation pro，并创建了Linux虚拟机（centos系统），为了方便本机和虚拟机间的切换，准备使用Xshell直接连接Linux虚拟机。在此之前，需要对Linux虚拟机的网络进行一定的配置。故有了下面这段记录。步骤：1. 检查Linux虚拟机的网络连接模式，确保它是NAT模式。（由于只在本机...
2018-08-13 17:49:00
3766
转载 Linux常用命令汇总（未完，待补充）
由于工作中经常要和Linux服务器打交道，故整理了一些常用的Linux命令，方便新入职的同学或实习生参考学习。1. 查看Linux内核版本#uname -a2. ctrl+insert：复制选中的数据；shift+insert：粘贴选中的数据；yy：复制一行；p：粘贴一行；u：撤销上一步操作，Ctrl+r：恢复上一步操作。- Vim用快捷键快速移动光标至行首：（1）按ho...
2018-08-02 19:00:00
82
转载 阿里云ECS测试服务器部署
前序：为了提供一个干净的测试环境，更好地验证产品问题，也为了防止被开发人员频繁发布代码而打断测试工作，故测试团队搭建了一台阿里云ECS服务器，以下是具体的部署信息：1. 安装JDK Java版本：Java SE Development Kit 8u101 Linux x64 下载地址：http://www.oracle.com/technetwork/java/archive-1...
2018-08-02 17:26:00
512
转载 如何备份Chrome浏览器收藏夹
前言：最近，由于工作需要，要卸载当前Chrome版本，并安装最新版Chrome。卸载前，意识到之前收藏在收藏夹里的很多知识链接还未备份，于是有了今天的话题：如何备份Chrome浏览器的收藏夹？主题：有两种方式可以备份，具体如下：1. 在电脑本地找到Chrome浏览器的收藏位置在Chrome浏览器的地址栏中输入chrome://version，弹出关于版本的详细信息，找到个人资...
2018-08-02 10:45:00
1285
转载 如何在Linux服务器上部署禅道
最近换了新的项目团队，由于新团队比较年轻化，没有实行正规的项目管理，于是我自告奋勇要为团队管理出一份力，帮助团队建立敏捷化的项目管理，经过多方考究和对比后，选择了目前较受欢迎的开源项目管理软件：禅道。这是一款国产的优秀开源项目管理软件，基于敏捷项目管理理念开发而成，操作简洁，能够很好地满足目前团队中的产品、开发、测试等人员的使用。下面详细介绍如何在Linux服务器上部署禅道。1. 查...
2018-05-16 08:45:00
306
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人