数据存储【个人研究】
lynne_cat
这个作者很懒,什么都没留下…
展开
-
【Alluxio+HDFS集群系列-6】Alluxio+HDFS(Alluxio2.1.0+Hadoop2.7.3)集群问题(待续)
一、目的解决启动Alluxio+HDFS集群后日志记录的WARN和ERROR信息。二、环境2台虚拟机,CentOS Linux release 7.5.1804 (Core),内存3G,硬盘45G。192.168.10.156 hmaster156,AlluxioWorker节点192.168.10.162 hslave162,AlluxioMaster节点三、问题与解决方...原创 2020-01-06 14:44:28 · 1266 阅读 · 2 评论 -
【Alluxio+HDFS集群系列-5】win10下Alluxio-2.1.0源码导入IDEA
一、目的:跟踪Alluxio+HDFS和Alluxio+GlusterFS集群的warning信息和error信息。二、环境:Win10, Inter(R) Core(TM) i7-7700 CPU @ 3.60GHz 3.60 GHz,内存16GB,64bit三、源码导入IDEA过程3.1 Win10安装Maven(1)下载Mave源码下载版本:Apache Mave...原创 2019-12-18 19:39:58 · 262 阅读 · 0 评论 -
【Alluxio+GlusterFS集群系列-2】测试Alluxio+GlusterFS集群性能
一、目的:测试Alluxio+GlusterFS集群性能。二、环境:5台虚拟机,CentOS Linux release 7.5.1804 (Core),内存3G,硬盘45G。(1)Alluxio集群概况IP hostname Alluxio集群的角色 192.168.10.145 master145 Alluxio Worker 192.168...原创 2019-12-11 16:54:28 · 288 阅读 · 0 评论 -
【Alluxio+GlusterFS集群系列-1】CentOS 7 root用户部署Alluxio+GlusterFS集群
一、目的:搭建Alluxio+GlusterFS集群。二、环境:5台虚拟机,CentOS Linux release 7.5.1804 (Core),内存3G,硬盘45G。192.168.10.145 master145192.168.10.148 slave148192.168.10.149 slave149192.168.10.158 client158192.168....原创 2019-12-10 17:30:11 · 358 阅读 · 0 评论 -
【Alluxio+HDFS集群系列-4】测试Alluxio+HDFS(Alluxio2.1.0+Hadoop2.7.3)集群性能(3)
【Alluxio集群系列】测试Alluxio+HDFS(Hadoop-2.7.7)集群性能(1)测试了“3.1.1 上传文件到Alluxio文件系统”与“3.1.2Alluxio文件固化到HDFS”。【Alluxio集群系列】测试Alluxio+HDFS(Hadoop-2.7.7)集群性能(2)测试了“3.1.3 释放Alluxio的文件”与“3.1.4重新加载HDFS文件到Alluxi...原创 2019-12-09 11:26:24 · 347 阅读 · 0 评论 -
【Alluxio+HDFS集群系列-3】测试Alluxio+HDFS(Hadoop-2.7.7)集群性能(2)
【Alluxio集群系列】测试Alluxio+HDFS(Hadoop-2.7.7)集群性能(1)测试了“3.1.1 上传文件到Alluxio文件系统”与“3.1.2Alluxio文件固化到HDFS”。一、目的:测试Alluxio+HDFS(Hadoop-2.7.7)集群性能。二、环境:2台虚拟机,CentOS Linux release 7.5.1804 (Core),内存3G,...原创 2019-12-06 17:50:49 · 367 阅读 · 0 评论 -
【Alluxio+HDFS集群系列-2】测试Alluxio+HDFS(Hadoop-2.7.7)集群性能(1)
一、目的:测试Alluxio+HDFS(Hadoop-2.7.7)集群性能。二、环境:2台虚拟机,CentOS Linux release 7.5.1804 (Core),内存3G,硬盘45G。192.168.10.156,hmaster156,alluxio slave192.168.10.162,hslave162,alluxio master三、测试过程:3.1...原创 2019-12-05 16:07:23 · 1745 阅读 · 1 评论 -
【GlusterFS系列-1】CentOS 7部署GlusterFS
一、目的:搭建GlusterFS集群。二、环境:5台虚拟机,CentOS Linux release 7.5.1804 (Core),内存3G,硬盘45G。192.168.10.145192.168.10.148192.168.10.149192.168.10.158192.168.10.159三、安装过程:3.1 关闭防火墙在每个节点(master14...原创 2019-10-12 18:40:24 · 1168 阅读 · 0 评论 -
【GlusterFS系列-2】集群节点的时钟同步
一、目的为搭建GlusterFS集群,保障节点间时钟同步。二、环境5台虚拟机,CentOS Linux release 7.5.1804 (Core),内存3G,硬盘45G。192.168.10.145(NTP Server)192.168.10.148(NTP Client)192.168.10.149(NTP Client)192.168.10.158(NTP Cl...原创 2019-10-14 19:57:26 · 775 阅读 · 0 评论 -
【GlusterFS系列-3】利用Xshell在Windows和Linux之间传输文件
一、目的为了测试GlusterFS集群,从本地windows端传输图像和视频数据到linux服务器。二、环境Windows:win10家庭版,Inter(R) Core(TM) i7-7700 CPU @ 3.60GHz 3.60GHz,x64,内存16G。Linux:CentOS Linux release 7.5.1804 (Core),内存3G,硬盘45G,192.168.1...原创 2019-10-15 16:22:40 · 201 阅读 · 0 评论 -
【GlusterFS系列-4】查看GlusterFS集群读写性能
一、目的查看GlusterFS集群读写性能。二、环境5台虚拟机,CentOS Linux release 7.5.1804 (Core),内存3G,硬盘45G。192.168.10.145 master145192.168.10.148 slave148192.168.10.149 slave149192.168.10.158 client158192.168.10.159...原创 2019-10-15 17:57:44 · 1098 阅读 · 1 评论 -
【Hadoop集群系列-1】CentOS 7非root用户下部署Hadoop-2.7.7伪分布式集群
一、目的:搭建Hadoop伪分布式集群。二、环境:2台虚拟机,CentOS Linux release 7.5.1804 (Core),内存3G,硬盘45G。192.168.10.156 hmaster156192.168.10.162 hslave162三、安装过程:3.1 ssh免密登录在集群每个节点执行以下(1)-(9)操作。(1)root权限下执行以下命...原创 2019-11-08 16:03:44 · 804 阅读 · 0 评论 -
【转载】hadoop-2.7.7 HA完全分布式集群部署详解
原博地址:https://yq.aliyun.com/articles/7033531.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNode HA的高可用的。1.1 Hadoop HA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务) 实现高可用最关键的是消除单点故...转载 2019-11-08 18:46:44 · 528 阅读 · 0 评论 -
【转载】Hadoop 2.7.7 完全分布式安装
原博地址:https://blog.csdn.net/hwm_life/article/details/81746544环境准备:Centos7 64位JDK1.8hadoop-2.7.7.tar.gz (这里选择2.7.7 是为了后面与hbase-2.0.0匹配,版本匹配问题可查阅hbase官网)服务器规划192.168.222.3 hadoop-namenode # 该节点...转载 2019-11-08 19:03:19 · 222 阅读 · 0 评论 -
【转载】一步步教你Hadoop多节点集群安装配置
1、集群部署介绍1.1Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲,可以分成两大类角色:Ma...转载 2019-11-09 18:02:26 · 194 阅读 · 0 评论 -
【Hadoop集群系列-2】CentOS 7非root用户下部署Hadoop-2.7.7分布式集群
一、目的:搭建Hadoop-2.7.7分布式集群。二、环境:2台虚拟机,CentOS Linux release 7.5.1804 (Core),内存3G,硬盘45G。192.168.10.156 hmaster156192.168.10.162 hslave162以下介绍参考自官网教程https://hadoop.apache.org/docs/r2.7.7/had...原创 2019-11-09 18:54:30 · 499 阅读 · 0 评论 -
【Hadoop集群系列-3】分布式集群运行wordcount报错exited with exitCode: 1【Error: Could not find or load main class】
一、集群情况集群搭建过程见https://blog.csdn.net/lynne_cat/article/details/102975026二、运行命令bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar grep input output 'dfs[a-z.]+'三、报错信息命令行输...原创 2019-11-12 20:04:28 · 1159 阅读 · 0 评论 -
【转载】Hadoop集群基准测试
生产环境中,如何对 Hadoop 集群进行 Benchmark Test?如何进行服务所需的机器选型?如何快速对比出不同集群的性能? 本文将通过 Hadoop 自带的 Benchmark 测试程序:TestDFSIO 和 TeraSort,简单介绍如何进行 Hadoop 的读写 & 计算性能的压测。 (本文使用 2.6.0 的 hadoop 版本进行测试,基准测...转载 2019-11-19 18:13:30 · 424 阅读 · 0 评论 -
【Hadoop集群系列-4】使用TestDFSIO测试Hadoop-2.7.7集群性能
一、目的:使用TestDFSIO测试hadoop-2.7.7集群性能。二、环境:2台虚拟机,CentOS Linux release 7.5.1804 (Core),内存3G,硬盘45G。192.168.10.156 hmaster156192.168.10.162 hslave162三、测试过程:3.1 测试读写性能在任意节点(hmaster156、hslave1...原创 2019-11-19 19:26:14 · 795 阅读 · 0 评论 -
【Alluxio+HDFS集群系列-1】CentOS 7非root用户下部署Alluxio+HDFS(Hadoop-2.7.7)集群
一、目的:搭建Alluxio+HDFS集群。二、环境:2台虚拟机,CentOS Linux release 7.5.1804 (Core),内存3G,硬盘45G。192.168.10.156 hmaster156192.168.10.162 hslave162三、前期准备:(源自官网https://docs.alluxio.io/os/user/stable/cn/Ge...原创 2019-11-29 17:17:19 · 1043 阅读 · 3 评论 -
【Hadoop集群系列-5】使用测试数据集测试Hadoop-2.7.7集群性能
一、目的:使用测试数据集测试hadoop-2.7.7集群性能。二、环境:2台虚拟机,CentOS Linux release 7.5.1804 (Core),内存3G,硬盘45G。192.168.10.156 hmaster156192.168.10.162 hslave162三、测试过程:3.1数据集名称testdata1.6GB.csv(原始数据accide...原创 2019-11-19 23:55:48 · 660 阅读 · 0 评论