- 博客(49)
- 收藏
- 关注
RSS订阅原创 【Alluxio+HDFS集群系列-6】Alluxio+HDFS（Alluxio2.1.0+Hadoop2.7.3）集群问题（待续）
一、目的解决启动Alluxio+HDFS集群后日志记录的WARN和ERROR信息。二、环境2台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G。192.168.10.156 hmaster156，AlluxioWorker节点192.168.10.162 hslave162，AlluxioMaster节点三、问题与解决方...
2020-01-06 14:44:28
1318
2
原创 【Alluxio+HDFS集群系列-5】win10下Alluxio-2.1.0源码导入IDEA
一、目的：跟踪Alluxio+HDFS和Alluxio+GlusterFS集群的warning信息和error信息。二、环境：Win10， Inter(R) Core(TM) i7-7700 CPU @ 3.60GHz 3.60 GHz，内存16GB，64bit三、源码导入IDEA过程3.1 Win10安装Maven（1）下载Mave源码下载版本：Apache Mave...
2019-12-18 19:39:58
285
原创 【Alluxio+GlusterFS集群系列-2】测试Alluxio+GlusterFS集群性能
一、目的：测试Alluxio+GlusterFS集群性能。二、环境：5台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G。（1）Alluxio集群概况IP hostname Alluxio集群的角色 192.168.10.145 master145 Alluxio Worker 192.168...
2019-12-11 16:54:28
308
原创 【Alluxio+GlusterFS集群系列-1】CentOS 7 root用户部署Alluxio+GlusterFS集群
一、目的：搭建Alluxio+GlusterFS集群。二、环境：5台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G。192.168.10.145 master145192.168.10.148 slave148192.168.10.149 slave149192.168.10.158 client158192.168....
2019-12-10 17:30:11
391
原创 【Alluxio+HDFS集群系列-4】测试Alluxio+HDFS（Alluxio2.1.0+Hadoop2.7.3）集群性能(3)
【Alluxio集群系列】测试Alluxio+HDFS（Hadoop-2.7.7）集群性能(1)测试了“3.1.1 上传文件到Alluxio文件系统”与“3.1.2Alluxio文件固化到HDFS”。【Alluxio集群系列】测试Alluxio+HDFS（Hadoop-2.7.7）集群性能(2)测试了“3.1.3 释放Alluxio的文件”与“3.1.4重新加载HDFS文件到Alluxi...
2019-12-09 11:26:24
376
原创 【Alluxio+HDFS集群系列-3】测试Alluxio+HDFS（Hadoop-2.7.7）集群性能(2)
【Alluxio集群系列】测试Alluxio+HDFS（Hadoop-2.7.7）集群性能(1)测试了“3.1.1 上传文件到Alluxio文件系统”与“3.1.2Alluxio文件固化到HDFS”。一、目的：测试Alluxio+HDFS（Hadoop-2.7.7）集群性能。二、环境：2台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，...
2019-12-06 17:50:49
394
原创 【Alluxio+HDFS集群系列-2】测试Alluxio+HDFS（Hadoop-2.7.7）集群性能(1)
一、目的：测试Alluxio+HDFS（Hadoop-2.7.7）集群性能。二、环境：2台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G。192.168.10.156，hmaster156，alluxio slave192.168.10.162，hslave162，alluxio master三、测试过程：3.1...
2019-12-05 16:07:23
1803
1
原创 【Alluxio+HDFS集群系列-1】CentOS 7非root用户下部署Alluxio+HDFS（Hadoop-2.7.7）集群
一、目的：搭建Alluxio+HDFS集群。二、环境：2台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G。192.168.10.156 hmaster156192.168.10.162 hslave162三、前期准备：（源自官网https://docs.alluxio.io/os/user/stable/cn/Ge...
2019-11-29 17:17:19
1069
3
原创 【Hadoop集群系列-5】使用测试数据集测试Hadoop-2.7.7集群性能
一、目的：使用测试数据集测试hadoop-2.7.7集群性能。二、环境：2台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G。192.168.10.156 hmaster156192.168.10.162 hslave162三、测试过程：3.1数据集名称testdata1.6GB.csv（原始数据accide...
2019-11-19 23:55:48
670
原创 【Hadoop集群系列-4】使用TestDFSIO测试Hadoop-2.7.7集群性能
一、目的：使用TestDFSIO测试hadoop-2.7.7集群性能。二、环境：2台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G。192.168.10.156 hmaster156192.168.10.162 hslave162三、测试过程：3.1 测试读写性能在任意节点（hmaster156、hslave1...
2019-11-19 19:26:14
830
转载 【转载】Hadoop集群基准测试
生产环境中，如何对 Hadoop 集群进行 Benchmark Test？如何进行服务所需的机器选型？如何快速对比出不同集群的性能？ 本文将通过 Hadoop 自带的 Benchmark 测试程序：TestDFSIO 和 TeraSort，简单介绍如何进行 Hadoop 的读写 & 计算性能的压测。 （本文使用 2.6.0 的 hadoop 版本进行测试，基准测...
2019-11-19 18:13:30
453
原创 【Hadoop集群系列-3】分布式集群运行wordcount报错exited with exitCode: 1【Error: Could not find or load main class】
一、集群情况集群搭建过程见https://blog.csdn.net/lynne_cat/article/details/102975026二、运行命令bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar grep input output 'dfs[a-z.]+'三、报错信息命令行输...
2019-11-12 20:04:28
1207
原创 【Hadoop集群系列-2】CentOS 7非root用户下部署Hadoop-2.7.7分布式集群
一、目的：搭建Hadoop-2.7.7分布式集群。二、环境：2台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G。192.168.10.156 hmaster156192.168.10.162 hslave162以下介绍参考自官网教程https://hadoop.apache.org/docs/r2.7.7/had...
2019-11-09 18:54:30
524
转载 【转载】一步步教你Hadoop多节点集群安装配置
1、集群部署介绍1.1Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，可以分成两大类角色：Ma...
2019-11-09 18:02:26
205
转载 【转载】Hadoop 2.7.7 完全分布式安装
原博地址：https://blog.csdn.net/hwm_life/article/details/81746544环境准备：Centos7 64位JDK1.8hadoop-2.7.7.tar.gz （这里选择2.7.7 是为了后面与hbase-2.0.0匹配，版本匹配问题可查阅hbase官网）服务器规划192.168.222.3 hadoop-namenode # 该节点...
2019-11-08 19:03:19
250
转载 【转载】hadoop-2.7.7 HA完全分布式集群部署详解
原博地址：https://yq.aliyun.com/articles/7033531.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始，之前的版本均是不支持NameNode HA的高可用的。1.1 Hadoop HA简介Hadoop-HA集群运作机制介绍HA即高可用（7*24小时不中断服务） 实现高可用最关键的是消除单点故...
2019-11-08 18:46:44
557
原创 【Hadoop集群系列-1】CentOS 7非root用户下部署Hadoop-2.7.7伪分布式集群
一、目的：搭建Hadoop伪分布式集群。二、环境：2台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G。192.168.10.156 hmaster156192.168.10.162 hslave162三、安装过程：3.1 ssh免密登录在集群每个节点执行以下（1）-（9）操作。（1）root权限下执行以下命...
2019-11-08 16:03:44
844
原创 【GlusterFS系列-4】查看GlusterFS集群读写性能
一、目的查看GlusterFS集群读写性能。二、环境5台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G。192.168.10.145 master145192.168.10.148 slave148192.168.10.149 slave149192.168.10.158 client158192.168.10.159...
2019-10-15 17:57:44
1161
1
原创 【GlusterFS系列-3】利用Xshell在Windows和Linux之间传输文件
一、目的为了测试GlusterFS集群，从本地windows端传输图像和视频数据到linux服务器。二、环境Windows：win10家庭版，Inter(R) Core(TM) i7-7700 CPU @ 3.60GHz 3.60GHz，x64，内存16G。Linux：CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G，192.168.1...
2019-10-15 16:22:40
230
原创 【GlusterFS系列-2】集群节点的时钟同步
一、目的为搭建GlusterFS集群，保障节点间时钟同步。二、环境5台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G。192.168.10.145（NTP Server）192.168.10.148（NTP Client）192.168.10.149（NTP Client）192.168.10.158（NTP Cl...
2019-10-14 19:57:26
788
原创 【GlusterFS系列-1】CentOS 7部署GlusterFS
一、目的：搭建GlusterFS集群。二、环境：5台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G。192.168.10.145192.168.10.148192.168.10.149192.168.10.158192.168.10.159三、安装过程：3.1 关闭防火墙在每个节点（master14...
2019-10-12 18:40:24
1207
原创 32 Pandigital products - Project Euler -
package xxx.xxx.xxx;import java.util.ArrayList;import java.util.HashSet;/* * We shall say that an n-digit number is pandigital if it makes use of all the digits 1 to n exactly once; fo
2015-11-17 18:01:22
367
原创 java排列组合算法（n选n）
package xxx.xxx.xxx;import java.io.IOException;import java.io.PrintWriter;import java.util.ArrayList;import java.util.Random;import com.wxb.object.Rectangle;/** * @author wxb
2015-11-14 16:08:34
530
转载 (转) java排列组合算法（n选m）
转载自http://blog.sina.com.cn/s/blog_822120bf010147mi.htmlpackage test; import java.util.ArrayList;import java.util.List; public class Test { private static char[] is = new char[] {
2015-11-14 15:32:14
1273
原创 28 Number spiral diagonals - Project Euler +
package xxx.xxx.xxx;/* * Starting with the number 1 and moving to the right in a clockwise direction a 5 by 5 spiral is formed as follows:21 22 23 24 2520 7 8 9 1019 6 1 2 1118
2015-11-06 11:01:12
218
原创 27 Quadratic primes - Project Euler
package xxx.xxx.xxx;import java.util.ArrayList;import java.util.Arrays;/* * Euler discovered the remarkable quadratic formula:n² + n + 41 * It turns out that the formula will produce
2015-11-04 14:53:08
312
原创 26 Reciprocal cycles - Project Euler
package xxx.xxx.xxx;/* * A unit fraction contains 1 in the numerator. * The decimal representation of the unit fractions with denominators 2 to 10 are given: 1/2 = 0.5 1/3 = 0.(3) 1/4 = 0.
2015-11-03 13:27:45
336
原创 25 1000-digit Fibonacci number - Project Euler
package xxx.xxx.xxx;import java.math.BigInteger;/* * The Fibonacci sequence is defined by the recurrence relation: * Fn = Fn−1 + Fn−2, where F1 = 1 and F2 = 1. * Hence the first 12 t
2015-11-01 22:55:32
271
原创 24 Lexicographic permutations - Project Euler +
package xxx.xxx.xxx;/* * A permutation is an ordered arrangement of objects. For example, 3124 is one possible permutation of the digits 1, 2, 3 and 4. * If all of the permutations are listed nu
2015-11-01 10:31:12
295
原创 23 Non-abundant sums - Project Euler
package xxx.xxx.xxx;import java.util.HashSet;/* * A perfect number is a number for which the sum of its proper divisors is exactly equal to the number. * For example, the sum of the pr
2015-10-31 15:20:45
279
原创 22 Names scores - Project Euler
package xxx.xxx.xxx;/* * Using names.txt (right click and 'Save Link/Target As...'), a 46K text file containing over five-thousand first names, begin by sorting it into alphabetical order. *
2015-10-29 21:30:25
295
原创 21 Amicable numbers - Project Euler
package xxx.xxx.xxx;/* * Let d(n) be defined as the sum of proper divisors of n (numbers less than n which divide evenly into n). * If d(a) = b and d(b) = a, where a ≠ b, then a and b are an ami
2015-10-28 10:45:05
269
原创 19 Counting Sundays - Project Euler
package xxx.xxx.xxx;import java.util.ArrayList;/* * You are given the following information, but you may prefer to do some research for yourself. * 1 Jan 1900 was a Monday. * Thirty
2015-10-28 10:06:57
417
原创 20 Factorial digit sum - Project Euler
package xxx.xxx.xxx;import java.math.BigInteger;/* * n! means n × (n − 1) × ... × 3 × 2 × 1 * For example, 10! = 10 × 9 × ... × 3 × 2 × 1 = 3628800, * and the sum of the digits in th
2015-10-26 22:33:23
299
原创 16 Power digit sum - Project Euler
package xxx.xxx.xxx;import java.math.BigInteger;/* * 2^15 = 32768 and the sum of its digits is 3 + 2 + 7 + 6 + 8 = 26. * What is the sum of the digits of the number 21000? */public
2015-10-25 13:04:45
320
原创 14 Longest Collatz sequence - Project Euler
package xxx.xxx.xxx;import java.math.BigInteger;import java.util.ArrayList;import java.util.Arrays;import java.util.List;/* * The following iterative sequence is defined for the se
2015-10-25 12:11:45
342
原创 13 Large sum - Project Euler
package xxx.xxx.xxx;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStreamReader;import java.math.BigInt
2015-10-24 20:02:33
235
原创 12 Highly divisible triangular number - Project Euler
package xxx.xxx.xxx;/* * The sequence of triangle numbers is generated by adding the natural numbers. So the 7th triangle number would be 1 + 2 + 3 + 4 + 5 + 6 + 7 = 28. * The first ten term
2015-10-24 19:37:29
309
原创 10 Summation of primes - Project Euler
package xxx.xxx.xxx;import java.math.BigInteger;/* * The sum of the primes below 10 is 2 + 3 + 5 + 7 = 17. * Find the sum of all the primes below two million. */public class Su
2015-10-18 22:30:22
283
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人