- 博客(18)
- 资源 (9)
- 收藏
- 关注
RSS订阅
原创 安装CDH5.7.1集群
Hadoop版本选择目前Hadoop比较流行的主要有2个版本，Apache和Cloudera版本。Apache Hadoop：维护人员比较多，更新频率比较快，但是稳定性比较差。Cloudera Hadoop（CDH）：CDH：Cloudera公司的发行版本，基于ApacheHadoop的二次开发，优化了组件兼容和交互接口、简化安装配置、增加Cloudera兼容特性。 准备工作以...
2016-11-03 17:35:18
1395
原创 wordcount 运行
开启kerberos身份验证后，root账号没有了执行hdfs写的权限[root@masternode1 centos]# hadoop jar /opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.11/jars/hadoop-mapreduce-examples-2.6.0-cdh5.7.1.jar wordcount/input /outpu
2016-11-23 18:05:21
798
3
转载 对Imapla&Spark2.0.0SQL进行TPC-DS性能测试
1. tpcds_test_gentable There are two parts of this Unix-Shell project.Part-1: Building the tpcds-gen-.jar, recently version=1.1 is up to date.Part-2: Generating the tpcds flat data, creating t
2016-11-17 12:58:50
6602
3
转载 使用TPC-H对Hive测试
最近由于工作要求，需要对Hive进行一下测试。在一篇论文中看到使用TCP-H，上网查了一下还算是比较靠谱的一个基准测试程序，所以决定拿来一试。网上关于这方面的博客貌似很少（能力有限，没找到很多），通过自己摸索，写下这个东东，共享之，也希望同样关注这个方面的人能够共同讨论。系统环境： 6个结点，ubuntu01为master结点，ubuntu02-ubuntu06为slave结点
2016-11-17 12:34:36
792
转载 hadoop自动安装的脚本与步骤
最近要在10几台机器上安装hadoop。对于这种繁复而重复的工作，一步步的打命令行，对于程序员来说是一件不能忍的事情。所以我就琢磨着怎么写一个脚本来自动安装hadoop。任务： 在10几台机器上中的任意一台执行脚本，即可安装好hadoop。条件： 每台机器的用户名和密码都是一样的。每台机器都配置好了ssh，能够远程登录。解决思路： 1. 首先读取配置文件，读取到节点的ip和想要的
2016-11-16 10:55:14
1225
原创 安装oracle时swap分区不存在
安装oracle时会验证交换分区磁盘大小是否够，但有些云主机没有交换分区，用如下方法可以解决此问题： １． dd if=/dev/zero of=/home/swapfile bs=1M count=512 ２． mkswap /home/swapfile ３．swapon /home/swapfile此时用free -m就可以看到swap空间已经增加了，但是重启后就
2016-11-15 11:22:01
2182
原创 11g静默安装 centos系统
1 安装前环境： 操作系统:CetnOS6.6x64 最小化安装，已配置好网络IP:10.10.10.12，物理内存32GB，硬盘300GB。 已下载： linux.x64_11gR2_database_1of2.zip linux.x64_11gR2_database_2of2.zip 位于目录： /sharedisk/11G/ bin
2016-11-14 18:10:38
725
转载 oracle 版本下载
复制链接使用迅雷即可下载。 4种包的介绍： ***_database_*.zip 是oracle数据库 服务端 软件的安装包，如果你要创建一个数据库，请下载这个版本 ***_client_*.zip 是oracle数据库 客户端 软件的安装包，如果你不需要
2016-11-14 18:08:13
295
原创 hbase两种CopyTable 和export备份恢复用例
创建表hbase(main):001:0> create 't1',{NAME => 'f1', VERSIONS => 2},{NAME => 'f2', VERSIONS => 2}hbase(main):001:0> create 't2',{NAME => 'f1', VERSIONS => 2},{NAME => 'f2', VERSIONS => 2}插入数据h
2016-11-11 18:04:07
2972
原创 hdfs快照备份恢复
生产１０Ｇ文件[hadoop@masternode1 ~]$ dd if=/dev/zero of=/home/hadoop/a.txt bs=100M count=100记录了100+0 的读入记录了100+0 的写出10485760000字节(10 GB)已复制，64.0325 秒，164 MB/秒向hdfs上传１０Ｇ文件[hadoop@masternode1 ~]
2016-11-10 16:07:17
1853
原创 hadoop常用命令
查看CPU：cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c查看内存：free –m查看磁盘：df -m处理器信息：dmidecode | grep -A48 'Processor Information$'查看目录的大小[hadoop@masternode1 ~]$ hdfs dfs -ls /Found 8
2016-11-10 11:46:52
1225
原创 HMaster 节点失效及恢复测试
１.每隔 1 秒并行地对 t1 执行 scan 和 put 数据操作；2.停止主 HMaster 所在节点的进程，停止该节点上的 HMaster 进程；3. 主备切换过程中，观察 HBase 客户端日志，读写操作执行状态和 HMaster倒换时间；4.倒换完成，检查倒换告警信息是否上报正确；杀掉hbase主节点[hadoop@masternode1 test]$ jps
2016-11-09 17:23:54
3517
原创 hadoop测试namenode 主机点失效及恢复测试
1.从本地拷贝 100 个 100MB 的文件到 HDFS； 2.在文件拷贝过程中，停止主 NameNode 所在节点的 NameNode 进程，模 拟故障； 3.观察客户端日志文件发现故障； 4.文件拷贝完成后，将 100 个文件复制到本地，检测文件的一致性；１．首先生产一个100个100M的文件dd if=~/CDH-5.7.1-1.cdh5.7.1.p0.11-e
2016-11-09 15:50:08
1218
转载 sysbench的安装和做性能测试
ysbench是一个模块化的、跨平台、多线程基准测试工具，主要用于评估测试各种不同系统参数下的数据库负载情况。关于这个项目的详细介绍请看：http://sysbench.sourceforge.net。它主要包括以下几种方式的测试：1、cpu性能2、磁盘io性能3、调度程序性能4、内存分配及传输速度5、POSIX线程性能6、数据库性能(OLTP基准测试)目前sysb
2016-11-04 17:36:53
313
转载 使用TPC-H对Hive测试
最近由于工作要求，需要对Hive进行一下测试。在一篇论文中看到使用TCP-H，上网查了一下还算是比较靠谱的一个基准测试程序，所以决定拿来一试。网上关于这方面的博客貌似很少（能力有限，没找到很多），通过自己摸索，写下这个东东，共享之，也希望同样关注这个方面的人能够共同讨论。系统环境： 6个结点，ubuntu01为master结点，ubuntu02-ubuntu06为slave结点
2016-11-04 13:30:58
3770
原创 Maven 安装
Apache Maven，是一个软件（特别是Java软件）项目管理及自动构建工具，由Apache软件基金会所提供。基于项目对象模型（缩写：POM）概念，Maven利用一个中央信息片断能管理一个项目的构建、报告和文档等步骤。曾是Jakarta项目的子项目，现为独立Apache项目。那么，如何在Linux平台下面安装Maven呢？[root@localhost ~]#
2016-11-04 10:39:06
1112
2
原创 Ubuntu安装PAC
#添加密钥 $ wget -q -O - http://archive.getdeb.net/getdeb-archive.key | sudo apt-key add - #添加源 $ sudo sh -c 'echo "deb http://archive.getdeb.net/ubuntu trusty-getdeb apps" >> /etc/apt/sources.list.d
2016-11-04 10:36:32
4234
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人