- 博客(6)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 安装spark-bench
git clone https://github.com/SparkTC/spark-bench.gitcd spark-bench/mvn package install[root@datanode01 bin]# pwd/opt/spark-bench/bin[root@datanode01 bin]# ./build-all.sh [root@
2017-06-23 09:29:49
2090
原创 磁盘划分
fdisk /dev/sdbCommand (m for help): pDisk /dev/sdb: 600.1 GB, 600093712384 bytes, 1172058032 sectorsUnits = sectors of 1 * 512 = 512 bytesSector size (logical/physical): 512 bytes / 512 by
2017-06-23 09:28:05
605
原创 asm基本命令总结
在Oracle 环境下，使用grid帐号执行运行asmcmd进入asm命令模式，如：[grid@rac1 ~]$ asmcmdASMCMD> ASMCMD> du //显示指定的ASM目录下ASM文件占用的所有磁盘空间ASMCMD> ls -ls //列出ASM目录下的内容及其属性、磁盘空间占用ASMCMD> pwd //查看当前路径ASMCMD> cd ../DA
2017-06-23 09:18:58
789
原创 spark2如何集成到cdh里
最近做性能测试需要spark2测试下和spark1.6性能有多大差别，官方文档里写着可以集成，但是自己怎么搞都不行，折磨了3天的时间，目前终于把spark2集成到集群里了我安装的是最新版本的下载spark2安装包wget http://archive.cloudera.com/beta/spark2/parcels/latest/SPARK2-2.0.0.cloudera.beta
2017-06-14 11:04:04
6980
13
转载 Elasticsearch 架构原理
为什么要学习架构?Elasticsearch的一些架构设计，对我们做性能调优、故障处理，具有非常重要的影响。下面将从Elasticsearch的准实时索引的实现、自动发现、rounting和replica的读写过程，shard的allocate控制使文本可以被搜索？在传统的数据库中，一个字段存一个值，但是这对于全文搜索是不足的。想要让文本中的而每个单词都可以被搜索，这意味着
2017-06-02 10:46:55
1034
转载 hadoop HDFS存储原理
来源url:http://www.36dsj.com/archives/41391根据Maneesh Varshney的漫画改编，以简洁易懂的漫画形式讲解HDFS存储机制与运行原理。一、角色出演如上图所示，HDFS存储相关角色与功能如下：Client：客户端，系统使用者，调用HDFS API操作文件;与NN交互获取文件元数据;
2017-06-01 10:17:25
784
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人