- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 使用Hadoop做K-Means计算的总结
以K均值聚类算法为实验对象。通过调整各项Hadoop参数，已经不能再进一步缩短K均值迭代的时间，在计算过程中，CPU User态的使用率始终维持在95%左右。尝试过的配置项有：mapred.min.split.sizeio.sort.mbio.sort.spi
2011-09-29 17:37:07
2014
原创 Expect 教程中文版
比较好的教程http://www.xfocus.net/articles/200104/169.html写了如下脚本，一直无法挂载：#!/usr/bin/expect#Disk=( /dev/sda /dev/sdb/ /dev/sdc /dev/sd
2011-09-28 17:42:11
860
转载 MapReduce之上——Sawzall
海量数据分析：Sawzall并行处理（中文版论文） Google的工程师为了方便内部人员使用MapRe
2011-09-28 13:15:08
2497
转载 Hadoop优化经验——来自经验丰富的工程师
我们有一个Hadoop集群从上个月开始遇到一系列性能问题，在逐一解决的过程中，积累了以下的优化经验。1. 网络带宽Hadoop集群的服务器在规划时就在统一的交换机下，这是在官方文档中建议的部署方式。但是我们的这台交换机和其他交换机的互联带宽有限，所以在客户端遇到了HD
2011-09-28 13:14:17
981
原创 串行IO与并行IO的效率比较
MPI_File_read_at函数与C语言中的fread函数，依次读取一个100M的文件，读取时间如下所示：实验一：[zhangyang@mpi002 kmeans_exper]$ mpiexec -np 1 ./mpi_c_fspeedThere are 1500
2011-09-23 17:05:13
5168
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人