Hama图计算模型

已于 2024-03-13 11:05:56 修改
阅读量827 收藏 19
点赞数 19
文章标签： 大数据 空间计算 python 分布式 hadoop
于 2023-12-14 00:15:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_54428859/article/details/134874572
版权

开始

默认已经安装了hdfs、apache-zookeeper、并且已经启动完成。

系统环境：jdk8、centos7

Hama单机环境安装配置

下载hama安装文件，从http://hama.apache.org/downloads.html 处下载合适的版本，这里我选择最新版本。

下载文件后，运用命令 sudo tar -zxf ~/下载/hama-dist-0.7.0.tar.gz -C /usr/local 解压至 /usr/local/hama ，再运用命令 sudo mv ./hama-0.7.0/ ./hama 将文件夹名改为hama。

进入hama中的conf文件夹，修改hama-env.sh文件，在其中加入java的home路径，即加入：export JAVA_HOME=/export/server/jdk

修改 hama-site.xml文件，这时hama配置的核心文件，具体内容如下：

  <configuration>
    <property>
      <name>bsp.master.address</name>
      <value>node1</value>
      <description>The address of the bsp master server. Either the
      literal string "local" or a host:port for distributed mode
      </description>
    </property>
 
    <property>
      <name>fs.default.name</name>
      <value>hdfs://node1:9000</value>
      <description>
        The name of the default file system. Either the literal string
        "local" or a host:port for HDFS.
      </description>
    </property>
 
    <property>
      <name>hama.zookeeper.quorum</name>
      <value>localhost</value>
      <description>Comma separated list of servers in the ZooKeeper Quorum.
      For example, "host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".
      By default this is set to localhost for local and pseudo-distributed modes
      of operation. For a fully-distributed setup, this should be set to a full
      list of ZooKeeper quorum servers. If HAMA_MANAGES_ZK is set in hama-env.sh
      this is the list of servers which we will start/stop zookeeper on.
      </description>
    </property>
  </configuration>

其中，bsp.master.address即bsp中的BSPMaster的地址和端口。这里因为是单机模式，所以ip地址为本机地址node1。fs.default.name这个值要特别注意，是hadoop中nameNode的地址和端口，因为hama要用到hadoop的hdfs分布式文件系统。剩下的俩个是zookeeper的相关配置。因为是单机模式下配置，这里简单的配置为本机的ip地址，端口一般是固定的。

Hama单机模式实例-PageRank

  1. PageRank
    (1)生成 randomgraph,运行如下命令：
    ./bin/hama jar hama-examples-0.7.0.jar gen fastgen -v 100 -e 10 -o randomgraph -t 2

注意：我这里由于配置的文件系统为hdfs！所以生成的文件在hdfs上，不在本地！这里踩了大坑，在本地找了半天没找到！

这个命令是 Hama 的一个示例命令，用于生成一个随机图。

./bin/hama：这是 Hama 的执行程序文件路径。

jar hama-examples-0.7.0.jar：这是要执行的 Java 程序的 JAR 文件路径。

gen fastgen：这是要运行的 Hama 作业类型，它使用 FastGen 算法生成随机图。

-v 100：这是生成的随机图的顶点数量。

-e 10：这是生成的随机图的边数量。

-o randomgraph：这是生成的随机图的输出目录。

-t 2：这是生成的随机图使用的任务数。

执行这个命令会生成一个随机图，顶点数量为 100，边数量为 10，输出到名为 randomgraph 的目录中，使用 2 个任务来执行生成操作。

randomgraph一共保存了生成100个节点，其中的每一行描述了其中一个顶点所链接的其他顶点，每个顶点有10条边。

执行结果是一个排序

从生成的结果图可以看出，每个节点的pangescore分数都是差不多，因为每个顶点所链接的边都是10条，所以分数都是差不多。

计算PI

使用蒙特卡洛方法计算pi值

  1. 代码如下： 
    import java.io.IOException; 

import org.apache.commons.logging.Log; 

import org.apache.commons.logging.LogFactory; 

import org.apache.hadoop.fs.FSDataInputStream; 

import org.apache.hadoop.fs.FileStatus; 

import org.apache.hadoop.fs.FileSystem; 

import org.apache.hadoop.fs.Path; 

import org.apache.hadoop.io.DoubleWritable; 

import org.apache.hadoop.io.IOUtils; 

import org.apache.hadoop.io.NullWritable; 

import org.apache.hadoop.io.Text; 

import org.apache.hama.HamaConfiguration; 

import org.apache.hama.bsp.BSP; 

import org.apache.hama.bsp.BSPJob; 

import org.apache.hama.bsp.BSPJobClient; 

import org.apache.hama.bsp.BSPPeer; 

import org.apache.hama.bsp.ClusterStatus; 

import org.apache.hama.bsp.FileOutputFormat; 

import org.apache.hama.bsp.NullInputFormat; 

import org.apache.hama.bsp.TextOutputFormat; 

import org.apache.hama.bsp.sync.SyncException; 



public class PiEstimator 

{ 

    private static Path TMP_OUTPUT = new Path("/tmp/pi-" 

        + System.currentTimeMillis()); 



    public static class MyEstimator 

        extends 

        BSP<NullWritable, NullWritable, Text, DoubleWritable, DoubleWritable> 

    { 

    public static final Log LOG = LogFactory.getLog(MyEstimator.class); 

    private String masterTask; 

    private static final int iterations = 10000; 



    @Override 

    public void bsp( 

        BSPPeer<NullWritable, NullWritable, Text, DoubleWritable, DoubleWritable> peer) 

        throws IOException, SyncException, InterruptedException 

    { 



        int in = 0; 

        for (int i = 0; i < iterations; i++) 

        { 

        double x = 2.0 * Math.random() - 1.0, y = 2.0 * Math.random() - 1.0; 

        if ((Math.sqrt(x * x + y * y) < 1.0)) 

        { 

            in++; 

        } 

        } 



        double data = 4.0 * in / iterations; 



        peer.send(masterTask, new DoubleWritable(data)); 

        peer.sync(); 

    } 



    @Override 

    public void setup( 

        BSPPeer<NullWritable, NullWritable, Text, DoubleWritable, DoubleWritable> peer) 

        throws IOException 

    { 

        // Choose one as a master 

        this.masterTask = peer.getPeerName(peer.getNumPeers() / 2); 

    } 



    @Override 

    public void cleanup( 

        BSPPeer<NullWritable, NullWritable, Text, DoubleWritable, DoubleWritable> peer) 

        throws IOException 

    { 

        if (peer.getPeerName().equals(masterTask)) 

        { 

        double pi = 0.0; 

        int numPeers = peer.getNumCurrentMessages(); 

        DoubleWritable received; 

        while ((received = peer.getCurrentMessage()) != null) 

        { 

            pi += received.get(); 

        } 



        pi = pi / numPeers; 

        peer.write(new Text("Estimated value of PI is"), 

            new DoubleWritable(pi)); 

        } 

    } 

    } 



    static void printOutput(HamaConfiguration conf) throws IOException 

    { 

    FileSystem fs = FileSystem.get(conf); 

    FileStatus[] files = fs.listStatus(TMP_OUTPUT); 

    for (int i = 0; i < files.length; i++) 

    { 

        if (files[i].getLen() > 0) 

        { 

        FSDataInputStream in = fs.open(files[i].getPath()); 

        IOUtils.copyBytes(in, System.out, conf, false); 

        in.close(); 

        break; 

        } 

    } 



    fs.delete(TMP_OUTPUT, true); 

    } 



    public static void main(String[] args) throws InterruptedException, 

        IOException, ClassNotFoundException 

    { 

    // BSP job configuration 

    HamaConfiguration conf = new HamaConfiguration(); 



    BSPJob bsp = new BSPJob(conf, PiEstimator.class); 

    // Set the job name 

    bsp.setJobName("Pi Estimation Example"); 

    bsp.setBspClass(MyEstimator.class); 

    bsp.setInputFormat(NullInputFormat.class); 

    bsp.setOutputKeyClass(Text.class); 

    bsp.setOutputValueClass(DoubleWritable.class); 

    bsp.setOutputFormat(TextOutputFormat.class); 

    FileOutputFormat.setOutputPath(bsp, TMP_OUTPUT); 



    BSPJobClient jobClient = new BSPJobClient(conf); 

    ClusterStatus cluster = jobClient.getClusterStatus(true); 



    if (args.length > 0) 

    { 

        bsp.setNumBspTask(Integer.parseInt(args[0])); 

    } else 

    { 

        // Set to maximum 

        bsp.setNumBspTask(cluster.getMaxTasks()); 

    } 



    long startTime = System.currentTimeMillis(); 

    if (bsp.waitForCompletion(true)) 

    { 

        printOutput(conf); 

        System.out.println("Job Finished in " 

            + (System.currentTimeMillis() - startTime) / 1000.0 

            + " seconds"); 

    } 

    } 

}  

这段代码是一个使用Apache Hama框架的Java程序，它使用蒙特卡洛方法来估计π的值。Apache Hama是一个用于大数据分析的框架，它使用了批量同步并行（BSP）计算模型。

主类是PiEstimator，它包含了一个嵌套的静态类MyEstimator，这个类扩展了Apache Hama提供的BSP类。BSP类是一个泛型类，它接受五个参数：输入键，输入值，输出键，输出值和消息类型。

public static class MyEstimator extends BSP<NullWritable, NullWritable, Text, DoubleWritable, DoubleWritable>

MyEstimator类重写了BSP类的三个方法：setup，bsp和cleanup。

setup方法在计算开始时被调用一次，用于设置计算。在这个例子中，它从同伴中选择一个主任务。

public void setup(BSPPeer<NullWritable, NullWritable, Text, DoubleWritable, DoubleWritable> peer) throws IOException

bsp方法包含了主要的计算。它在单位正方形中生成随机点，计算有多少点落在单位圆内，然后将圆内点的比例（乘以4）发送给主任务。

public void bsp(BSPPeer<NullWritable, NullWritable, Text, DoubleWritable, DoubleWritable> peer) throws IOException, SyncException, InterruptedException

cleanup方法在计算结束时被调用一次。如果当前任务是主任务，它会收集所有同伴的结果，对它们进行平均，然后将π的估计值写入输出。

public void cleanup(BSPPeer<NullWritable, NullWritable, Text, DoubleWritable, DoubleWritable> peer) throws IOException

PiEstimator类的main方法设置了BSP任务，包括设置输入和输出格式，输出键和值的类，以及任务的数量。然后它启动任务并等待其完成。任务完成后，它打印输出（π的估计值）和所用时间。

public static void main(String[] args) throws InterruptedException, IOException, ClassNotFoundException

对代码进行编译

附上maven所需依赖包

    <dependencies>
        <!--storm依赖-->
        <dependency>
            <groupId>commons-logging</groupId>
            <artifactId>commons-logging</artifactId>
            <version>1.2</version>
        </dependency>


        <!-- Hadoop HDFS -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.7</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hama</groupId>
            <artifactId>hama-core</artifactId>
            <version>0.7.0</version>
        </dependency>

    </dependencies>

如需编译好的文件，文章顶部下载

最后运行命令计算PI：./bin/hama jar PiEstimator.jar org.example.PiEstimator

得到最终的模拟pi为Estimated value of PI is  3.1257333

问题1：./bin/hama jar hama-examples-0.7.0.jar gen fastgen -v 100 -e 10 -o randomgraph -t 2无法运行

根源：hama没有启动

解决办法：使用命令：bin/start-bspd.sh 启动hama

问题2：./bin/hama jar hama-examples-0.7.0.jar gen fastgen -v 100 -e 10 -o randomgraph -t 2无法找到生成的文件

根源：由于配置了分布式文件系统，所以生成的文件在hdfs上

解决办法：到hdfs上面找

问题3：编译源文件出问题

根源：未知

解决办法：使用idea编译打包

Epiphany_7725
关注
海马体「预测地图」
10-11
DeepMind 近日在《Nature Neuroscience...受此启发，DeepMind 提出将强化学习中基于模型的算法和无模型算法结合起来，既保证计算成本低廉，又能快速适应奖励变化。DeepMind 表示，预测地图理论可以转换成神经网络架构。
大数据技术原理与应用
m0_54000719的博客
10-17 2418
自测题目
【大数据处理技术】实验11
Lenhart001的博客
11-15 572
【代码】【大数据处理技术】实验11。
hama安装
spark的专栏
05-10 1543
1、前提：        hama安装前，需要系统已经完成如下操作： （1）      安装JDK1.6以上版本 （2）      安装Hadoop0.20.x版本（这里我使用的是Hadoop-0.20.2，实际上，Hama仅使用了HDFS） （3）      安装Zookeeper-3.3.2（Hama自身携带Zookeeper，但是为了彻底了解hama机制，建议自己安装Zookeepe
3_海马分割_海马体分割_matlab磁共振_matlab_医学图像_
09-28
3. 分割算法：应用各种分割算法，如阈值分割、区域生长、水平集、图割或者深度学习模型。例如，可以使用GrabCut算法或Active Contour Model（蛇形模型）来自动追踪海马体的轮廓。 4. 后处理：分割后的结果可能包含...
海马算法.zip
07-16
海马算法，是一种借鉴生物学中海马体功能的计算模型，用于解决复杂的学习与记忆问题。在神经科学中，海马体是大脑中一个至关重要的结构，它在空间记忆、情景记忆以及模式分离等方面扮演着核心角色。海马算法的设计...
modulation_index-master_计算PAC_
10-03
5. **结果解释**：根据计算得到的MI值，研究者可以分析海马区或其他脑区在特定任务或状态下的神经耦合模式，这有助于理解大脑的工作机制和潜在的病理状态。 在压缩包"modulation_index-master"中，可能包含的文件有...
Kafka 为什么要抛弃 Zookeeper？
m0_54369189的博客
10-16 870
本文，我们分析了为什么 Kafka 要移除 ZooKeeper，主要原因有两个：ZooKeeper不能满足 Kafka的发展以及 Kafka想创建自己的生态。在面临越来越复杂的数据流处理需求时，KRaft 模式为 Kafka 提供了一种更高效、简洁的架构方案。不论结局如何，Kafka 和 ZooKeeper曾经也度过了一段美好的蜜月期，祝福 Kafka 在 KRaft模式越来越强大，为使用者带来更好的体验。
DataX数据同步
最新发布
Kodak
10-27 141
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。
Elasticsearch 实战应用
weidl001的博客
10-25 783
无论是用于构建复杂的全文搜索系统、进行日志数据分析，还是提供地理位置的实时查询，Elasticsearch 都提供了强大的功能和工具，使开发人员可以更高效地管理和分析数据。在使用 Elasticsearch 时，良好的集群配置和优化实践是成功应用的关键，通过这些方法可以确保在实际环境中实现最佳的性能和可靠性。在生产环境中，单节点的 Elasticsearch 性能和可靠性有限，因此通常需要将 Elasticsearch 部署为集群，以支持大规模数据的存储和查询。指定了节点的角色，包括主节点和数据节点。
ElasticSearch 入门需要了解的概念
TechCraftsman数据库专栏
10-26 945
ElasticSearch 入门需要了解的概念
Azkaban调度的所有 使用场景
goTsHgo的博客
10-23 981
Azkaban 的主要使用场景包括：大规模数据处理（Hadoop、Spark）、ETL 管道调度、机器学习任务调度、自动化报表生成、系统运维任务调度等。它的优势在于强大的依赖管理功能、自动重试机制和灵活的任务类型支持，使其在复杂的工作流管理和调度场景中表现出色。
NVR监测软件/设备EasyNVR多个NVR同时管理构建智慧城市的大数据解决方案
EasyNVR官方技术博客
10-24 532
各地智慧城市建设如火如荼，尤其在视频监管和智能分析需求上，各种监控点面临不同网络和地域问题，视频融合与统一监管成为大数据中心解决方案的关键。NVR管理平台EasyNVR在智慧城市建设中占据重要地位，系统的可扩展性、稳定性和安全性需被重视，同时强化数据整合和分析以提高利用价值。
单机kafka性能需要高性能的硬件做支撑
pengcheng2013的博客
10-24 136
一般来说，单机kafka在硬件支持的情况下，能支持每秒100万写入，如果硬件没有那么好的话(机械硬盘，容器内给内存8G， CPU也不是很好)，就只能减少每秒的写入量，每秒写入5万都比较不错了。
Flink 源码 TaskManagerRunner 启动 Akka Actor System 源码
LizhiQiang
10-24 320
TaskManagerRunner 启动 Akka Actor System 源码关键流程。
智能财务 | 数据与融合，激发企业财务数智化转型思考
Yonyou_BIP的博客
10-25 1158
智能财务大画册（二）
hadoop-Zookeeper安装
IT从业者的成长历程
10-24 864
本文主要描述zookeeper的安装过程
hive数据库,表操作
m0_72898512的博客
10-23 900
内部表又称管理表 , 内部表数据存储的位置由hive.metastore.warehouse.dir 参数决定（默认： /user/hive/warehouse ），删除内部表会直接删除元数据（ metadata ）及存储数据，因此内部表不适合和其他工具共享数据。被 external 关键字修饰的即是外部表， 即关联表。数据存储的不同也代表了这个表在理念是并不是Hive 内部管理的，而是可以随意临时链接到外部数据上的。所以，在删除外部表的时候， 仅仅是删除元数据（表的信息），不会删除数据本身。
网格细胞到位置细胞神经网络模型：解析海马结构机制
"网格细胞到位置细胞的竞争型神经网络模型" 在认知科学和神经生物学领域，海马结构是大脑中一个至关重要的部分，它...模型的验证和改进将持续推动神经科学和计算神经生物学的发展，进一步揭示大脑处理复杂信息的奥秘。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值