关闭

Hadoop-Streaming(流)

Hadoop-Streaming(流)Hadoop流是Hadoop发行版附带的一个实用程序。此实用程序允许您使用任何可执行文件或脚本创建和运行Map / Reduce作业作为映射器和/或reducer。原文链接:http://blogxinxiucan.sh1.newtouch.com/2017/07/17/Hadoop-Streaming-流/使用Python的例子对于Hadoop流,我们正在考虑...
阅读(19) 评论(0)

Hadoop - MapReduce

Hadoop - MapReduceMapReduce是一个框架,我们可以编写应用程序,以可靠的方式并行处理大量商品硬件的大量数据。原文链接:http://blogxinxiucan.sh1.newtouch.com/2017/07/17/Hadoop-MapReduce/什么是MapReduce?MapReduce是基于java的分布式计算的处理技术和程序模型。MapReduce算法包含两个重要任...
阅读(35) 评论(0)

Hadoop - 命令参考

Hadoop - 命令参考 在“$ HADOOP_HOME / bin / hadoop fs”中有更多的命令比这里演示的更多,尽管这些基本操作将让您开始。运行./bin/hadoop dfs,没有其他参数将列出可以使用FsShell系统运行的所有命令。此外,如果您遇到困难,$ HADOOP_HOME / bin / hadoop fs -help commandName将显示有关操作的简短使用...
阅读(28) 评论(0)

Hadoop - 命令参考

Hadoop - 命令参考 在“$ HADOOP_HOME / bin / hadoop fs”中有更多的命令比这里演示的更多,尽管这些基本操作将让您开始。运行./bin/hadoop dfs,没有其他参数将列出可以使用FsShell系统运行的所有命令。此外,如果您遇到困难,$ HADOOP_HOME / bin / hadoop fs -help commandName将显示有关操作的简短使用...
阅读(32) 评论(0)

Hadoop - HDFS操作

Hadoop - HDFS操作原文地址:http://blogxinxiucan.sh1.newtouch.com/2017/07/17/Hadoop-HDFS操作/启动HDFS最初,您必须格式化配置的HDFS文件系统,打开namenode(HDFS服务器),然后执行以下命令。$ hadoop namenode -format 格式化HDFS后,启动分布式文件系统。以下命令将启动namenode以...
阅读(33) 评论(0)

Hadoop - HDFS概述

Hadoop - HDFS概述 Hadoop文件系统是使用分布式文件系统设计开发的。它运行在商品硬件上。与其他分布式系统不同,HDFS具有高度的容错能力,并采用低成本硬件设计。 HDFS拥有非常大量的数据,并提供更容易的访问。要存储这么大的数据,这些文件存储在多台机器上。这些文件以冗余的方式存储,以在发生故障的情况下挽救系统免受可能的数据丢失。HDFS还使应用程序可以并行处理。原文链接:http...
阅读(75) 评论(0)

Hadoop - 环境设置

Hadoop - 环境设置 Hadoop由GNU / Linux平台及其风格支持。因此,我们必须安装一个用于设置Hadoop环境的Linux操作系统。如果您的操作系统不是Linux,则可以在其中安装一个Virtualbox软件,并在Virtualbox中安装Linux。 原文地址:http://blogxinxiucan.sh1.newtouch.com/2017/07/17/Hadoop-环境...
阅读(23) 评论(0)

Hadoop-介绍

Java - 多线程 Java是一种多线程编程语言,这意味着我们可以使用Java开发多线程程序。多线程程序包含两个或多个可同时运行的部件,每个部件可以同时处理不同的任务,从而最佳地利用可用资源,特别是当您的计算机有多个CPU时。 原文地址: http://blogxinxiucan.sh1.newtouch.com/2017/07/16/Java-多线程/根据定义,多任务是当多个进程共享诸如CP...
阅读(81) 评论(0)

Java-多线程

Java - 多线程 Java是一种多线程编程语言,这意味着我们可以使用Java开发多线程程序。多线程程序包含两个或多个可同时运行的部件,每个部件可以同时处理不同的任务,从而最佳地利用可用资源,特别是当您的计算机有多个CPU时。 原文地址: http://blogxinxiucan.sh1.newtouch.com/2017/07/16/Java-多线程/根据定义,多任务是当多个进程共享诸如CP...
阅读(39) 评论(0)

Java - 线程同步

Java - 线程同步 当我们在程序中启动两个或多个线程时,可能会出现多个线程尝试访问同一个资源的情况,最后可能由于并发问题而产生不可预见的结果。例如,如果多个线程尝试在同一个文件中写入,那么它们可能会损坏数据,因为其中一个线程可以覆盖数据,或者当一个线程打开同一个文件时,另一个线程可能会关闭相同的文件。 原文地址: http://blogxinxiucan.sh1.newtouch.com/2...
阅读(22) 评论(0)

Java - Interthread通信

Java - Interthread通信如果你知道进程间通信,那么你很容易理解interthread通信。当您开发两个或多个线程交换一些信息的应用程序时,Interthread通信很重要。原文地址: http://blogxinxiucan.sh1.newtouch.com/2017/07/16/Java-Interthread通信/有三个简单的方法和一个小技巧,使线程通信成为可能。所有三种方法都列...
阅读(23) 评论(0)

Java - 线程死锁

Java - 线程死锁 死锁描述了两个或多个线程被永久阻塞的情况,等待彼此。当多个线程需要相同的锁定但以不同的顺序获取时,会发生死锁。Java多线程程序可能会遇到死锁状况,因为synchronized关键字会导致执行线程在等待与指定对象相关联的锁定或监视时阻止。 原文地址: http://blogxinxiucan.sh1.newtouch.com/2017/07/16/Java-线程死锁/这是...
阅读(42) 评论(0)

Apache Kafka

Apache Kafka关于KafkaKafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。1 Apache Kafka - 介绍 2 Apache Kafka -工作流程 3 Apache Kafka - 安装步骤 4...
阅读(45) 评论(0)

Apache Kafka -8 与Spark集成

Apache Kafka教程 之 与Spark集成个人博客地址: http://blogxinxiucan.sh1.newtouch.com/2017/07/13/Apache-Kafka-与Spark集成/Apache Kafka - 与Spark集成关于SparkSpark Streaming API支持实时数据流的可扩展,高吞吐量,容错流处理。数据可以从诸如Kafka,Flume,Twitt...
阅读(61) 评论(0)

Apache Kafka -7 与Storm集成

Apache Kafka教程 之 与Storm集成个人博客地址: http://blogxinxiucan.sh1.newtouch.com/2017/07/13/Apache-Kafka-与Storm集成/Apache Kafka - 与Storm集成关于Storm Storm最初是由Nathan Marz和BackType创建的。在短时间内,Apache Storm成为分布式实时处理系统的...
阅读(60) 评论(0)
90条 共6页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:36061次
    • 积分:1073
    • 等级:
    • 排名:千里之外
    • 原创:50篇
    • 转载:20篇
    • 译文:20篇
    • 评论:3条
    最新评论