Hadoop
可达达
这个作者很懒,什么都没留下…
展开
-
Call From SparkMaster/192.168.237.128 to 0.0.0.0:10020 failed on connection exception
在Hadoop集群中运行作业报如下错误:17/05/16 21:03:01 INFO client.RMProxy: Connecting to ResourceManager at SparkMaster/192.168.237.128:803217/05/16 21:03:02 INFO mapred.ClientServiceDelegate: Application state原创 2017-05-17 09:15:34 · 5891 阅读 · 0 评论 -
基于Hadoop2.6.0的Mahout0.12.1的配置与使用
一. Mahout的安装1.下载在http://mirror.bit.edu.cn/apache/mahout/0.12.1/下载地址中下载apache-mahout-distribution-0.12.1.tar.gz2.解压tar -C /opt/Mahout -zxvf mahout-distribution-0.12.1.tar.gz (我将压缩包解压到了/op原创 2017-05-10 14:57:29 · 2444 阅读 · 0 评论 -
基于Hadoop的数据压缩与解压缩实例
数据压缩测试的输入数据(/input/kmeans/sample.txt)为:1,12,23,3-3,-3-4,-4-5,-5输出结果(/output/compress.gz)为一系列压缩字符串import java.io.IOException;import java.io.InputStream; import java.io.Ou原创 2017-06-12 09:53:44 · 377 阅读 · 0 评论 -
基于Hadoop的数据序列化与反序列化实例
import java.io.ByteArrayInputStream;import java.io.ByteArrayOutputStream;import java.io.DataInputStream;import java.io.DataOutputStream;import java.io.IOException;import org.apache.hadoop.io.Int原创 2017-06-12 17:41:39 · 310 阅读 · 0 评论 -
Hadoop 2.6.4单节点环境搭建
一、软件准备1.jdk-8u144-linux-x64.tar.gz2.hadoop-2.6.4.tar.gz二、ssh设置 1. apt-get install ssh2. /etc/init.d/ssh start3. ssh-keygen -t rsa -P ""原创 2017-08-08 11:48:07 · 376 阅读 · 0 评论