大数据
_________MAN
这个作者很懒,什么都没留下…
展开
-
hadoop之使用python进行streaming编程
目的:统计文件中单词出现的词频准备:创建测试数据test.txt并写入如下内容foo bar quuxfoo libs barzoo zoo hying1、创建mapper分割数据并写入标准输出流$vi mapper.py#!/usr/bin/pythonimport sysfor line in sys.stdin: ...原创 2020-01-19 16:34:22 · 406 阅读 · 0 评论 -
virtualBox+ubuntu18.04+hadoop3.2.1集群部署测试
1、安装virtualBox,安装好ubuntu操作系统,用户名统一hadoop;hostname分别为ubuntu1(master节点)、ubuntu2(slave节点)、ubuntu3(slave节点),然后选择使用net网络,更新apt源 sudo apt update2、安装jdksudo apt-get install openjdk-8-jdk验证jdk是否安装成功...原创 2020-01-16 16:30:32 · 457 阅读 · 0 评论