Hadoop
文章平均质量分 74
梦知2001
这个作者很懒,什么都没留下…
展开
-
使用Java跨平台实现Mapreduce词频统计
本文将演示通过JavaAPI在Hadoop集群上使用Mapreduce进行词频统计的简易过程:创建Maven项目并本地编写Java代码将要处理的数据上传至Hadoop系统将Maven项目打包成jar包并上传至服务器运行系统:Win10,CentOS 7.6软件:Maven 3.8.4,Hadoop 2.7.3,Xshell,Xftp1.创建Maven项目并本地编写Java代码初始化Maven项目首先创建一个新的Maven项目,此时文件结构应该类似于:此时将pom.xml文件的内容全部原创 2022-04-04 11:25:38 · 2537 阅读 · 1 评论 -
在Linux上快速安装Hadoop(命令行实现)
本文将跳过前期VMstation、Xshell、虚拟机的可视化安装,直接进入命令行的操作部分本机系统均为CentOS1.关闭防火墙运行以下脚本,:#!/bin/bash#关闭selinuxsetenforce 0#清除filter表和nat表里的防火墙规则iptables -Fiptables -t nat -F#关闭firewalld服务systemctl stop firewalld.service#查看脚本运行后本机的状态echo "当前selinux状态为:"sesta原创 2022-03-07 22:05:58 · 2412 阅读 · 0 评论