Big Data
文章平均质量分 66
Big data related content.
柃歌
夏天的海边有冰淇淋口味的海风
展开
-
Hadoop使用MapReduce求ncdc气象数据中的最低温度
一、下载、解压、合并与上传数据在进行数据处理前首先需要获得所需要的数据,首先下载数据cd /home/hadoopmkdir temp #创建文件夹用于存放数据cd tempsudo wget ftp://ftp.ncdc.noaa.gov/pub/data/gsod/2016/gsod_2016.tarsudo wget ftp://ftp.ncdc.noaa.gov/pub/data/gsod/2017/gsod_2017.tar解压2016与2017年的数据包tar -xvf gso原创 2021-11-12 18:03:25 · 3829 阅读 · 3 评论 -
Ubuntu20.04 LTS 安装Eclipse2021-03
①下载Eclipse(2021-03)cd /optsudo wget https://mirrors.neusoft.edu.cn/eclipse/oomph/epp/2021-03/R/eclipse-inst-jre-linux64.tar.gz下载完成后进行解压缩sudo tar -zxvf eclipse-inst-jre-linux64.tar.gz -C /opt/②安装Eclipse/opt/eclipse-installer/eclipse-inst之后出现以下界面,原创 2021-10-23 17:03:58 · 2979 阅读 · 4 评论 -
熟悉常用的HDFS操作(大数据技术原理与应用-第三章实验)
一、HDFS shell命令首先启动Hadoop,命令如下:cd /usr/local/hadoop/sbinstart-dfs.sh在终端输入如下命令,查看hdfs dfs总共支持哪些操作:cd /usr/local/hadoop/binhdfs dfs上述命令执行后,会显示如下的结果:如果显示WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using buil原创 2021-10-19 13:24:29 · 18112 阅读 · 1 评论 -
Ubuntu 20.04.3下Hadoop2.10.1伪分布式的安装与配置
一、配置账户创建hadoop用户sudo useradd -m hadoop -s /bin/bash原创 2021-10-06 10:26:42 · 1732 阅读 · 4 评论