hadoop
文章平均质量分 86
南京大学软工研究生
这个作者很懒,什么都没留下…
展开
-
hadoop整合hive
整合hive前提是,已完成hadoop集群的搭建,详细过程传送到 Hadoop完全分布式搭建一、修改hadoop的core-site.xml就是你这个用户不允许伪装为 anonymous(hive的默认用户,默认配置可以查看)。 修改hadoop的core-site.xml文件增加<configuration><property> <name>hadoop.proxyuser.XXX.hosts</name> <val原创 2021-08-15 21:22:07 · 816 阅读 · 0 评论 -
hadoop集群搭建详细过程(完全分布式)
一、所需资源下载路径linux选用centos8https://mirrors.aliyun.com/centos/8/isos/x86_64/CentOS-8.2.2004-x86_64-dvd1.isojdk1.8(hadoop是java写的,运行需要jre)https://repo.huaweicloud.com/java/jdk/8u201-b09/jdk-8u201-linux-x64.tar.gzhadoop3链接:https://pan.baidu.com/s/11sP原创 2021-08-15 10:48:15 · 736 阅读 · 0 评论 -
Hadoop案例二(用户流量统计)
用户流量统计一、问题描述现有一hdfs文件/input/phoneCount/phone_date.txt,文件中包含多个用户的网站访问情况。为了计算用户的流量费用,现需要统计出文件中每个用户的总上行流量、下行流量、总流量。结果保存到/output/phoneCount目录下。phone_date.txt: 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2原创 2020-09-08 08:41:22 · 727 阅读 · 2 评论 -
hadoop案例一(统计文本中单词出现的次数)
一、案例描述现hdfs中有一文件/input/wordcount/xiaoming.txt),文件中每一单词使用制表符(\t)或者回车符分割,请统计文件中每一个单词的词频。将结果写入/output/wordcount文件夹下。Tips:结果不用按词频排序。二、代码Mapper代码package com.example.demo.map;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritab原创 2020-09-07 17:19:14 · 1069 阅读 · 0 评论 -
hadoop windows client报错java.lang.UnsatisfiedLinkError: ‘boolean org.apache.hadoop.io.nativeio.Native
hadoop windows client报错一、问题描述mapreduce idea报如下错误:java.lang.UnsatisfiedLinkError: 'boolean org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(java.lang.String, int)' at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method) at org.a原创 2020-09-07 13:56:11 · 1070 阅读 · 3 评论 -
阿里云hdfs 报错could only be written to 0 of the 1 minReplication nodes
HDFS 的java client报错一、异常描述hdfs部署在阿里云EC在远程命令行执行,hadoop fs -put xx /xx可以成功上传文件,本地client报错org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /0529/dashen/test01.txt could only be written to 0 of the 1 minReplication nodes. There are 1 data原创 2020-09-07 10:15:49 · 1303 阅读 · 0 评论 -
阿里云EC namenode启动报错 java.net.BindException: Cannot assign requested address
阿里云EC 报错java.net.BindException: Cannot assign requested address端口分配失败两种情况9000端口被占用lsof -i:9000 查看是否有进程在使用9000端口kill -9 pid 杀掉进程即可core-site.xml中绑定的namenode地址是公网的ip,我们是不能绑定这个ip的,应该绑定阿里云局域网的ip。ifconfig 查看本机的ip地址(不是远程登录的ip)...原创 2020-09-06 20:06:17 · 357 阅读 · 1 评论 -
hadoop常用命令
常用命令实操(1)-help:输出这个命令参数bin/hdfs dfs -help rm(2)-ls: 显示目录信息hadoop fs -ls /(3)-mkdir:在hdfs上创建目录hadoop fs -mkdir -p /hdfs路径(4)-moveFromLocal从本地剪切粘贴到hdfshadoop fs - moveFromLocal 本地路径 /hdfs路径(5)–appendToFile :追加一个文件到已经存在的文件末尾hadoop fs -appe原创 2020-09-06 09:52:48 · 119 阅读 · 0 评论 -
Hadoop环境搭建-单机版本
Hadoop环境搭建一、配置列表linux选用centos7jdk1.8(hadoop是java写的,运行需要jre)hadoop3二、目标熟悉hadoop的配置搭建伪分布式hadoop集群三、下载jdk、hadoop文件jdk下载斜体样式从华为镜像网站下载,速度比较快。https://repo.huaweicloud.com/java/jdk/8u201-b09/jdk-8u201-linux-x64.tar.gzhadoop下载从北京信息学院的国内镜像下载http:原创 2020-09-03 15:34:43 · 266 阅读 · 0 评论