hadoop
文章平均质量分 62
叔叔不会写代码
这个作者很懒,什么都没留下…
展开
-
MacBook pro安装hadoop遇到的问题
MacBook pro安装遇到的问题1·免密登录操作问题:安装Hadoop之前进行免密操作,但是ssh localhost时依旧要输密码原来的操作为ssh-keygen -t dsa -p ‘’ -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys问题解决:操作将原来的~/.ssh里面的除了known_hosts文件都删除,重新执行以下命令ssh-keygen -t rsacat ~/.ssh/id_rsa原创 2021-03-28 01:40:42 · 283 阅读 · 0 评论 -
hive安装过程中的各种深坑深坑
一、Exception in thread “main” java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: KaTeX parse error: Expected '}', got 'EOF' at end of input: …a.io.tmpdir%7D/%7Bsystem:user.name%7D原因是:<property> <na原创 2020-08-12 02:31:46 · 2319 阅读 · 0 评论 -
hive初始化失败报错:Error: Duplicate key name ‘PCS_STATS_IDX‘ (state=42000,code=1061)
意思是key name ‘PCS_STATS_IDX’ (state=42000,code=1061)重复了,问题出在不是第一次初始化,因为我们在hive-site.xml中配置了javax.jdo.option.ConnectionURLjdbc:mysql://192.168.200.137:3306/metastore?createDatabaseIfNotExist=trueJDBC connect string for a JDBC metastore这里初始化的时候就会创建数据库me原创 2020-07-06 18:19:04 · 7922 阅读 · 5 评论 -
Error: Cannot retrieve repository metadata (repomd.xml) for repository: mongdbPlease verify its path
yum安装mysql时报错,大致意思是http://downloads-distro.mongodb.org/repo/redhat/os/x86_64/repodata/repomd.xml: [Errno 14]建立ssl连接有问题,错误:不能检索存储库:mongodb的存储库元数据(repom .xml)。请验证其路径并重试然后我看了一下mongodb.repo仓库如下图,enable=1说明这个repo可用,进行yum的时候,就会找这个仓库的链接,后来才明白过来不,这个是我安装mongodb的.原创 2020-07-06 13:20:53 · 787 阅读 · 0 评论 -
idea上HDFS API练习之列出指定目录下的文件以及块的信息
代码:package com.dtinone.hadooptest1.hsfsapi;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.BlockLocation;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.f...原创 2020-04-03 21:20:15 · 462 阅读 · 1 评论 -
idea上HDFS API练习纸配置文件conf
配置练习代码:package com.dtinone.hadooptest1.hsfsapi;import java.io.IOException;import java.util.Iterator;import java.util.Map.Entry;import org.apache.hadoop.conf.Configuration;import org.apache.had...原创 2020-04-03 21:07:01 · 201 阅读 · 0 评论 -
idea上HDFS上传下载API练习
1、创建工程、配置参照文章使用idea使用远程虚拟机中的hadoop集群进行wordcount练习练习代码:package com.dtinone.hadooptest1.hsfsgetput;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apa...原创 2020-04-03 20:12:55 · 509 阅读 · 1 评论 -
使用idea使用远程虚拟机中的hadoop集群进行wordcount练习
1、搭建window上的hadoop环境2、idea上新建一个工程3、在src目录下的main目录添加resources目录直接点击resources4、在resources目录下新建一个log4j.properties文件,并将以下配置信息写入到文件中log4j.rootLogger=INFO, stdout, D# Console Appenderlog4j.appende...原创 2020-04-03 19:39:21 · 1564 阅读 · 1 评论 -
hadoop在windows10上的安装(我的是2.7.3版本)
第一步下载hadoop-2.7.3,在官网Apache hadoop下载即可解压到要安装的目录第二步在window中需要两个文件hadoop.dll以及winutils.exe,需要将这两个文件放到hadoop-2.7.3的bin目录下:可以在网上搜索对应版本的这两个文件进行下载,hadoop.dll文件还要放到C:\Windows\SysWOW64里面一份第三步配置ja...原创 2020-04-03 15:46:27 · 776 阅读 · 0 评论 -
HDFS常用操作命令练习
练习在全分布式模式下启动了HDFS集群以及YARN集群我的HDFS主节点配置在master,YARN管理主节点配置在slave1上一、启动HDFS在master主机下:cd /opt/apps/hadoop-2.7.3/sbinstart-dfs.sh如果是第一次启动需要先格式化hdfs namenode -format二、启动YARN集群在slave1主机下cd /opt...原创 2020-04-01 18:53:19 · 1521 阅读 · 0 评论 -
Hadoop(三)HDFS认识和理解
一、HDFS(Hadoop Distributed File System的英文首字母缩写)意思是Hadoop分布式文件系统,主要用来解决海量数据的存储问题概念:HDFS是一个分布式的(何为分布式?在空间的任意点上随意分布)由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。其次是一个文件系统,用于存储文件,通过统一的命名空间–目录树来定位文件。二、HDFS的设计思想1、分散均匀...原创 2020-04-01 15:21:31 · 1299 阅读 · 0 评论 -
Hadoop全分布式模式搭建详细流程
一、准备4台虚拟机四台主机名分别设置为:master slave1 slave2 slave3(自定义)1、关闭防火墙、设置静态IP2、设置host文件,配置主机名vi /etc/hostname #将localhost.localdomain改成master.localdomain#master是你要定义的主机名vi /etc/hosts#配置hosts文件127.0.0.1...原创 2020-03-31 18:02:42 · 531 阅读 · 0 评论 -
hadoop伪分布式模式搭建及HDFS常用命令练习
一、完成本地模式搭建二、配置core-site.xml<!--指定HDFS namenode的地址--><property> <name>fs.defaultFS</name> <value>hdfs://dtinone:9000</value></property><!--指定hadoop运行...原创 2020-03-30 14:06:19 · 583 阅读 · 0 评论