![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 58
大数据hadoop
奋斗的IT小白菜
这个作者很懒,什么都没留下…
展开
-
window解决hadoop路径空格JAVA_HOME is incorrectly问题
将Hadoop按照网上教程配置好之后在命令行cmd执行hadoop version时报错JAVA_HOME is incorrectlyWindows平台中经常遇包含空格的路径。在配置 hadoop-env.cmd 就碰到了该问题。这个配置文件不能正确处理路径中包含空格的情况。是因为java默认安装C:\Program Files\Java\ 这里了,但是Program Files中间有空格,所以才会出错解决方法:在环境变量设置中JAVA_HOME= 从C:\Program Files\Java\原创 2021-07-30 10:28:27 · 855 阅读 · 0 评论 -
HDFS_FileSystem(scala)类介绍
HDFS_FileSystem(scala)类介绍导入配置文件listStatuslistFilesFileSystem api: http://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.html LocatedFileStatus 是 FileStatus 的子类import org.apache.hadoop.fs.FileSystem下面就对常用方法进行举例:导入配置文件首先,创建工程到入had原创 2021-02-03 14:57:27 · 680 阅读 · 1 评论 -
本地IDEA连接服务器hive连接不上出现org.apache.hadoop.hdfs.BlockReaderFactory - I/O error constructing remote block
在idea中运行SparkSQL,要连接服务器部署的Hive出现下面问题 WARN Executor task launch worker for task 0 org.apache.hadoop.hdfs.BlockReaderFactory - I/O error constructing remote block reader.java.net.ConnectException: Connection timed out: no further information原因:客户端创建文件先访问原创 2020-11-17 14:38:06 · 3758 阅读 · 0 评论 -
Hadoop-2.7.6 集群部署搭建
Hadoop-2.7.6 集群部署搭建一、 前期准备1.1 安装JDK并配置环境变量1.2 虚拟机配置一、 前期准备1.1 安装JDK并配置环境变量vim /etc/profile#JAVA环境变量export JAVA_HOME=/home/iot/jzz/jdk1.8.0_231export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_原创 2020-10-04 16:26:10 · 858 阅读 · 1 评论 -
Hadoop3.2.0之HDFS文件系统JavaAPI接口
HDFS是存取数据的分布式文件系统,HDFS文件操作常有两种方式。一种是命令行方式,即Hadoop提供了一套与Linux文件命令类似的命令行工具。另一种是JavaAPI,即利用Hadoop的Java库,采用编程的方式操作HDFS的文件。新建maven项目,添加hadoop相关jar包1.配置pom.xml文件 <dependency> <...原创 2020-01-16 22:44:19 · 1050 阅读 · 1 评论 -
Hadoop安装启动start-dfs.sh 出现pdsh localhost Connection refused
本地安装hadoop单机模式的时候需要启动namenode。我使用的是hadoop 3.2,配置文件如下:site-core.xml<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000&...转载 2020-01-13 18:28:12 · 1617 阅读 · 0 评论