![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 66
侠客刀
简单,清晰,高效
展开
-
centos7开机自动启动设置
centos7开机自动启动设置一、脚本编辑vim hadoop_startup.sh#!/bin/sh#chkconfig: 2345 90 10#description:auto_runsleep 300hdfs --daemon start secondarynamenodehdfs --daemon start datanodeyarn-daemon.sh start nodemanager二、启动设置cp hadoop_startup.sh /etc/rc.d/init.原创 2021-03-10 11:07:55 · 344 阅读 · 0 评论 -
hive中操作hdfs命令
版本:Hadoop 2.7.4– 查看dfs帮助信息[root@hadp-master sbin]# dfsUsage: dfs [generic options][-appendToFile … ][-cat [-ignoreCrc] …][-checksum …][-chgrp [-R] GROUP PATH…][-chmod [-R] <MODE[,MODE]… | OCTALMODE> PATH…][-chown [-R] [OWNER][:[GROUP]] PA原创 2020-10-10 13:50:33 · 4080 阅读 · 0 评论 -
hadoop hdfs命令
版本:Hadoop 2.7.4– 查看hadoop fs帮助信息[root@hadp-master sbin]# hadoop fsUsage: hadoop fs [generic options][-appendToFile … ][-cat [-ignoreCrc] …][-checksum …][-chgrp [-R] GROUP PATH…][-chmod [-R] <MODE[,MODE]… | OCTALMODE> PATH…][-chown [-R] [O原创 2020-10-10 13:48:39 · 365 阅读 · 0 评论 -
hive存储格式大白话解析
一、两种存储格式1.行存储:以行为单位进行存储的格式。逻辑上可以假设为一座高楼大厦每一层为一行。那么这栋楼会特别高,但是比较窄。2.列存储:以行为单位进行存储的格式,逻辑上可以假设为一座高楼大厦每一层为一列,那么这栋楼会比较低,但是比较宽。二、优缺点1.行存储:**TEXTFILE SEQUENCEFILE**行存储的写入是一次性完成,消耗的时间比列存储少,并且能够保证数据的完整性;缺点是数据读取过程中会产生冗余数据,如果只有少量数据,此影响可以忽略;数量大可能会影响到数据的处理效率。比如:我原创 2020-09-30 16:28:11 · 140 阅读 · 0 评论 -
spark整合hive配置
spark整合hive配置spark整合hive配置1.hive环境配置完成,略~~2.JAR包3.hive-site.xml4.测试spark整合hive配置1.hive环境配置完成,略~~2.JAR包cp {HIVE_HOME}/lib/mysql-connector-java-5.1.44-bin.jar {SPARK_HOME}/jars/cp {HIVE_HOME}/conf/hive-site.xml {SPARK_HOME}/conf3.hive-site.xml编辑{SPAR原创 2020-09-27 15:27:01 · 368 阅读 · 0 评论 -
hadoop(阿里云)外网无法访问8088端口-------看啥都不如看官方文档
报错内容:2019-03-06 22:19:32,365 INFO org.apache.hadoop.service.AbstractService: Service RMActiveServices failed in state STARTED; cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net....原创 2019-03-06 22:43:01 · 1587 阅读 · 4 评论 -
阿里云服务器centos7上部署Hadoop2.6
阿里云服务器centos7上部署Hadoop2.6------------------------core-site.xml<configuration> <!-- 指定HDFS老大(namenode)的通信地址 --> <property> <name>fs.defaultFS</name> ...原创 2018-11-09 16:07:43 · 222 阅读 · 0 评论 -
shell脚本监控namenode状态
#!/bin/bash#!/usr/bin/expectkinit -kt /home/tdh/hhhhh/hdfs.keytab hdfs/crmnn1set timeout 20PASSWORD="123456"LOG_PATH_IN="/tmp/logdyh/1.log"LOG_PATH_OUT="/tmp/logdyh/1.log"IP_NAME="192.168.182.1...原创 2018-08-28 18:37:13 · 875 阅读 · 0 评论 -
eclipse+hadoop2.7.5的map-reduce的API的配置
1.环境配置: a.将map reduce所需架包全部加载到eclipse下, b.将 键:HADOOP_USER_NAME 值:hadoop 配置到系统环境中,需要重新启动。 c.将架包hadoop-eclipse-plugin-2.7.1.jar放入eclipse安装目录的plugin下。 下载winutils.exe将下载下的hadoop.dll和winutils.exe放原创 2017-12-03 13:03:56 · 654 阅读 · 0 评论 -
idea2017.3+hadoop2.7.5+maven+win10搭建以及运行查看目录程序
1.hadoop环境的搭建————此处省略(如你不会搭建请参考:hadoop的搭建) 2.windows上的hadoop环境的搭建将你搭建好的hadoop环境所对应的版本发到win10 hadoop的环境配置新建系统变量:HADOOP_HOMEC:\Users\douyonghou\Desktop\hadoop-2.7.5(我的是在桌面放的)将bin和sbin加到pat原创 2018-02-01 18:36:39 · 1427 阅读 · 4 评论 -
Hadoop的API操作
Hadoop的API操作原创 2017-12-01 19:27:39 · 333 阅读 · 0 评论 -
Hadoop的API操作--上传
上传原创 2017-11-30 17:39:04 · 279 阅读 · 0 评论 -
hadoop环境配置出现的问题
1.系统找不到指定的路径。原创 2017-11-30 17:34:01 · 4376 阅读 · 0 评论