hadoop
文章平均质量分 63
大数据核心,hadoop!
KerryZXC
Stay hungry
展开
-
HIVE 调优
整理了一些常见的工作中使用hive可以使用的hive基础调优方法原创 2023-01-29 13:43:42 · 158 阅读 · 0 评论 -
xsync同步脚本的编写
#!/bin/bash#1 获取输入参数个数,如果没有参数,直接退出pcount=$#if((pcount==0)); thenecho no args;exit;fi#2 获取文件名称p1=$1# 文件名称fname=`basename $p1` echo fname=$fname#3 获取上级目录到绝对路径pdir=`d -P $(dirname $p1); pwd`#有时候报错d: 未找到命令 ,改成: pdir=`cd -P $(dirname $p1);...转载 2021-06-18 08:56:54 · 441 阅读 · 0 评论 -
CentOS 7 Hive环境的搭建
第一步 搭建mysql,配置Mysql文件这里就不做详细介绍了大家可以参考http://blog.csdn.net/xyang81/article/details/51759200第二步 下载Hive并配置文件1.下载并解压 Hive下载地址:http://mirror.bit.edu.cn/apache/hive/hive-2.3.6/这里我们下载Hive-2.3.6的,下载这...转载 2019-12-11 18:10:23 · 192 阅读 · 0 评论 -
执行start-dfs.sh namenode无法启动?
今天在做hadoop实验的时候,eclipse显示连接不上hadoop了文件都显示不出发现JPS一下namenode没有启动其实问题就出在tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失于是我们得重新配置一个tmp文件目录首先在home目录下建立一个hadoop_tmp目录 mkdir hadoop_tmp然后修改hadoop/etc...转载 2019-11-06 22:07:27 · 2076 阅读 · 0 评论 -
eclipse配置Windows系统下hadoop开发环境
eclipse配置Windows系统下hadoop开发环境配置准备文件在eclipse中添加hadoop的插件 hadoop-eclipse-plugin-2.7.7.jar将盖插件放到eclipse的plugins目录下有的时候打开eclipse仍然识别不到,这个包可能也要放到dropins目录下配置windows本地的hadoop环境1)将hadoop-2.7.7...原创 2019-11-06 15:11:24 · 382 阅读 · 0 评论 -
HDFS Java API上传文件
在hdfs 目录下上传文件(上传一个hadoop-2.7.7.tar.gz安装包)要求:(1)以Java API方式写代码完成文件夹创建;(2)以Java API文件流的方式完成hadoop-2.7.7.tar.gz文件的上传;package hadoop;//多个文件//一个文件多个文件块,一个块放在多个host上//三级循环import java.io.File;impor...原创 2019-11-01 11:29:11 · 1479 阅读 · 1 评论