hadoop
文章平均质量分 88
SunWuKong_Hadoop
人和人之间的能力是在8小时之外拉开的。
Notoriously torture the data until it confessed
展开
-
Hadoop fs 和Hadoop dfs 的区别
(1)fs是文件系统, dfs是分布式文件系统(2)fs > dfs(3)分布式环境情况下,fs与dfs无区别 (4)本地环境中,fs就是本地文件,dfs就不能用了 andFS涉及到一个通用的文件系统,可以指向任何的文件系统如local,HDFS等。但是DFS仅是针对HDFS的。那么什么时候用FS呢?可以在本地与hadoo...原创 2016-12-15 10:35:51 · 7627 阅读 · 0 评论 -
跟我一起学【Hadoop开发】之—— hadoop的GenericOptionsParser类
GenericOptionsParser 命令行解析器是hadoop框架中解析命令行参数的基本类。它能够辨别一些标准的命令行参数,能够使应用程序轻易地指定namenode,jobtracker,以及其他额外的配置资源有篇日志写的很好,自己就不赘述了:传送门例子:最简单的在WordCount中用到了:Configuration conf = new Configuration(...转载 2019-07-12 17:58:20 · 1050 阅读 · 0 评论 -
跟我一起学【Sqoop】之——sqoop增量导入并按时间分区
# 变量设置,之后应该是传入参数mdb='kaipao'hdb='zhengyuan'table='water_friend_rel'check_col='create_time'ds='2019-04-22'# 1.判断hive中是否有分区表hive -e "show columns from ${hdb}.${table}_di" |grep -v 'WARN:' &g...转载 2019-06-25 18:07:43 · 1304 阅读 · 0 评论 -
Hadoop Archives Guide(hdfs文件归档介绍和例子)
Hadoop Archives Guide(hdfs文件归档介绍和例子)一、概括介绍:1)、简介英文:Hadoop archives are special format archives. A Hadoop archive maps to a file system directory. A Hadoop archive always has a *.har extension. A...转载 2019-03-14 14:53:03 · 255 阅读 · 0 评论 -
Linux-centos下安装hue可视化以及与hdfs、hive、hbase和mysql的集成
1. Hue概述及版本下载1)概述 Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job等等。2)...转载 2018-11-22 18:22:22 · 187 阅读 · 0 评论 -
kerberos无密码登录
用到的命令如下:1、ktutil2、add_entry -password -p hadoop/admin@psy.com -k 3 -e aes256-cts-hmac-sha1-96解释:-k 指编号 -e指加密方式 -password 指使用密码的方式例子:add_entry -password -p host/admin@psy.com -k 1 -e aes256-cts-...转载 2018-11-07 16:01:36 · 3412 阅读 · 0 评论 -
在Yarn上运行spark-shell和spark-sql命令行
spark-shell On Yarn如果你已经有一个正常运行的Hadoop Yarn环境,那么只需要下载相应版本的Spark,解压之后做为Spark客户端即可。需要配置Yarn的配置文件目录,export HADOOP_CONF_DIR=/etc/hadoop/conf 这个可以配置在spark-env.sh中。运行命令:cd $SPARK_HOME/bin./spark...转载 2018-11-09 11:19:14 · 1073 阅读 · 0 评论 -
GemFire 入门篇2:GemFire 8.2 在CentOS & Mac OS X的安装步骤
GemFire 入门篇2:GemFire 8.2 在CentOS & Mac OS X的安装步骤GemFire目前已经开源,开源项目的主页:http://geode.incubator.apache.org/,商业版本的主页:https://pivotal.io/big-data/pivotal-gemfire,关于开源版本如何编译,以及与商业版本的区别(功能上有区别),我们以后再花时...转载 2017-01-06 12:04:46 · 658 阅读 · 0 评论 -
Ambari安装指南
一、准备工作l 基本工具1) 安装epel,epel是一个提供高质量软件包的项目。先检查主机上是否安装:rpm -q epel-release2) 如果没有安装,使用rpm命令安装:rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm (也可手动下载安装包...转载 2016-12-19 16:18:44 · 338 阅读 · 0 评论 -
HDFS详解
1. HDFS详解1.1. 分布式文件系统与HDFS1.1.1. 产生背景数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统,这样分布式文件系统就应运而生。1.1.2. 定义分布式文件系统(Distributed File System...转载 2018-06-15 11:14:39 · 931 阅读 · 0 评论 -
工作当中使用的命令----笔记
hadoop fs -du -s -h [url] 查看目录下文件的总大小hadoop fs -duhadoop fs -dus 可指定某一个文件,显示其大小hadoop fs -原创 2017-02-17 10:26:29 · 630 阅读 · 0 评论 -
Hadoop 2.x常用端口及查看方法
一、常用端口组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口,用于数据传输HDFSDataNode50075dfs.datanode.http.addresshttp服务的端转载 2017-03-08 18:00:27 · 6497 阅读 · 0 评论 -
hadoop集群默认配置和常用配置
获取默认配置配置Hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效。浏览更多的配置,有两个方法:1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到core-defau转载 2017-03-08 17:59:20 · 288 阅读 · 0 评论 -
如何恢复Hadoop的误删除文件
利用 hadoop fs -rmr (目录名)删除目录时易出现误删除的操作,如何解决:建立回收站!具体操作为:找到配置文件core-site.xml,在其中添加如下信息:<property> <name>fs.trash.interval</name> <value>10080</value> <...转载 2016-12-15 14:24:46 · 6606 阅读 · 0 评论 -
HDFS的常用操作
1、创建目录命令HDFS有一个默认的工作目录/user/$USER,其中$USER是用户的登录用户名。不过目录不会自动建立,需要mkdir建立它命令格式:hadoop fs -mkdir如:在user目录下创建chen目录hadoop fs -mkdir /user/chen注意:Hadoop的mkdir命令会自动创建父目录,类似于带-p的UNIX命令 2、上传文件...原创 2016-12-15 11:50:18 · 654 阅读 · 0 评论 -
跟我一起学【HDFS】之——hdfs统计文件夹存储
hadoop fs 更多用法,请参考官网:传送门!!!!!!!#列出路径下的内容[root@guoxin01 bin]# hadoop fs -ls /Found 17 itemsdrwxrwx---+ - hive hive 0 2019-02-21 19:27 /appsdrwxrwxrwx+ - mapred hadoop ...原创 2019-07-25 10:30:44 · 563 阅读 · 0 评论