![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
小崔Bro
亲爱滴访客你好,看看博客,提提建议吧,十分感谢。
展开
-
为什么中linux中各种服务都带一个d呢?
为什么中linux中各种服务都带一个d呢?d是daemon的缩写,说明它自己是个守护进程(daemon),它在后台运行,一般都是用来做服务端程序。mysqld代表是mysql数据库服务的守护进程。转自:https://blog.csdn.net/comeoncomputer/article/details/78681193...转载 2020-04-05 10:31:23 · 1084 阅读 · 0 评论 -
hadoop web管理Hue,Ambari 和CM 的区别是什么?
hadoop web管理Hue,Ambari 和CM 的区别是什么?转自:https://www.zhihu.com/question/267940712个回答知乎用户14 人赞同了该回答这个问题我来答吧。作为一个刚在公司的cloudera manager 集成了hue的选手,并且即将在hue上集成更多功能的选手。1.hue是什么?hue是hadoop生态系...转载 2020-03-31 11:56:04 · 915 阅读 · 0 评论 -
ssh-keygen -t rsa详解
SSH-KEYGEN(1)BSD通用命令手册SSH-KEYGEN(1)名称 ssh-keygen —身份验证密钥的生成,管理和转换概要 ssh-keygen [-q] [-b bits] [-t dsa | ecdsa | ed25519 | rsa | rsa1] [-N new_passphrase] [-C comment] [-...原创 2020-03-30 11:03:40 · 51800 阅读 · 1 评论 -
linux 系统磁盘管理
linux 系统磁盘管理(主分区和逻辑分区)源地址:https://www.cnblogs.com/du-z/p/10870162.html摘要:linux系统磁盘管理主分区和逻辑分区1、linux系统分区应了解的常识硬盘分区实质上是对硬盘的一种格式化,然后才能使用硬盘保存各种信息,在创建分区时,就已经设置好了硬盘的各项物理参数,指定了硬盘主引导记录(即Mas...原创 2020-03-28 14:45:49 · 159 阅读 · 0 评论 -
Hadoop扩容
Linux下 磁盘扩容的两种方式原地址:https://www.cnblogs.com/yangxiansen/p/7860270.htmlHadoop扩容概述Hadoop存储容量或计算能力不能满足日益增长的需求时,就需要扩容。扩容有两个方案:1) 增加磁盘2) 增加节点方案一:扩大虚拟磁盘扩大容量将虚拟的Linux关闭,扩大磁盘容量...转载 2020-03-28 13:13:52 · 1184 阅读 · 0 评论 -
Linux文件类型详解
Linux文件类型详解原文地址:https://www.cnblogs.com/surpassme/p/9344738.html 在Linux中一切都是文件,但文件都得有类型。那如何查看文件是什么类型了?在Linux中可以使用以下命令ls -l path 在显示文件的属性通常会以如下形式进行显示:drwxr-xr-x第1个字母:代表文件类型 第2~4字...转载 2020-03-28 09:45:25 · 113 阅读 · 0 评论 -
hadoop2.4新api编程:Hadoop Tool,ToolRunner原理分析
原地址:https://www.aboutyun.com/thread-8302-1-1.html问题导读:1.Tool是接口还是类?2.Tool继承了那个类?3.Tool与ToolRunner的关系是什么?4.Tool与ToolRunner作用分别是什么? hadoop分为新旧api,由于hadoop目前最新版本2.4,本文是以hadoop2.4发布的api来进行分析的。 首先我们...转载 2020-03-27 20:07:33 · 251 阅读 · 0 评论 -
记一次删除软连接的惊魂之旅(rm -rf、删库跑路)
每天启动centos系统之后都要一阵cd到hadoop安装路径下,启动hadoop,感觉实在是繁琐,于是就想着搞个软链接快速转到安装目录下。有软链接之前:cd /opt/module/hadoop/sbin有软链接之后:cd lnName创建软链接的命令:ln -s destinationDir lnName因为感觉软链接的名字不够酷,想换一个软链接名字(真是不作死就不会死...原创 2020-03-27 11:13:45 · 1330 阅读 · 1 评论 -
hadoop出现警告:disabled stack guard. The VM will try to fix the stack guard now.
Java HotSpot(TM) Client VM warning: You have loaded library /opt/module/hadoop-2.7.2/lib/native/libhadoop.so.1.0.0which might have disabled stack guard. The VM will try to fix the stack guard now....原创 2020-03-26 11:57:01 · 5082 阅读 · 0 评论 -
Linux /etc/profile文件详解
Linux /etc/profile文件详解Linux /etc/profile文件详解转载地址:http://linux.chinaitlab.com/administer/820910.html转载地址:https://www.cnblogs.com/lh03061238/p/9952659.htmllinux/etc/profile文件的改变会涉及到系统的...转载 2020-03-26 11:43:27 · 1587 阅读 · 0 评论 -
window以主机名访问hadoop主机需要修改hosts文件
需要编辑hosts文件:该文件位置在:C:\Windows\System32\drivers\etc\hosts该文件内容:#此文件包含IP地址到主机名的映射。每条目应保留在单独的行中。IP地址应该放在第一列,后跟相应的主机名。#IP地址和主机名至少要用一个分隔空间。##此外,备注可以单列一行或在以“#”符号表示的机器名称之后。## 例如:102.54.94.97 ...原创 2020-03-26 11:25:06 · 1739 阅读 · 1 评论 -
hive-env.sh 配置文件详解
#在此处设置Hive和Hadoop环境变量。这些变量可以使用#控制Hive的执行。管理员应使用它来配置#Hive安装(这样用户不必设置环境变量#或设置命令行参数以获取正确的行为)。##可以通过环境获得正在调用的配置单元服务(CLI / HWI等)variable SERVICE#Hive如果有大量客户端,则客户端内存使用可能会成为问题#正在同时运行。下面的标志在#减...原创 2020-03-26 10:31:28 · 5862 阅读 · 0 评论 -
hadoop源码:mapred 与 mapreduce 包的区别
mapred和mapreduce总体上看,Hadoop MapReduce分为两部分:一部分是org.apache.hadoop.mapred.*,这里面主要包含旧的API接口以及MapReduce各个服务(JobTracker以及TaskTracker)的实现;另一部分是org.apache.hadoop.mapreduce.*,主要内容涉及新版本的API接口以及一些新特性(比如Map...转载 2020-02-27 13:27:53 · 539 阅读 · 0 评论 -
rsync批量复制脚本
#!/bin/bashpcount=$#if((pcount==0));thenecho no args;exit;fip1=$1fname=$(basename $p1)echo fname=$fnamepdir=$(cd -P $(dirname $p1); pwd)echo pdir=$pdiruser=$(whoami)echo user=$userfor...原创 2020-02-12 14:58:23 · 446 阅读 · 0 评论