![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Hadoop
十下
这个作者很懒,什么都没留下…
展开
-
LZO创建索引
LZO创建索引创建LZO文件的索引,LZO压缩文件的可切片特性依赖于其索引,故我们需要手动为LZO压缩文件创建索引。若无索引,则LZO文件的切片只有一个。hadoop jar /path/to/your/hadoop-lzo.jar com.hadoop.compression.lzo.DistributedLzoIndexer big_file.lzo(hadoop jar hadoop-lzo-0.4.20.jar文件目录 com.hadoop.compression.lzo.Distribute原创 2021-02-22 12:59:25 · 375 阅读 · 0 评论 -
Hadoop支持LZO压缩配置
支持LZO压缩配置hadoop本身并不支持lzo压缩,故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译,编译步骤如下。hadoop-lzo编译(点我打开)将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-3.1.3/share/hadoop/common/同步hadoop-lzo-0.4.20.jar到hadoop103、hadoop104xsync hadoop-lzo-0.4.20.jar原创 2021-02-22 12:57:21 · 139 阅读 · 0 评论 -
HDFS存储多目录配置
HDFS存储多目录若HDFS存储空间紧张,需要对DataNode进行磁盘扩展。在DataNode节点增加磁盘并进行挂载。在hdfs-site.xml文件中配置多目录,注意新挂载磁盘的访问权限问题。<property> <name>dfs.datanode.data.dir</name><value>file:///${hadoop.tmp.dir}/dfs/data1,file:///hd2/dfs/data2,file:///h原创 2021-02-21 12:07:17 · 757 阅读 · 0 评论 -
Linux 配置免密登录,以及什么是免密登录?免密登录就不需要密码吗?
Linux 配置免密登录一 为什么可以免密登录?首先来说公钥和私钥(有好多东西是国外翻译过来比较拗口,不利于学习,我喜欢先例后概念,或者直接上例子)比如:有两个用户A和B,A想把一段明文通过双钥加密的技术发送给B(A目前除了明文,还没有公钥,也不会有私钥),B有一对公钥和私钥那么加密解密的过程如下:B将他的公开密钥传送给AA用B的公开密钥加密他的消息,然后传送给BB用他的私人密钥解密A的消息首先来说RSA算法RSA公钥加密算法是1977年由Ron Rivest、Adi Shami原创 2021-02-21 12:05:08 · 1225 阅读 · 0 评论 -
HDFS-HA集群配置
HDFS-HA集群配置一、集群分配集群主机分配如下:hadoop102hadoop103hadoop104NameNodeNameNodeNameNodeZKFCZKFCZKFCJournalNodeJournalNodeJournalNodeDataNodeDataNodeDataNodeZKZKZK我的三台主机分别是Hadoop102、Hadoop103、Hadoop104我配置的HA仅供学习,不用于接下来的使用,所以我们不原创 2021-02-16 14:53:06 · 212 阅读 · 0 评论 -
Linux安装hadoop-配置Hadoop环境变量
Linux安装hadoop-配置Hadoop环境变量一、安装Hadoop进入到Hadoop安装包路径下cd /opt/software/解压安装文件到/opt/module下面tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/二、配置环境变量修改配置文件 sudo vim /etc/profile.d/my_env.sh在文件末尾添加以下内容:#HADOOP_HOMEexport HADOOP_HOME=/opt/module/hadoop原创 2021-02-09 03:08:44 · 5616 阅读 · 3 评论