Hadoop相关
文章平均质量分 62
杨先森的博客
这个作者很懒,什么都没留下…
展开
-
解决kibanna字段前带有问号,无法进行筛选过滤
解决kibanna字段前带有问号,无法进行筛选过滤问题描述解决方案总结问题描述在使用kibanna进行统计数据时,我们会发现有些字段前面是带有问号的,并且无法在筛选的栏里搜索到这个字段。显示如下图:解决方案1、进入到kibanna页面,点击左边栏目的Management,接着在出现的栏目里,点击Index Patterns2、进入Index Patterns,选择好字段所在的inde...原创 2020-04-21 16:45:04 · 1013 阅读 · 0 评论 -
解决docker数据文件过大导致根磁盘满的问题
背景: 最近在线上使用的docker主机发现根目录容量快满了,一番查找,发现是docker的data文件过大了。我们知道docker数据默认是存放在/var/lib/docker下的,我们可以在启动时用-g --graph=""参数,把数据目录更改到其他容量大的地方去。但是对于在使用中的docker来说,直接修改这个目录路径,会导致镜像和容器都丢失了,所以修改参数这个方法适用于初始化do...转载 2019-01-10 18:47:57 · 4137 阅读 · 0 评论 -
关于解决错误 java.io.IOException: Cannot obtain block length for LocatedBlock{BP的方案
问题:出现这个错误 java.io.IOException: Cannot obtain block length for LocatedBlock{BP-1331原因:文件异常关闭,导致文件,如下图错误内容 hdfs fsck /data/115/apkinfo/0-11-20180410170000.log(使用命令查看文件块的状态,如下图为打开状态) 红色为hdfs上的地址 hdfs de...原创 2018-04-11 11:00:45 · 4343 阅读 · 3 评论 -
安装MySQL与安装Hive
安装mysql检查是否安装mysql:rpm -qa |grep mysql删除已经安装的mysql:rpm -e mysql-libs-5.1.71-1.el6.x86_64报错:因为mysql有相关依赖,并不能直接删除 rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64成功:使用--nodeps也就是说不检查依赖原创 2017-10-26 21:35:34 · 575 阅读 · 0 评论 -
Hive优化
在一些特定的业务场景下,使用hive默认的配置对数据进行分析,虽然默认的配置能够实现业务需求,但是分析效率可能会很低。Hive有针对性地对不同的查询进行了优化。在Hive里可以通过修改配置的方式进行优化。 以下,几种方式调优的属性。 1、列裁剪 在通过Hive读取数据的时候,并不是所有的需求都要获取表内的所有的数据。有些只需要读取所有列中的几列,而忽略其他列的的数据。例转载 2017-10-26 21:33:40 · 372 阅读 · 0 评论 -
Hadoop中正确地添加和移除节点
正确地添加和移除节点添加节点克隆克隆一台全新的Linux(如有IP冲突,可右击VMware右下角网络图标断开连接)打开/etc/hostname修改主机名打开/etc/sysconfig/network-script/ifcfg-ens33修改IP重启安装使用安装包+hadoop-install.sh脚本快速安装一个Hadoop节点注意使用source hado原创 2017-09-21 23:31:19 · 1886 阅读 · 0 评论 -
Hadoop 启动脚本分析与实战经验
start-all.sh脚本现在已经废弃,推荐使用start-dfs.sh和start-yarn.sh分别启动HDFS和YARN。在新一代的Hadoop里面HDFS称为了统一存储的平台,而YARN成为了统一计算的平台。(1)调用start-dfs.sh启动HDFS。之后JPS会出现NameNode,DataNode,SecondaryNameNode(2)调用start-yar转载 2017-09-21 23:10:40 · 794 阅读 · 0 评论 -
HDFS 常用Shell命令
HDFS Shell命令概述HDFS Shell命令允许使用命令行在HDFS存储中进行文件夹和文件操作。如文件夹的增删改查、文件的增删改查等。 开始练习hadoop时,打开Linux之后要用 start-dfs.sh 启动HDFS。HDFS不是开机启动的 常用命令命令格式hdfs dfs -操作命令 参数前面的【hdfs dfs -】部分是固定的,后面的...原创 2017-09-21 09:28:51 · 13102 阅读 · 1 评论 -
Hadoop单点伪分布模式安装
Hadoop单点伪分布模式安装概述单点single-node,单节点,即一台计算机。伪分布式模式pseudo-distributed mode所谓集群,表面上看是多台计算机联合完成任务;但本质上是由分布到很多计算机上的很多进程联合完成任务的。因为多台计算机部署比较复杂,需要的硬件配置也比较高,故障率也比较高,所以就产生了伪分布的需求,即在一台计算机上运行本应该分布到多台计算原创 2017-09-21 09:23:38 · 1238 阅读 · 0 评论 -
Hadoop入门必须知道的简单知识
Hadoop入门知识Hadoop构成Hadoop由4个主要构成部分:1) 基础核心:提供基础的通用的功能2) HDFS:分布式存储3) MapReduce:分布式计算4) YARN:资源分配(多个任务是排队执行还是同时执行) HDFS构成HDFS由3种主要的节点构成:1) NameNode 用来存储数据的存放位置等元数据(不存放数据)2) DataNo原创 2017-09-20 23:17:09 · 330 阅读 · 0 评论