hadoop
文章平均质量分 52
I_absolutely
年轻时用来奋斗的,奋斗吧!!!
展开
-
HBase详解
HBase详解一、HBase是什么1、HBase的基本架构一、HBase是什么1、HBase的基本架构2、HBase的基本架构二、HBase操作1、写流程2、Flush3、读流程4、StoreFile Compaction5、Region Split三、HBase优化1、HDFS层优化2、HBase自身优化3、预分区4、Rowkey设计2、HBase的基本架构二、HBase操作1、写流程2、Flush3、读流程4、StoreFile Compaction5、Region Split三、HBase优化1、HD原创 2021-08-30 20:31:53 · 800 阅读 · 0 评论 -
hadoop安装包的目录结构
初次接触hadoop,了解了hadoop安装包的目录结构,和大家分享下: b**重点内容**in:原创 2015-12-23 01:27:16 · 894 阅读 · 0 评论 -
Linux设置普通用户无密码sudo权限
配置普通用户无密码sudo权限:root用户进入到Linux系统的/etc目录下 cd /etc将sudoers文件赋予写的权限 chmod u+w /etc/sudoers编辑sudoers文件,加入下面一句话: name ALL=(root)NOPASSWD:ALL将sudoer文件写的权限消除 chmod u-w /etc/sudoers原创 2015-12-23 01:32:51 · 1242 阅读 · 0 评论 -
Linux关闭防火墙、SELinux
使用root权限:Linux关闭防火墙: 1. chkconfig –list|grep iptables 2. chkconfig iptables off 永久关闭防火墙 3. chkconfig iptables on 永久开启防火墙关闭SELinux: 编辑/etc/sysconfig/selinux文件 设置:SELINUX=disabled原创 2015-12-23 01:38:28 · 624 阅读 · 0 评论 -
Hadoop的伪分布式搭建
我们在搭建伪分布式Hadoop环境,需要将一系列的配置文件配置好。 一、配置文件 1. 配置文件hadoop-env.sh export JAVA_HOME=/opt/modules/jdk1.7.0_67 2. 配置core-site.xml dfs.defaultFS hdfs://hostname:8020原创 2015-12-23 01:40:40 · 401 阅读 · 0 评论 -
Hadoop卸载或增加节点
卸载节点或者增加节点: 方式一:静态的增添删除:将集群关闭,修改配置文件(etc/hadoop/slaves),重新启动集群(很黄很暴力,不够人性化)。 方式二:动态的增加和卸载节点。卸载DataNode节点: 1)要在HDFS主节点NameNode上,进行配置。 a)在etc/hadoop/hdfs-site.xml中,设置属性值: dfs.hosts.exclude原创 2015-12-24 00:36:21 · 2112 阅读 · 0 评论 -
hive工作中用到的一些优化策略
1、hive抓取策略hive.fetch.task.conversion = more/nonemore不走mr,none走mr2、explain 显示执行计划3、设置本地运行模式set hive.exec.mode.local.auto = truehive.exec.mode.local.inputbytes.max 默认128M,表示加载文件的最大值,若大于该配置仍会以集群...原创 2019-09-14 09:21:08 · 217 阅读 · 0 评论