自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 收藏
  • 关注

原创 搭建Hadoop集群常用配置参数详解

搭建Hadoop集群常用配置参数详解1、core-site.xml<configuration> <!-- 指定NameNode的位置 --> <property> <name>fs.defaultFS</name> <value>hdfs://IP:8020</value> </property> <!-- 指定NameNode、DataN

2020-09-02 15:01:32 335

原创 2020-08-24

正则表达式基本语法基本符号:^ 表示匹配字符串的开始位置(例外用在中括号中[ ]时,可以理解为取反,表示不匹配括号中字符串)$ 表示匹配字符串的结束位置* 表示匹配 零次到多次+ 表示匹配 一次到多次 (至少有一次)? 表示匹配零次或一次. 表示匹配单个字符 | 表示为或者,两项中取一项() 小括号表示匹配括号中全部字符[] 中括号表示匹配括号中一个字符 范围描述 如[0-9 a-z A-Z]{} 大括号用于限定匹配次数如 {n}表示匹配n个字符 {n

2020-08-24 21:35:22 62

原创 Zookeeper分布式安装部署详解

Zookeeper分布式安装部署详解说明:本篇文章以三台Linux虚拟机(hadoop102、hadoop103、hadoop104)为例,安装zookeeper版本为3.5.71、集群规划在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。2、解压安装(1)下载地址https://zookeeper.apache.org/(2)解压Zookeeper安装包到/opt/module/目录下tar -zxvf zookeeper-3.5.7.tar.g

2020-08-20 12:22:37 322

原创 Hive表数据的导入和导出详解

Hive表数据的导入和导出详解一、数据导入1.1 向表中装载数据(Load)(1)创建一张表hive (default)> create table student(id int, name string) row format delimited fields terminated by '\t';(1)加载本地文件到hivehive (default)> load data local inpath '本地文件路径' into tablestudent;(2)加载HDF

2020-08-18 21:11:31 600

原创 Hadoop企业级优化(常用的调优参数)

Hadoop企业级优化(常用的调优参数)1、资源相关参数(1)以下参数是在用户自己的MR应用程序中配置就可以生效(mapred-default.xml)配置参数参数说明mapreduce.map.memory.mb一个MapTask可使用的资源上限(单位:MB),默认为1024。如果MapTask实际使用的资源量超过该值,则会被强制杀死。mapreduce.reduce.memory.mb一个ReduceTask可使用的资源上限(单位:MB),默认为1024。如果Redu

2020-08-14 20:46:53 121

原创 VMware从零搭建hadoop集群

VMware从零创建hadoop集群1、模板虚拟机环境的准备1)准备一台模板虚拟机hadoop100,虚拟机配置要求如下:注:本文Linux系统环境全部以CentOS-7.5-x86-1804 为例说明模板虚拟机:内存4G,硬盘50G,安装必要环境,为安装hadoop做准备[root@hadoop100 ~]# yum install -y epel-release[root@hadoop100 ~]# yum install -y psmisc nc net-tools rsync vim l

2020-08-13 12:08:26 615 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除