- 博客(6)
- 收藏
- 关注
RSS订阅原创 搭建Hadoop集群常用配置参数详解
搭建Hadoop集群常用配置参数详解1、core-site.xml<configuration> <!-- 指定NameNode的位置 --> <property> <name>fs.defaultFS</name> <value>hdfs://IP:8020</value> </property> <!-- 指定NameNode、DataN
2020-09-02 15:01:32
520
原创 2020-08-24
正则表达式基本语法基本符号：^ 表示匹配字符串的开始位置(例外用在中括号中[ ]时,可以理解为取反,表示不匹配括号中字符串)$ 表示匹配字符串的结束位置* 表示匹配 零次到多次+ 表示匹配 一次到多次 (至少有一次)? 表示匹配零次或一次. 表示匹配单个字符 | 表示为或者,两项中取一项() 小括号表示匹配括号中全部字符[] 中括号表示匹配括号中一个字符 范围描述 如[0-9 a-z A-Z]{} 大括号用于限定匹配次数如 {n}表示匹配n个字符 {n
2020-08-24 21:35:22
104
原创 Zookeeper分布式安装部署详解
Zookeeper分布式安装部署详解说明：本篇文章以三台Linux虚拟机（hadoop102、hadoop103、hadoop104）为例，安装zookeeper版本为3.5.71、集群规划在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。2、解压安装（1）下载地址https://zookeeper.apache.org/（2）解压Zookeeper安装包到/opt/module/目录下tar -zxvf zookeeper-3.5.7.tar.g
2020-08-20 12:22:37
395
原创 Hive表数据的导入和导出详解
Hive表数据的导入和导出详解一、数据导入1.1 向表中装载数据（Load）（1）创建一张表hive (default)> create table student(id int, name string) row format delimited fields terminated by '\t';（1）加载本地文件到hivehive (default)> load data local inpath '本地文件路径' into tablestudent;（2）加载HDF
2020-08-18 21:11:31
993
原创 Hadoop企业级优化（常用的调优参数）
Hadoop企业级优化（常用的调优参数）1、资源相关参数（1）以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml）配置参数参数说明mapreduce.map.memory.mb一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。mapreduce.reduce.memory.mb一个ReduceTask可使用的资源上限（单位:MB），默认为1024。如果Redu
2020-08-14 20:46:53
203
原创 VMware从零搭建hadoop集群
VMware从零创建hadoop集群1、模板虚拟机环境的准备1）准备一台模板虚拟机hadoop100，虚拟机配置要求如下:注：本文Linux系统环境全部以CentOS-7.5-x86-1804 为例说明模板虚拟机：内存4G，硬盘50G，安装必要环境，为安装hadoop做准备[root@hadoop100 ~]# yum install -y epel-release[root@hadoop100 ~]# yum install -y psmisc nc net-tools rsync vim l
2020-08-13 12:08:26
834
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人