2021年06月_Vicky_Tang

原创 Sqoop操作命令

2021-06-30 16:38:54 9416

原创 Lunix下大数据相关软件安装及配置（更新至Kafka）

1.软件版本介绍软件名安装包名 Mysql mysql57-community-release-el7-9.noarch.rpm JDK jdk-8u171-linux-x64.tar.gz Hadoop hadoop-3.1.3.tar.gz Hive apache-hive-3.1.2-bin.tar.gz Zeppelin zeppelin-0.8.2-bin-all.tgz Zookeeper apache-zookeeper-3.5.7-bin.tar.gz

2021-06-28 20:18:35 9942 4

原创 HBase编程（表结构创建和删除、单条和批量插入数据）

1.创建一个Maven工程 JDK版本1.8 Hadoop版本3.1.3 Zookeeper版本3.5.7 HBase版本2.3.5 导入依赖 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>2.3.5</version> <

2021-06-24 19:07:03 10256 3

原创大数据——Hadoop3.1.3安装与配置

HADOOP 3.1.3安装与配置 1、检查/etc/hosts中 ip hostname 映射 20.0.0.1 主机名 ip addr hotname 2、本机免密 cd ~ ssh-keygen -t rsa cat id_rsa.pub>>authorized_keys ls .ssh/ id_rsa id_rsa.pub authorized_keys [known_hosts] ssh root@主机名 3、解压缩并重命名 tar -zxvf /opt/download/had

2021-06-24 15:23:53 11059

原创 Hive调优

hive优化(数据倾斜) 问题描述： 1.倾斜：小文件 join 大文件内容倾斜 2.JOBS多 join union sub_query 3.count(distinct) 4.Task过多解决方案：整体考虑 1.建模分层=>轻量聚合分区=>避免交换压缩=>减少体量 2.配置优化合理减少job,并行无依赖job,增加jvm重用合理控制mapper和reducer的数量核数内存单节点并行jvm数数据的规模

2021-06-22 18:50:28 10860

原创 Hive Zeppelin 0.8.2安装及配置

Hive Zeppelin 0.8.2安装及配置文章目录Hive Zeppelin 0.8.2安装及配置一、解压二、修改目录名三、配置1.将临时文件重命名后编辑配置文件2.修改hive关联的hdfs文件夹权限3.配置环境变量并激活4.启动zeppelin5.web页面设置6.创建NoteBook7.测试一、解压 tar -zxvf zeppelin-0.8.2-bin-all.tgz -C /opt/software/ 二、修改目录名 mv /opt/software/zeppelin-0.8.

2021-06-21 18:12:25 9914

原创 Hive 常用函数

--常用函数 --算术运算符：+ - * / % --关系运算符： == <> > >= < <= --逻辑运算符：and or not --数学函数 --1.pmod(±n,m) ----------------------------------------------------------------- select pmod(-3,5); (-3+n*5)%5 ...

2021-06-17 19:16:58 12003

原创 Shell一键关闭Hadoop、Hive脚本

Shell一键关闭Hadoop、Hive脚本 #!/bin/bash source /etc/profile #一键关闭脚本配置文件 CNF_FILE="stop.cnf" #读取配置文件中配置的服务项 CNF_LINES=(`cat $CNF_FILE`) COUNT=0 for item in ${CNF_LINES[@]} do ((COUNT++)) item=(${item//->/ }) echo "$COUNT、${item[0]}" done #选择需要关闭的服务 rea

2021-06-15 19:04:08 10199 2

原创 Hive常见set的配置设置

Hive常见set的配置设置设置reduce数量（默认值-1） set mapred.reduce.tasks=100; set mapreduce.job.reduces=3; 修改表为内部表 set tblproperties('EXTERNAL'='FALSE'); 开启分桶表（默认false） set hive.enforce.bucketing=true; 开启Hive中间传输数据压缩功能 set hive.exec.cmpress.intermediate=true; 开启mapred

2021-06-15 18:47:11 11773

原创 Shell 一键启动脚本

Shell 一键启动脚本 #!/bin/bash #start.cnf配置文件名称 CNF_FILE='start.cnf' #验证配置文件是否存在 if [ ! -e $CNF_FILE -o -d $CNF_FILE ] then echo $CNF_FILE" unavailable or directrory,script will exit" exit 0 fi #获取配置文件内容 CNF_LINES=(`cat start.cnf`) count=0 #遍历所需启动的服务 for item

2021-06-10 14:25:50 9920

原创 Linux网络配置

Linux网络配置二、主机名配置二、防火墙配置三、network配置1.配置network前先禁用网络管理服务2. 配置network3.在Windows下查看是否能够ping通配置的虚拟机4.查看虚拟机IP地址方法二、主机名配置 #查看主机名 hostname #修改主机名HOSTNAME hostnamectl set-hostname HOSTNAME 示例：默认主机名为localhost.localdomain, 二、防火墙配置 #查看防火墙状态 systemctl status firew

2021-06-05 16:45:49 9811

原创 Linux下hadoop相关配置

文章目录Linux下hadoop相关配置Linux下做免密登录hadoop 环境变量配置core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml启动服务 Linux下hadoop相关配置 Linux下做免密登录 ssh-keygen -t rsa cd ~/.ssh cat id_rsa.pub>>authorized_keys hadoop 环境变量配置 vim /etc/profile.d/myenv.sh #hadoop exp

2021-06-03 14:13:14 10159

Vicky_Tang