大数据_环境
文章平均质量分 74
大数据_环境
zk仔的博客
静候再静候,就算失收始终要守
展开
-
hue_安装
hue_安装依赖初始化配置创建数据库配置oracle_client启动服务浏览UI修改配置重启链接 依赖 yum install -y asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libxml2-devel libxslt-devel openldap-devel python-devel openssl-devel sqlite-devel mysql-devel gmp-devel原创 2020-11-16 14:26:53 · 222 阅读 · 0 评论 -
sqoop安装
sqoop 安装 解压sqoop-1.4.7.bin__hadoop-2.6.0.tar 解压依赖zookeeper-3.4.6.tar 复制commons-lang-2.6.jar到lib/ 复制mysql-connector-java-8.0.20.jar到lib 复制ojdbc6.jar到lib 配置 cp $SQOOP_HOME/conf/sqoop-env-template.sh $SQOOP_HOME/conf/sqoop-env.sh vi $SQOOP_HOME/conf/sqoop-en原创 2020-06-07 09:00:27 · 169 阅读 · 0 评论 -
hive(一)_基础使用
hive(一)_基础使用1 库1.1 建库1.2 查询库1.3 使用库1.4 删除库2 表3 查询 1 库 1.1 建库 -- 语法 -- 默认路径:/user/hive/warehouse/db_name.db/table_name/partition_name CREATE DATABASE [IF NOT EXISTS] dbname [COMMENT database_comment]...原创 2020-07-13 08:31:34 · 262 阅读 · 0 评论 -
spark_快速搭建_1host
spark_快速搭建_1host解压修改配置文件启动查看命令行模式 解压 echo 'SPARK_HOME=$HOME/program/spark' >> ~/.bash_profile echo 'PATH=$PATH:SPARK_HOME/bin' >> ~/.bash_profile tar -zxvf spark.tar mv spark $SPARK_HOME ...原创 2020-04-29 16:12:51 · 242 阅读 · 0 评论 -
hive_快速搭建_1host
hive_快速环境搭建_1host解压修改配置文件启动 解压 echo 'export HIVE_HOME=$HOME/program/hive' echo 'PATH=$PAHT:$HIVE_HOME/bin' tar -xvf hive.tar mv hive $HIVE_HOME 修改配置文件 cd $HIVE_HOME/conf cp hive-default.xml.template...原创 2020-04-29 14:04:41 · 234 阅读 · 0 评论 -
hadoop_ 快速搭建_1host
hadoop_精简环境,1host伪分布式1 root用户配置1.1 修改静态ip1.2 修改主机名称1.3 修改时区1.4 关闭防火墙1.5 配置hosts1.6 安装java1.7 创建用户,并开启免密登录2 hadoop用户配置2.1 安装hadoop2.2 安装zookeeper2.3 编辑用户环境变量2.4 配置SSH2.5 配置hadoop2.6 启动 1 root用户配置 1.1 修...原创 2020-04-28 22:17:14 · 453 阅读 · 0 评论 -
spark安装与使用
spark安装 tar -zxvf ...gz cp spark/conf/spark-env.sh.template spark/conf/spark-env.sh echo 'export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)' >> spark/conf/spark-env.sh spark...原创 2020-07-13 08:41:58 · 534 阅读 · 0 评论 -
hadoop(五)_7host环境搭建脚本
hadoop_7主机环境搭建h00_rsys_reset.pyh01_rsys_env.shh02_redt_hosts.pyh03_uedt_hadoop.pyh04_uedt_zookeeper.shh05_uscp_edt.py h00_rsys_reset.py #!/usr/bin/python # -*- coding: utf-8 -*- # reset.py import ...原创 2019-06-27 10:31:02 · 111 阅读 · 0 评论 -
hadoop(四)_1host伪分布式环境脚本
hadoop精简配置-伪分布式配置文件格式化 配置文件 # -*- coding: utf-8 -*- import os import datetime import shutil from xml.dom.minidom import Document options={ 'core-site.xml':{ # HDFS(分布式文件储存系统)的NameServic...原创 2019-06-27 10:30:17 · 84 阅读 · 0 评论 -
hadoop(三)_工作逻辑概析
hadoop(三)_进程简洁理解NameNodeSecondaryNameNodeMRAppMasterDFSZKFailoverController(zkfc)ResourceManagerDataNodeNodeManagerJournalNodeQuorumPeerMaincombinershuffleyarn NameNode SecondaryNameNode MRAppMaster D...原创 2019-05-28 08:59:25 · 172 阅读 · 0 评论 -
hadoop(一):前期准备
linux_常用配置安装命令自动补全修改静态IP地址修改主机名防火墙开关 安装命令自动补全 [root@123]# yum -y install bash-completion 修改静态IP地址 配置文件/etc/sysconfig/network-scripts/ifcfg-ens33 # HWADDR MAC地址 # USERCTL [yes|no](非root用户是否可以控制该设备) ...原创 2019-05-14 12:36:26 · 302 阅读 · 0 评论 -
hadoop(二):配置与简单使用
linux_hadoop配置(二)`core-site.xml``hdfs-site.xml``mapred-site.xml``yarn-site.xml` core-site.xml path:$hadoop_HOME/etc/hadoop <configuration> <!-- HDFS(分布式文件储存系统)的NameService,是NameNode的URL...原创 2019-05-15 10:02:58 · 337 阅读 · 0 评论