![](https://img-blog.csdnimg.cn/20190918140053667.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据_环境
文章平均质量分 74
大数据_环境
zk仔的博客
静候再静候,就算失收始终要守
展开
-
hue_安装
hue_安装依赖初始化配置创建数据库配置oracle_client启动服务浏览UI修改配置重启链接依赖yum install -y asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libxml2-devel libxslt-devel openldap-devel python-devel openssl-devel sqlite-devel mysql-devel gmp-devel原创 2020-11-16 14:26:53 · 222 阅读 · 0 评论 -
sqoop安装
sqoop 安装解压sqoop-1.4.7.bin__hadoop-2.6.0.tar解压依赖zookeeper-3.4.6.tar复制commons-lang-2.6.jar到lib/复制mysql-connector-java-8.0.20.jar到lib复制ojdbc6.jar到lib配置cp $SQOOP_HOME/conf/sqoop-env-template.sh $SQOOP_HOME/conf/sqoop-env.shvi $SQOOP_HOME/conf/sqoop-en原创 2020-06-07 09:00:27 · 169 阅读 · 0 评论 -
hive(一)_基础使用
hive(一)_基础使用1 库1.1 建库1.2 查询库1.3 使用库1.4 删除库2 表3 查询1 库1.1 建库-- 语法-- 默认路径:/user/hive/warehouse/db_name.db/table_name/partition_nameCREATE DATABASE [IF NOT EXISTS] dbname [COMMENT database_comment]...原创 2020-07-13 08:31:34 · 262 阅读 · 0 评论 -
spark_快速搭建_1host
spark_快速搭建_1host解压修改配置文件启动查看命令行模式解压echo 'SPARK_HOME=$HOME/program/spark' >> ~/.bash_profileecho 'PATH=$PATH:SPARK_HOME/bin' >> ~/.bash_profiletar -zxvf spark.tarmv spark $SPARK_HOME...原创 2020-04-29 16:12:51 · 242 阅读 · 0 评论 -
hive_快速搭建_1host
hive_快速环境搭建_1host解压修改配置文件启动解压echo 'export HIVE_HOME=$HOME/program/hive'echo 'PATH=$PAHT:$HIVE_HOME/bin'tar -xvf hive.tarmv hive $HIVE_HOME修改配置文件cd $HIVE_HOME/confcp hive-default.xml.template...原创 2020-04-29 14:04:41 · 234 阅读 · 0 评论 -
hadoop_ 快速搭建_1host
hadoop_精简环境,1host伪分布式1 root用户配置1.1 修改静态ip1.2 修改主机名称1.3 修改时区1.4 关闭防火墙1.5 配置hosts1.6 安装java1.7 创建用户,并开启免密登录2 hadoop用户配置2.1 安装hadoop2.2 安装zookeeper2.3 编辑用户环境变量2.4 配置SSH2.5 配置hadoop2.6 启动1 root用户配置1.1 修...原创 2020-04-28 22:17:14 · 452 阅读 · 0 评论 -
spark安装与使用
spark安装tar -zxvf ...gzcp spark/conf/spark-env.sh.template spark/conf/spark-env.shecho 'export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)' >> spark/conf/spark-env.shspark...原创 2020-07-13 08:41:58 · 534 阅读 · 0 评论 -
hadoop(五)_7host环境搭建脚本
hadoop_7主机环境搭建h00_rsys_reset.pyh01_rsys_env.shh02_redt_hosts.pyh03_uedt_hadoop.pyh04_uedt_zookeeper.shh05_uscp_edt.pyh00_rsys_reset.py#!/usr/bin/python# -*- coding: utf-8 -*-# reset.pyimport ...原创 2019-06-27 10:31:02 · 111 阅读 · 0 评论 -
hadoop(四)_1host伪分布式环境脚本
hadoop精简配置-伪分布式配置文件格式化配置文件# -*- coding: utf-8 -*-import osimport datetimeimport shutilfrom xml.dom.minidom import Documentoptions={ 'core-site.xml':{ # HDFS(分布式文件储存系统)的NameServic...原创 2019-06-27 10:30:17 · 84 阅读 · 0 评论 -
hadoop(三)_工作逻辑概析
hadoop(三)_进程简洁理解NameNodeSecondaryNameNodeMRAppMasterDFSZKFailoverController(zkfc)ResourceManagerDataNodeNodeManagerJournalNodeQuorumPeerMaincombinershuffleyarnNameNodeSecondaryNameNodeMRAppMasterD...原创 2019-05-28 08:59:25 · 172 阅读 · 0 评论 -
hadoop(一):前期准备
linux_常用配置安装命令自动补全修改静态IP地址修改主机名防火墙开关安装命令自动补全[root@123]# yum -y install bash-completion修改静态IP地址配置文件/etc/sysconfig/network-scripts/ifcfg-ens33# HWADDR MAC地址# USERCTL [yes|no](非root用户是否可以控制该设备)...原创 2019-05-14 12:36:26 · 301 阅读 · 0 评论 -
hadoop(二):配置与简单使用
linux_hadoop配置(二)`core-site.xml``hdfs-site.xml``mapred-site.xml``yarn-site.xml`core-site.xmlpath:$hadoop_HOME/etc/hadoop<configuration> <!-- HDFS(分布式文件储存系统)的NameService,是NameNode的URL...原创 2019-05-15 10:02:58 · 336 阅读 · 0 评论