环境安装
文章平均质量分 95
常用环境安装
3+2=小5?
一个菜鸡码农
展开
-
VMware环境配置
vmware环境配置:JDK、Hadoop、hive、sredis、spark、Scala等原创 2022-11-25 22:56:42 · 2822 阅读 · 1 评论 -
Flume安装详情
一、认识flume二、flume安装详情下载地址:flume.apache.org1、解压tar -xvf apache-flume-1.6.0-bin.tar.gz -C /opt/module/2、配置数据源创建文件并编辑touch template.conf3、根据指定的配置文件,来启动flume进入flume的bin目录执行:./flume-ng agent -n a1 -c …/conf -f …/conf/template.conf -Dflume.root.l原创 2020-06-04 11:42:43 · 603 阅读 · 0 评论 -
Sqoop安装详情
一、认识sqoop:1、Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle…)间进行数据的传递,可以将一个关系型数据库中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。一般情况下,是将数据分析的结果导出到关系型数据库中,供其他部门使用。Sqoop成立于2009年,刚开始是作为hadoop的一个模块而存在的,不过后来为了更好的进行部署使用,成为apache基金会组织的一个项目。Sqoop专门为大数据而设计,可以通过分割数据原创 2020-06-04 10:36:27 · 669 阅读 · 0 评论 -
Hive安装详情
一、感性认知:1.1数据库与数据仓库数据库:mysql、oracle、sqlserver、DB2、sqlite、MDB数据仓库:Hive,是MR的客户端,也就是说不必要每台机器都安装部署Hive1.2本质是什么?理性认知:1.3Hive的特性(1)操作接口是采用SQL语法,HQL(2)避免了写MapReduce的繁琐过程1.4Hive体系结构(1)Client终端命令行JDBC – 不常用,非常麻烦(相对于前者)(2)metastore原本的数据集和字段名称以及数据信息之间的原创 2020-05-31 11:05:31 · 1010 阅读 · 0 评论 -
zookeeper安装详情
一、认识zookeeperZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。ZooKeeper包含一个简单的原语集,提供Java和C的接口。ZooKeeper代码版本中,提供了分布式独享锁、选原创 2020-06-17 10:37:09 · 684 阅读 · 0 评论 -
VMware之Hadoop完全分布式安装
1、 集群搭建形式Hadoop环境搭建分为三种形式:单机模式、伪分布式模式、完全分布模式(1)单机模式—— 在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。(2)伪分布式—— 也是在一台单机上运行,但不同的是Java进程模仿分布式运行中的各类节点。即一台机器上,既当NameNode,又当DataNode,或者说既是JobTracker又是TaskTracker。没有所谓的在多台机器上进行真正的分布式计算,故称为“伪分布式”。(3)完全分布式—— 真正的分布式,由3个及以上的原创 2020-05-27 11:02:47 · 4069 阅读 · 1 评论 -
JDK安装详情
1、卸载现有jdk(1)查询是否安装java软件:rpm -qa|grep java(2)如果安装的版本低于1.7,卸载该jdk:rpm -e 软件包[root@hadoop01 module]#rpm -qa|grep javajava-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64python-javapackages-3.4.1-11.el7.noarchjava-1.8.0-openjdk-1.8.0.181-7.b13.原创 2020-05-25 16:53:13 · 1832 阅读 · 0 评论