Hadoop
文章平均质量分 69
程序源小白
编程小白的编程之路
展开
-
搭建hive、mysq(细)
搭建hive、mysq(细)搭建hive和mysql是如何实现的呢?hive的官网http://hive.apache.org/HIVE?The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data a原创 2021-04-21 14:43:57 · 172 阅读 · 0 评论 -
HADOOP集群hdfs在web端中下载文件错误
HADOOP集群hdfs在web端中下载文件错误这样就可以下载了原创 2021-03-31 19:40:47 · 1017 阅读 · 0 评论 -
大数据核心之框架Hadoop系列4
大数据笔记 4(hadoop环境搭建)Hadoop运行环境搭建(开发重点)一、虚拟机环境准备1、克隆虚拟机(三台及以上)可以在vm里面直接进行克隆,注意要是完全克隆。2、修改克隆虚拟机的静态IP在这里面找到自己的名字,我的是ifcfg-ens33然后进入vi编辑器,这里面可以设置网络的所有配置:IP、网关、DNS等3、修改主机名vi /etc/hostname直接设置名字就行。4、关闭防火墙(可以设置启动关闭防火墙或者每次关闭【不推荐这种做法】)这里关闭防火墙有很多方式,有些原创 2021-02-04 15:03:04 · 70 阅读 · 0 评论 -
大数据核心之框架Hadoop系列3
大数据笔记 3(hadoop入门基础)第1章 大数据概论1.1 大数据概念大数据(Big Data)︰指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。(来源于百度百科)主要解决,海量数据的存储和海量数据的分析计算问题。按顺序给出数据存储单位: bit、Byte、KB、MB、(GB、TB、PB、EB、ZB、YB、BB、NB、DB。1 Byte = 8 bit1 K= 1024 B原创 2021-02-02 13:00:11 · 102 阅读 · 0 评论 -
大数据核心之框架Hadoop系列2
大数据核心之框架Hadoop大数据笔记 2(安装hadoop2.7.2)1、安装前准备可以观看我笔记1,使用WinSCP软件或者xftp软件将hadoop的安装包(一定是Linux版)传入到Linux中。特别注意:① 在配置Linux系统的时候一定要讲ip地址配置成静态的,不然到时候使用WinSCP软件传入文件不可行,linux下也要讲防火墙关闭。② 这次我使用的ftp软件进行传输的文件;这个软化和WinSCP一样的使用方式。③ 我使用的是hadoop2.7.2版本的。④ 在此之前,大家可原创 2021-01-24 18:32:58 · 128 阅读 · 1 评论 -
大数据核心之框架Hadoop系列1
大数据核心之框架Hadoop大数据笔记 1(安装jdk)1.使用WinSCP软件对Linux系统传送jdk-8u144-linux-x64.tar.gzhadoop-2.7.2.tar.gzapache-hive-2.3.6-bin.tar.gz暂时可以只传这三个下面图是在Linux系统下已经在/usr/java这个目录已经创建完成的情况下。才使用这样直接传入的。打开创建好的linux系统,并且已经配置完成。特别注意:在配置Linux系统的时候一定要讲ip地址配置成静态的,不然到时候使原创 2021-01-16 20:19:51 · 197 阅读 · 0 评论