Hadoop
文章平均质量分 92
稻草人的肩膀
这个作者很懒,什么都没留下…
展开
-
Hive(三、2)案例之京东店铺访问指标
Hive(三、2)案例之京东店铺访问指标一、前期准备1.0、打开集群&服务&客户端#1)注释掉配置文件内容,这样就不用开启metastore服务啦 vim $HIVE_HOME/conf/hive-site.xml #注释掉如下内容 <!-- <property> <name>hive.metastore.uris</name> <value>thrift://hadoop原创 2020-09-29 20:18:55 · 453 阅读 · 1 评论 -
Hive(三、1)案例之蚂蚁森林
Hive(三、1)案例之蚂蚁森林一、前期准备1.0、打开集群&服务&客户端#1)注释掉配置文件内容,这样就不用开启metastore服务啦 vim $HIVE_HOME/conf/hive-site.xml #注释掉如下内容 <!-- <property> <name>hive.metastore.uris</name> <value>thrift://hadoop11:9原创 2020-09-29 20:17:18 · 826 阅读 · 0 评论 -
Hive(三、0)案例之视频网站指标
Hive(三)案例之视频网站常规指标@你宝爷一、前期准备1.0、打开集群&服务&客户端#1)注释掉配置文件内容,这样就不用开启metastore服务啦 vim $HIVE_HOME/conf/hive-site.xml #注释掉如下内容 <!-- <property> <name>hive.metastore.uris</name> <value>thrift://hado原创 2020-09-24 19:14:29 · 552 阅读 · 0 评论 -
Hive(二)基础教程
Hive(二)基础命令@你宝爷一、常用交互命令#beeline jdbc 启动客户端,可多线程访问,hive不可以$HIVE_HOME/bin/beeline -u jdbc:hive2://hadoop11:10000 -n hduser#启动hive 客户端hive#查看选项信息$HIVE_HOME/bin/hive -help#“-e”不进入hive的交互窗口执行sql语句$HIVE_HOME/bin/hive -e "select * from tableName"#“-f”执行原创 2020-09-22 16:51:05 · 249 阅读 · 0 评论 -
Hive(一)安装&配置
Hive(一)安装&配置@你宝爷一、环境搭建1.1、MySql安装#检查本机是否安装过MySqlrpm -qa|grep mariadb#用此命令卸载mariadbsudo rpm -e --nodeps mariadb-libs #依次安装如下安装包sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpmsudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64原创 2020-09-18 21:21:28 · 186 阅读 · 0 评论 -
MapRedues(一) 概要&编程入门
MapRedues(一) 概要&编程入门@你宝爷一、概述1.1、基本概念MapReduce是一个基于Hadoop集群的分布式计算编程框架,用户通过编写业务逻辑代码和自带默认组件结合成一个MR程序,程序提交任务给Hadoop集群或放在Hadoop集群上并发执行。1.2、缺点1.2.1、不适合流式计算流式计算的输入数据是动态的,而MapReduce的输入数据集是静态的,不能动态变化。这是因为MapReduce自身的设计特点决定了数据源必须是静态的。1.2.2、不适合DAG有向图计算多个应原创 2020-09-16 19:24:43 · 381 阅读 · 0 评论 -
Hadoop(一)集群VMware搭建
Hadoop集群搭建一、前期准备机器名IPhadoop11192.168.1.11hadoop12192.168.1.12hadoop13192.168.1.131.使用VMvare新建hadoop111)新建虚拟机,选择光盘映像文件位置2)选择系统为linux,Cent OS73)设置虚拟机名称为hadoop11,选择存储位置,注意:路径最后一层起名hadoop11,方便系统管理4)设置磁盘大小为40G5)编辑虚拟机设置,配置内存和处理器,原创 2020-09-03 16:39:00 · 942 阅读 · 0 评论 -
HDFS(一)增删改查操作
HDFS之增删改查操作零、启动集群,Web查看hdfs系统1.搭建过程:https://blog.csdn.net/qq_31316733/article/details/108386424hadoop11192.168.1.11hadoop12192.168.1.12hadoop13192.168.1.13hadoop11hadoop12hadoop13HDFSNameNode DataNodeDataNodeSecondaryNa原创 2020-09-07 14:49:06 · 1293 阅读 · 0 评论