3.数据分析hadoop平台数据(学习笔记)
文章平均质量分 76
5
YANG_xiao_QI
这个作者很懒,什么都没留下…
展开
-
3.hive安装(本地模式)一定要注意路径
这种安装方式和嵌入式的区别在于,不再使用内嵌的Derby作为元数据的存储介质,而是使用其他数据库比如MySQL来存储元数据。这种方式是一个多用户的模式,运行多个用户client连接到一个数据库中。这种方式一般作为公司内部同时使用Hive。这里有一个前提,每一个用户必须要有对MySQL/Mariadb的访问权利(用户名和密码)。下面开始正式搭建,这里要求hadoop系统已经正常启动,且MySQL/Mariadb数据库已经正确安装。1、首先登录MySQL/Mariadb,创建一个数据库,这里命名为hiv原创 2021-03-13 20:56:53 · 272 阅读 · 0 评论 -
5.sqoop安装及数据导出(sqoop待安装)
(1)主机上使用mysql创建数据库mysql -uroot -p创建数据库 create database sqoopdb;(2)创建表create table t_agvgpv_num(dateStr varchar(255) DEFAULT NULL,avgPvNum decimal(6,2) DEFAULT NULL)ENGINE=myisam default charset=utf8;(3)安装sqoop参考9.1sqoop安装(4)迁移数据sqoop export --原创 2021-03-05 15:51:04 · 106 阅读 · 0 评论 -
4.数据分析(明白命令的意思)
1.流量分析、、、基于weblog数据库、、、(1)创建表create table dw_pvs_everyday(pvs bigint,month string,day string);(2)插入数据insert into table dw_pvs_everyday select count(*) as pvs,owd.month as month,owd.day as day from ods_weblog_detail owd group by owd.month,owd.day;原创 2021-03-05 15:36:43 · 185 阅读 · 0 评论 -
3.实现数据仓库
1. 先登录hive数据库hive2.创建weblog数据库create database weblog;use weblog;2.1创建表create table ods_weblog_origin(valid string,remote_addr string,remote_user string,time_local string,request string,status string,body_bytes_sent string,http_referer string,h原创 2021-03-05 15:23:09 · 289 阅读 · 0 评论 -
2.Mariadb安装
1.安装:yum install -y mariadb-server2.启动maria DB服务:systemctl start mariadb.service(说明:CentOS 7.x开始,CentOS开始使用systemd服务来代替daemon,原来管理系统启动和管理系统服务的相关命令全部由systemctl命令来代替。)3.添加至开机自启动:systemctl enable mariadb.service4.初始化数据库配置mysql_secure_installati原创 2020-12-11 09:25:15 · 214 阅读 · 0 评论 -
1.hive安装(嵌入模式)
1.准备安装包(1)创建hive目录存放安装包(2)进入hive,使用rz上传jar包(3)tar -xvzf 解压2.启动hadoop集群两个slave节点分别执行rm -rf /hadoop/hadoopdata/在192.168.1.4主机执行格式化hdfs namenode -format在192.168.1.4主机执行启动start-all.sh3.统一jar包(1)删除Hadoop下的jar包cd KaTeX parse error: Expecte原创 2020-12-10 11:30:00 · 292 阅读 · 0 评论