3.数据分析hadoop平台数据(学习笔记)
文章平均质量分 76
5
YANG_xiao_QI
这个作者很懒,什么都没留下…
展开
-
3.hive安装(本地模式)一定要注意路径
这种安装方式和嵌入式的区别在于,不再使用内嵌的Derby作为元数据的存储介质,而是使用其他数据库比如MySQL来存储元数据。 这种方式是一个多用户的模式,运行多个用户client连接到一个数据库中。这种方式一般作为公司内部同时使用Hive。 这里有一个前提,每一个用户必须要有对MySQL/Mariadb的访问权利(用户名和密码)。 下面开始正式搭建,这里要求hadoop系统已经正常启动,且MySQL/Mariadb数据库已经正确安装。 1、首先登录MySQL/Mariadb,创建一个数据库,这里命名为hiv原创 2021-03-13 20:56:53 · 272 阅读 · 0 评论 -
5.sqoop安装及数据导出(sqoop待安装)
(1)主机上使用mysql创建数据库 mysql -uroot -p 创建数据库 create database sqoopdb; (2)创建表 create table t_agvgpv_num(dateStr varchar(255) DEFAULT NULL,avgPvNum decimal(6,2) DEFAULT NULL)ENGINE=myisam default charset=utf8; (3)安装sqoop 参考9.1sqoop安装 (4)迁移数据 sqoop export --原创 2021-03-05 15:51:04 · 106 阅读 · 0 评论 -
4.数据分析(明白命令的意思)
1.流量分析 、、、基于weblog数据库、、、 (1)创建表 create table dw_pvs_everyday(pvs bigint,month string,day string); (2)插入数据 insert into table dw_pvs_everyday select count(*) as pvs,owd.month as month,owd.day as day from ods_weblog_detail owd group by owd.month,owd.day;原创 2021-03-05 15:36:43 · 185 阅读 · 0 评论 -
3.实现数据仓库
1. 先登录hive数据库 hive 2.创建weblog数据库 create database weblog; use weblog; 2.1创建表 create table ods_weblog_origin(valid string,remote_addr string,remote_user string,time_local string,request string,status string,body_bytes_sent string,http_referer string,h原创 2021-03-05 15:23:09 · 289 阅读 · 0 评论 -
2.Mariadb安装
1.安装: yum install -y mariadb-server 2.启动maria DB服务: systemctl start mariadb.service (说明:CentOS 7.x开始,CentOS开始使用systemd服务来代替daemon,原来管理系统启动和管理系统服务的相关命令全部由systemctl命令来代替。) 3.添加至开机自启动: systemctl enable mariadb.service 4.初始化数据库配置 mysql_secure_installati原创 2020-12-11 09:25:15 · 214 阅读 · 0 评论 -
1.hive安装(嵌入模式)
1.准备安装包 (1)创建hive目录存放安装包 (2)进入hive,使用rz上传jar包 (3)tar -xvzf 解压 2.启动hadoop集群 两个slave节点分别执行 rm -rf /hadoop/hadoopdata/ 在192.168.1.4主机执行格式化 hdfs namenode -format 在192.168.1.4主机执行启动 start-all.sh 3.统一jar包 (1)删除Hadoop下的jar包 cd KaTeX parse error: Expecte原创 2020-12-10 11:30:00 · 292 阅读 · 0 评论