![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 90
李思缘的大数据之路
貌如潘安,诗如李白,字如王羲之
展开
-
Ambari搭建
1,配置说明节点:无硬性要求操作系统:CentOS-7内存:8GJDK:jdk1.8.0_151Mysql:5.7.23Ambari:2.7.1HDP:3.0.1Vmware:WorkStation 15.52,配置静态IPvi /etc/sysconfig/network-scripts/ifcfg-ens32 (最后一个为网卡名称)(1)bootproto=static(2)onboot=yes(3)在最后加上几行,IP地址、子网掩码、网关、dns服务器重启服务s原创 2021-01-15 10:41:20 · 428 阅读 · 5 评论 -
集群配置(3台)
集群第一步: 克隆虚拟机第二步: 更改新增系统的mac地址vim /etc/udev/rules.d/70-persistent-net.rules 第三步: 更改网卡信息 (setup)vim /etc/sysconfig/network-scripts/ifcfg-eth0 第四步: 重启系统生效reboot三台机器 关闭防火墙# 查看防火墙的状态service iptables status# 启动防火墙服务service iptables start原创 2021-01-08 17:32:34 · 256 阅读 · 0 评论 -
Oozie的安装与使用
Oozie的介绍Oozie是运行在hadoop平台上的一种工作流调度引擎,它可以用来调度与管理hadoop任务,如,MapReduce、Pig等。oozie的组件介绍workFlow:工作流,定义工作流任务的执行,主要由一个个的action组成,每个action都是一个任务,在xml中 进行配置即可Coordinator :协作器,可以理解为工作流的协调器,可以将多个工作流协调成一个工作流来进行处理。也是 oozie当中的定时任务调度的模块,Bundle :捆,束。多个Coordinator原创 2020-06-02 21:15:34 · 474 阅读 · 0 评论 -
用户画像所用到的虚拟机与资料
虚拟机:链接:https://pan.baidu.com/s/1VI2FrRgaVMwLVSAuu5PfEA 提取码:9vmz资料:链接:https://pan.baidu.com/s/1RFSPqjz04M3LzVinIMlpYQ 提取码:npz5原创 2020-06-01 22:40:35 · 185 阅读 · 0 评论 -
用户画像业务数据调研及ETL(二)持续更新中...
数据同步原始数据在mysql,将数据先同步到Hive,再同步到Hbase(BulkLoad)·为什么需要使用Hbase??特点:数据量比较大存储HBase:存储海量数据、查询检索centOS7 启动服务的命令systemctl ststart mysqldsystemctl stop mysqldsystemctl start mysqld第一步:准备Mysql数据将tags_dat.sql上传到linux ,将脚本中的tags_dat 改成tags_dat2。进入mys原创 2020-06-01 22:35:10 · 410 阅读 · 0 评论 -
用户画像概念、项目概述及环境搭建(一)
项目安排:企业级360°全方位用户画像一、用户画像概念、设计构建用户画像及项目演示说明 -2天用户画像概念发展如何构建用户画像标签Tag项目核心功能:深入剖析(最关键)项目工程初步搭建二、基础知识:数据导入ETL和应用调度 -2天a)、数据采集与ETL如何将业务数据采集导入到大数据平台上(HDFS、Hive、HBase)b)、标签 -> 模型 -> SparkApplicationOozie==============================原创 2020-06-01 22:19:46 · 1028 阅读 · 4 评论 -
Kylin的安装部署
1丶Hbase部署kylin-2.6.3-bin-hbase1x所依赖的hbase为1.1.1版本。具体操作步骤:下载hbase 1.1.1版本资料\Kylin\软件包\hbase-1.1.1-bin.tar.gz上传到一台服务器,解压缩 tar -xvzf hbase-1.1.1-bin.tar.gz -C ../servers/修改hbase-env.sh添加JAVA_HOME环境变量 export JAVA_HOME=/export/servers/jdk1.8原创 2020-05-15 18:27:23 · 604 阅读 · 0 评论 -
Redis的JavaAPI操作
redis不仅可以通过命令行进行操作,同时redis也可以通过javaAPI进行操作,我们可以通过使用javaAPI来对redis数据库当中的各种数据类型进行操作第一步:创建maven工程并导入jar包< dependencies>< dependency>< groupId>redis.clients</ groupId>< artifactId>jedis</ artifactId>< version>2.9原创 2020-05-10 17:10:42 · 188 阅读 · 0 评论 -
Redis
1丶NoSQL 数据库NoSQL: no sql (不支持sql查询) not only sql (不仅仅只有sql)NoSQL的适用场景: 1、获取最新的N个数据 2、获取数据的topN(最新的N个数据) 3、需要精确设置数据的过期时间 4、计数器 5、求取两个集合的交集、并集、差集 6、构建实时消息系统 7、缓存数据(热数据) 8、构建对列 热数据:经常被使用数据、高频使用的数据就是热数据。NoSQL不适用场景: 不支持事务 基于sql原创 2020-05-10 17:05:14 · 126 阅读 · 0 评论 -
拉链表相关练习
需求:在mysql数据库中有一个人员信息表(userinfo)数据字段如下:列名 类型 说明user_id varchar(50) 用户编号phone_number varchar(50) 手机号health_code varchar(50) 健康码的颜色(绿色,黄色,红色)reg_time varchar(50) 用户注册日期modify_time varchar(50) 健康码颜...原创 2020-05-08 10:25:24 · 412 阅读 · 0 评论