大数据
文章平均质量分 97
文泽路小男孩
HDU小菜鸡
展开
-
数据可视化 — 01_svg+echarts实现自定义厂区平面图
文章目录svg+echarts实现自定义厂区平面图一、最终效果二、设计思路三、开发步骤3.1 在AI中画矢量图,并保存为svg格式3.2 使用svg2geojson插件,将svg转为geojson格式3.3 使用echarts,展现效果四、踩的坑4.1 正确的svg格式4.2 svg的\标签在geojson中无点坐标4.3 最后在浏览器中,地图上下颠倒180度欢迎访问笔者个人技术博客: http://rukihuang.xyz/svg+echarts实现自定义厂区平面图一、最终效果二、设计思路原创 2021-11-16 21:15:35 · 6892 阅读 · 2 评论 -
数据仓库 — 10_数仓建模理论(基本分层模型、关系建模和维度建模、事实表和维度表)
文章目录1 数仓分层1.1 基本分层模型1.2 数据集市和数据仓库2 数仓理论2.1 范式理论2.2 关系建模和维度建模2.2.1 关系建模2.2.2 维度建模2.2.2.1 维度建模的三种模型2.3 维度表和事实表2.3.1 维度表2.3.2 事实表欢迎访问笔者个人技术博客:http://rukihuang.xyz/学习视频来源于尚硅谷,视频链接:尚硅谷大数据项目数据仓库,电商数仓V1.2新版,Respect!1 数仓分层1.1 基本分层模型分层原因:把复杂问题简单化:将复杂的任务分解成原创 2020-05-21 09:32:55 · 5363 阅读 · 0 评论 -
数据仓库 — 09_Hive的安装与配置(linux环境下Hive的安装、Hive集成Tez)
文章目录1 安装Hive2.32 Hive集成引擎Tez2.1 安装Tez2.2 集成Tez2.3 测试2.4 注意事项2.4.1 集成tez后,插入数据失败2.4.2 解决方法欢迎访问笔者个人技术博客:http://rukihuang.xyz/学习视频来源于尚硅谷,视频链接:尚硅谷大数据项目数据仓库,电商数仓V1.2新版,Respect!1 安装Hive2.3上传apache-hive-2.3.0-bin.tar.gz 到/opt/software 目录下,并解压到/opt/moduleta原创 2020-05-17 09:51:18 · 295 阅读 · 0 评论 -
数据仓库 — 08_mysql和sqoop的安装与配置(linux环境下mysql和sqoop的安装、业务数据生成jar包和配置文件、mysql_to_hdfs同步脚本)
文章目录1 MySQL安装1.1 安装包准备1.2 安装mysql服务器1.3 安装mysql客户端1.4 mysql中主机配置(user表)2 Sqoop的安装2.1 安装sqoop2.2 修改配置文件2.3 拷贝JDBC驱动2.4 测试Sqoop是否能连接数据库3 业务数据的生成4 同步策略4.1 全量同步策略4.2 增量同步数据4.3 新增及变化策略4.4 特殊策略5 mysql->sqoop->hdfs脚本编写5.1 项目经验欢迎访问笔者个人技术博客:http://rukihuang.原创 2020-05-15 17:01:15 · 598 阅读 · 0 评论 -
数据仓库 — 07_Kafka的安装与部署(Kafka命令行操作指令、Kafka集群群起脚本、压力测试、节点数量计算、hadoop_zookeeper_flume_kafka群起脚本、默认端口总结)
文章目录1 Kafka的安装与配置2 Kafka命令行操作2.1 查看当前服务器中的所有topic2.2 创建topic2.3 删除topic2.4 发送消息2.5 消费消息2.6 查看某个topic的详情3 Kafka群起脚本4 项目经验——Kafka压力测试4.1 Kafka压测4.2 生产者压测 producer4.3 消费者压测 consumer5 项目经验——Kafka机器数量计算欢迎访问笔者个人技术博客:http://rukihuang.xyz/学习视频来源于尚硅谷,视频链接:尚硅谷大数据项原创 2020-05-13 14:12:47 · 350 阅读 · 0 评论 -
数据仓库 — 06_Flume的安装与部署(Flume组成框架、Agent内部原理、安装配置、日志采集配置文件、拦截器的编写、Flume群起脚本、Flume启动报错解决)
文章目录1 概述1.1 Flume定义1.2 Flume组成架构1.2.1 Agent1.2.2 Source1.2.3 Channel1.2.4 Sink1.2.5 Event1.3 Flume拓扑结构1.3.1 Agent连接1.3.2 单source多channel、sink1.3.3 负载均衡1.3.4 Agent聚合1.4 Flume Agent内部原理2 Flume的安装与配置2.1 下载地址2.2 安装部署3 项目经验——flume组件3.1 source3.2 channel4 日志采集的f原创 2020-05-12 17:10:24 · 820 阅读 · 3 评论 -
数据仓库 — 05_日志生成(日志生成jar包的部署、脚本的编写_启动_时间同步_进程查看)
文章目录1 日志生成1.1 日志启动1.2 集群日志生成启动脚本1.3 集群时间同步修改脚本(临时)1.4 集群所有进程查看脚本欢迎访问笔者个人技术博客:http://rukihuang.xyz/学习视频来源于尚硅谷,视频链接:尚硅谷大数据项目数据仓库,电商数仓V1.2新版,Respect!1 日志生成1.1 日志启动参数说明// 参数一:控制发送每条的延时时间,默认是0Long...原创 2020-05-06 20:56:50 · 1262 阅读 · 0 评论 -
数据仓库 — 04_Zookeeper的安装与配置(Zookeeper简介与应用场景、安装与部署、登陆Shell与非登录Shell环境变量的加载区别)
文章目录1 Zookeeper概述1.1 简介1.2 特点1.3 数据结构1.4 应用场景1.4.1 统一命名服务1.4.2 统一配置管理1.4.3 统一集群管理1.4.4 服务器动态上限1.4.5 软负载均衡2 Zookeeper的安装2.1 分布式安装部署2.1.1 集群规划2.1.2 解压安装2.1.3 配置服务器编号2.1.4 配置zoo.cfg文件2.1.5 'server.A=B:C:...原创 2020-05-05 21:26:37 · 656 阅读 · 0 评论 -
数据仓库 — 03_Hadoop的安装(集群配置、免密登陆、rsync远程同步工具)
文章目录1 安装hadoop1.1 将hadoop导入到/opt/software中1.2 安装hadoop1.3 添加hadoop环境变量1.4 hadoop的目录结构2 hadoop集群配置2.1 集群配置2.1.2 集群部署规划2.1.3 配置集群2.1.3.1 核心配置文件 core-site.xml2.1.3.2 HDFS配置文件 hadoop-env.sh/hdfs-site.xml2...原创 2020-05-02 16:09:04 · 471 阅读 · 0 评论 -
数据仓库 — 02_虚拟机环境准备(设置静态ip、安装JDK)
文章目录1 Hadoop运行环境搭建1.1 修改虚拟机的静态ip并克隆1.2 修改主机名1.3 关闭防火墙1.4 创建用户1.5 修改hosts1.6 配置ruki用户,使其具有root权限1.7 在/opt目录下创建文件夹2 安装JDK2.1 卸载现有JDK2.2 将JDK导入到/opt/software中2.3 安装JDK2.4 修改环境变量欢迎访问笔者个人技术博客:http://rukih...原创 2020-04-26 21:07:14 · 317 阅读 · 0 评论 -
数据仓库 — 01_项目需求分析与技术选型(数仓概念、项目需求及架构设计、数据生成模块格式要求)
文章目录1 数据仓库的概念2 项目需求分析3 项目框架3.1 技术选型3.2 系统数据流程设计3.3 框架版本选型3.4 服务器选型3.5 集群资源规划设计3.5.1 集群规模计算3.5.2 本地测试集群服务器规划4 数据生成4.1 埋点数据基本格式4.2 事件日志数据4.2.1 商品列表页 loading4.2.2 商品点击 display4.2.3 商品详情页 newsdetail4.2.4 ...原创 2020-04-24 10:21:57 · 1378 阅读 · 0 评论 -
大数据框架 — Flink_01(简介、数据处理架构、Flink与Spark的不同、Flink分层API简介)
文章目录1 Flink简介2 为什么选择Flink3 数据处理架构3.1 传统数据处理架构3.1.1 事务处理3.1.2 分析处理3.2 流处理3.2.1 有状态的流式处理3.2.2 事件驱动3.2.3 流vs批3.2.4 Flink vs Spark3.2.4.1 数据模型3.2.4.2 运行时架构4 Flink分层API4.1 过程函数 ProcessFunction4.2 DataStrea...原创 2020-03-31 19:37:00 · 734 阅读 · 0 评论