- 博客(35)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 大数据日志
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、大数据日志是什么？二、使用步骤1.日志文件都在你安的haboop下logs2.查看日志一、大数据日志是什么？ 1.以银行核心业务网上银行为例，为了对系统运行健康度作出实时判断和快速决策，业务运维团队需要对用户频繁访问的页面如网银登录页、跨行转账页和理财产品购买页等模块的访问量和平均响应时间做实时统计分析，这就涉及TB级日志数据的实时处理和分析。二、使用步骤1.日志文件都在你安的haboop下logsvi /ex
2020-10-08 19:25:41
702
原创 haboop安装
1.创建3台主机详细 了解:(创建虚拟机)2、服务器主机名和IP配置（三台）2.1.修改主机名 vi / etc/sysconfig/network2.2 .修改虚拟机 动态 vi /etc/sysconfig/network-scripts/ifcfg-eth02.3.修改虚拟机 静态 vi /etc/udev/rules.d/70-persistent-net.rules2.4重启网卡 /etc/init.d/net
2020-10-07 20:08:40
343
转载 大数据---linux
linux系统介绍Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的Unix工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。Linux中国是一家创立于2003年的国内开源社区,主要关注方向在 Linux...
2019-10-17 11:20:58
259
原创 spring-cloud+ nacos+feign 增删改查（多表）
spring-cloud+ nacos+feign 增删改查（多表）环境准备数据库学生自行创建数据库，根据提供的sql创建表和数据,每个表单独一个数据库后台学生自行搭建SpringCloud+Feign+Nacos+GateWay+MyBatis后台环境前台学生自行创建前台vue环境，实现测试要求后端：以book和category为例如图所示：book 是主，category是从book.pom文件 和category.pom文件 <properties>
2021-11-17 21:01:40
3002
原创 Vue高级
Vue高级Vue的基本语法在学习vue之前，我们应了解一下什么是vue.js？什么是Vue.js?Vue.js是目前最后一个前端框架，React是最流行的一个前端框架（react除了开发网站，还可以开发手机App，Vue语法也是可以进行手机App，还需要借助 weex）Vue.js是前端的主流框架之一，和angular、react.js一起，并成为前端三大主流框架Vue.js是一套构建用户界面的框架，只关注视图层，它不仅易于上手，还便于第三方库即有项目整合（Vue有配置的第三方类库，可以整合起来
2021-10-28 17:21:02
172
1
原创 ssm——整合项目（增删改查）
SSM 整合（增删改查）1、 环境搭建项目名：day15_ssm_ums数据库：已有数据创建数据库CREATE DATABASE ssm_db2;### 使用数据库USE ssm_db2;#### 1.1 创建用户表CREATE TABLE `user` (`uid` VARCHAR(32) NOT NULL,`username` VARCHAR(20) DEFAULT NULL, #用户名`password` VARCHAR(32) DEFAULT NULL, #密码
2021-10-15 11:07:25
232
原创 json的交互和 多文件上传
json的交互和 多文件上传1、文件上传这是一个web项目（前提）1、需要导入的lib目前就是这些，如果不行的话，就全部导入2、需要创建domin（User）3、需要编写JsonController4、需要编写FileController4、需要编写confog（配置类）4.1MvcConfiguration（配置类）4.2 WebInitializer（配置类）然后运行就可以了上传文件文件的所在位置我用的是postman，发送的请求是get，如果是idea自己
2021-10-13 20:55:46
502
原创 项目简介
简介一下当前这个项目。近年来，在线教育产业发展十分迅速。统计数据显示，2011年到2018年我国在线教育市场规模达到2670.6亿元左右,七年翻了3.6倍。因为数据量过大且容易数据孤岛，所以知行者教育通过对访问和咨询主题8个需求、意向用户主题6个需求、有效线索主题3个需求、报名用户主题10个需求、学生出勤主题做出8个需求，一共有35个需求。用到了以下：Hadoop 主要用来分布式储存和分布式计算数据、Hive 将sql语句转化为 MapReduce 执行的工具，Hue 是一个图形化工具方便我们的操作，.
2021-01-21 20:06:33
402
1
原创 数仓题目1.0
数仓题目1、能否简介一下当前这个项目包含：•项目做了什么项目叫做：知行教育大数据分析平台（数仓开发项目）目的：对海量的业务数据进行指标分析。结果：对分析的结果做可视化的展示•用到了什么技术Hive ，Hue，Cloudera Manager，HDFS，Oozie，YARN，Zookeeper，Sqoop，拉链表…•解决了什么问题1.将各种数据源整合到一起统一数据中心，解决数据壁垒。2.保留历史变更数据，提供对细节变化分析支持。3.脏数据清洗，简化业务复杂结构数据。•用于哪个行业？行
2021-01-15 09:27:44
2211
原创 clouderaManager----知行教育大数据分析平台（mysql---------ods）
hive中要做的事创建数据库create database ods；、–设置一些配置alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;– 修改分区字段注解alter table PARTITION_PARAMS m
2020-12-28 20:44:52
610
1
原创 Clouderamanager详解
Cloudera Manager是什么？官方解释：Cloudera Manager是业界公认的用于管理生产中Hadoop的工具。Cloudera Manager是一个管理CDH的端到端的应用。作用： 管理 监控 诊断 集成如图1所示理解Cloudera Manager6.1 产生的背景6.1.1 Apache版本的大数据组件Hadoop的原始版本为Apache的开源版本，在国内的使用非常多。6.1.1.1 优点完全开源，更新速度很快大数据组件在部署过程中可以深刻了解其底层原理可以
2020-12-22 16:13:13
8819
2
原创 clouderaManager--------------知行教育大数据分析平台（三）
维度分析数据仓库中的数据分析处理，其实就是对数据按照维度进行分析维度大白话：以不同的视角去看待数据维度是事务的特征，如颜色、区域、时间等，可以根据不同的维度来对指标进行分析对比。维度也可以分为：定性维度：在事务的特性上去看待数据，按照地理位置分布计算指标、按照颜色来计算定量维度：在事务的数值上去看待数据，比如：按照分数的区间统计各区间的学生人数指标大白话：被看待的数据主题指标是衡量事务发展的标准，也叫度量，如价格，销量等；指标可以求和、求平均值等计算指标也分为：绝对数值指标
2020-12-22 15:27:52
650
2
原创 ClouderaManager 项目 -------------知行教育大数据分析平台（二）
4.4 报名用户看板此主题下指标需要能够下钻到小时数据。4.4.1 校区报名柱状图统计期内，全部报名客户中，各校区报名人数分布。4.4.2 学科报名柱状图统计期内，全部报名客户中，各学科报名人数分布。4.4.3 总报名量统计期内，已经缴费的报名客户总量。4.4.4 线上报名量总报名量中来源渠道为线上访客渠道的报名总量4.4.5 意向用户报名转化率统计期内，新增的意向客户中报名的客户占比。全部报名人数/全部新增的意向人数4.4.6 有效线索报名转化率线上报名量/线上有效线索量，此处
2020-12-21 21:37:59
735
1
原创 ClouderaManager 项目 -------------知行教育大数据分析平台（一）
1. 学习目标了解知行教育大数据的项目背景了解知行教育大数据的看板划分了解项目技术架构了解ClouderaManager的应用场景掌握ClouderaManager架构能够使用Vmware虚拟机环境2. 项目简介知行教育大数据分析平台，突出的是“真”，此项目是传智播客联合三方K12教育机构共同研发，并在上线发布后转换为课程，过程真实细致，采用主流的大数据技术和工具，内容特点：1.包含了需求分析、设计转换、研发、测试到上线部署维护的完整项目流程。2.真实的教育大数据业务逻辑，包括：访问、咨
2020-12-21 21:22:22
1969
1
转载 hive-nvl 函数
nvl函数：空值转换函数 函数形式：nvl（expr1，expr2），类似于mysql-nullif（expr1，expr2）作用：将查询为Null值转换为指定值。若expr1为Null，则返回expr2，否则返回expr1。 适用于数字型、字符型和日期型，但是expr1和expr2的数据类型必须为相同类型...
2020-12-14 10:08:48
1985
原创 2020-12-05
启动Hue、Web UI访问报错File “/export/servers/hue-3.9.0-cdh5.14.0/build/env/lib/python2.6/site-packages/Django-1.6.10-py2.6.egg/django/core/management/init.py”, line 399, in execute_from_command_lineutility.execute()File “/export/servers/hue-3.9.0-cdh5.14.0/bu
2020-12-05 18:04:12
136
原创 hive 理解
1、什么是Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。2、Hive诞生的意义降低学习难度，学习成本，让大部分程序员都能够使用HADOOP集群。3、Hive特点可扩展，Hive依赖HADOOP,存储使用HDFS,计算使用MapReduce,Hive的扩展能力实际就是HDFS,MapReduce的扩展能力。延展性，Hive支持自定义函数，用于实现已经提供的函数无法计算的业务。容错，节点出现问题SQL仍可完成执行，本质
2020-11-30 21:01:36
624
原创 ider 连接 hive
前提 开启hadoop启动之后查看 jpsnamenodeDataNodeSecondaryNamenodeNodeManagerResourceManageJps有这些就是正常的namenodeDataNodeNodeManagerResourceManageJps启动 beeline1、hive --service hiveserver2 &2、beeline3、!connect jdbc:hive2://node01:100004、用户名5、密码如
2020-11-29 17:26:40
143
原创 hive 的简介
一、Hive基本概念1.1、Hive简介什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，hive可以理解为一个将SQL转换为MapReduce的任务的工具。为什么使用Hive1、直接使用hadoop所面临的问题人员学习成本太高项目周期要求太短MapReduce实现复杂查询逻辑开发难度太大2、为什么要使用Hive操
2020-11-19 20:20:28
215
原创 mysql
1.华北大区的 微信交易的总比数SELECT COUNT(*)FROM itcast_paymentsJOIN itcast_orders ON itcast_orders.payType=itcast_payments.idJOIN itcast_order_goods ON itcast_orders.orderId=itcast_order_goods.orderIdJOIN itcast_goods ON itcast_order_goods.go
2020-11-12 17:22:47
121
原创 HA执行流程
HA执行流程1、集群启动2个NN,每个NN都会有一个ZKFC,每个zkfc到Zookeeper上争抢一个临时节点，哪个优先抢占到了这个临时节点，哪个就是Active，没有抢到的就是standby ，同时变为standby的ZKFC会申请临时节点的watch,监控临时节点的状态，（若节点发生变化，表示Active出现异常）;2、HA方案中有两个NN,一个是NN,一个是SNN(standbyNN), 每个NN都会有一个ZKFC,ZKFC的作用是监控NN健康状态和与Zookeeper保持连接，这个链接就是申请
2020-10-24 14:25:42
471
2
原创 zookeeper简介
zookeeper是什么ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理。zookeeper的特点1.全局数据一致：集群中每个服务器保存一份相同的数据副本，client无论连接到哪个服务器，展示的数据都是一致的，这是最重要的特征；2.可靠性：如果消息被其中一台服务器接受，那么将被所有的服务器接受。3.顺序性：全局有
2020-10-20 20:48:37
239
原创 zookeeper 安装步骤
注意:安装前需要安装好jdk检测集群时间是否同步检测防火墙是否关闭检测主机 ip映射有没有配置解压zookeeper tar -zxvf zookeeper-3.4.5.tar.gz修改环境变量vi /etc/profile改为 export ZOOKEEPER_HOME=/export/servers/zookeeper-3.4.5-cdh5.14.0/zkdata/ export PATH=$PATH:$ZOOKEEPER_HOME/bin使环境变量生效 sour
2020-10-19 18:10:42
183
原创 大数据 hdfs 详解
17、HDFS适用场景1、海量数据存储2、高容错3、商用廉价的硬件4、存储大文件5、一次写入多次读取18、HDFS不适用场景1、查询时效性要求低延迟的场景2、需要频繁修改数据的场景3、大量小文件。4、多个用户同时操作一个文件19、Fsimage，Edits的作用Fsimage，Edits用于永久存储HDFS文件系统的镜像和操作日志。集群在二次启动时，使用Fsimage，Edits将集群恢复到关闭前的状态。20、secondaryNameNode如何辅助管理FSImage与E
2020-10-17 12:23:58
734
1
原创 常用命令实操(haboop)
(1）-help：输出这个命令参数 `bin/hdfs dfs -help rm`（2）-ls: 显示目录信息 hdfs dfs -ls /(3）-mkdir：在hdfs上创建目录 hdfs dfs -mkdir -p /aaa/bbb/cc/dd(4）-moveFromLocal从本地剪切粘贴到hdfs hdfs dfs -moveFromLocal /home/Hadoop/a.txt /aaa/bbb/cc/dd(5）-moveToLocal：从
2020-10-13 07:39:26
246
原创 mysql练习 1
文章目录一、创建表格二、使用步骤1.引入库2.读入数据3-- 1、查询"01"课程比"02"课程成绩高的学生的信息及课程分数3-- 2、查询平均成绩大于等于60分的同学的学生编号和学生姓名和平均成绩3-- 3、查询所有同学的学生编号、学生姓名、选课总数、所有课程的总成绩3-- 4、查询学过"张三"老师授课的同学的信息3-- 5、查询学过编号为"01"但是没有学过编号为"02"的课程的同学的信息3 -- 6、查询没有学全所有课程的同学的信息3-- 7、查询没学过"张三"老师讲授的任一门课程的学生姓名3 --
2020-09-30 09:03:09
175
原创 大数据的简介和就业行情
1.大数据是什么?官方的介绍是: 大数据指数据集的大小超过了现在典型的数据库软件和工具的处理能力的数据.通俗的介绍是: 大量的数据 海量的数据2.大数据的特点是什么?主要特点海量化: 数据量从TB到PB级别多样化: 数据类型复杂,超过80%的数据是非结构化的快速化: 数据量在持续增加(两位数的年增长率)对数据的处理速度要求高高价值: 在海量多样数据的快速分析下能够发挥出更高的...
2019-10-25 20:32:44
258
原创 linux ---硬盘的挂载
目标：将一个新硬盘能够挂载到linux 系统上（开机自动挂载）第一步.查看当前系统磁盘挂载查看系统硬盘挂载情况：lsblk -fsda : 表示当前系统有一个物理磁盘 sdasda1 :第一个物理硬盘的第一个分区ext4:这个分区的格式（linux 常用的格式）7cc94e03-8b1a-4845-97fb-49a2c39afd8c：表示这个分区的唯一标识（唯一ID）/bo...
2019-10-17 10:56:41
253
原创 Shell 编程
2. Shell 编程2.1 简介Shell 是一个用 C 语言编写的程序，通过 Shell 用户可以访问操作系统内核服务。 Shell 既是一种命令语言，又是一种程序设计语言。 Shell script 是一种为 shell 编写的脚本程序。Shell 编程一般指 shell脚本编程，不是指开发 shell 自身。Shell 编程跟 java、php 编程一样，只要有一个能编写代码的文本编...
2019-10-15 20:55:00
201
原创 linux基础命令- 1
**liux基础命令- 1**LSLLLs -aLs -kLs -RCDCD -CD ..pwdmkdirLS作用：查看当前目录下的文件列表和详细信息显示目标列表，在Linux中是使用率较高的命令。ls命令的输出信息可以进行彩色加亮显示，以分区不同类型的文件。使用格式： ls具体详情:LSLL是 LS -L的别称作用：查看当前目录下的文件列表和详细信息使用格式： llLs ...
2019-10-15 20:33:30
259
原创 大数据基础笔记
大数据基础笔记打包与解压用户权限时间磁盘信息进程信息打包与解压打包:概念:打包是指将一大堆文件或目录什么的变成一个总的文件，压缩则是将一个大的文件通过一些压缩算法变成一个小文件。格式:tar z/jcvf 包名 文件名或路径c:创建包v:显示详细信息f: 文件名z/j:指定压缩格式解压:概念:是压缩的反过程，是将一个通过软件压缩的文档...
2019-10-15 08:45:44
487
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人