- 博客(26)
- 收藏
- 关注
RSS订阅原创 MySQL Installer is running in Community mode 的解决办法
这篇⽂章主要介绍了MySQL Installer is running in Community mode 的解决办法，需要的朋友可以参考下今天在执⾏登⼊远端桌⾯的時候发现了这个提示关于“ MySQL Installer is running in Community mode ” 的解决办法在专案开发完成后，需求是将专案部署到云服器上，其中使⽤到了MySQL云服器，我們使⽤的是基于最新版本的MySQL服务，在安装完成后，系统能正常执⾏，但是第⼆天出现了如下⼀提示框，如下图：给个⼈⼈都看得懂
2021-11-21 14:26:06
841
1
原创 Hadoop ----HDFS MapReduce
HDFSNameNode负责管理DataNode保存所有的元数据(目录的位置结构 存储的磁盘位置)是HDFS的核心 是单点故障 一旦出现问题 整个HDFS不在对外提供服务·edits 操作日志文件fsimage元数据文件SecondaryNameNode获取NameNode的数据延后将新的NameNode数据进行合并 然后再次写入NameNode中DataNode负责数据的存储数据是按块存储的 hadoop 2.XXX以后 128MDataNode定时（心跳机制） 将.
2021-11-20 19:45:38
1486
原创 Hadoop3.3.0--Linux编译安装
Hadoop3.3.0–Linux编译安装Hadoop完全分布式安装1. 集群规划2.基础环境# 主机名 hosts映射vim /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.227.15
2021-11-20 17:35:19
374
原创 大数据导论 Apache Zookeeper3.4.6 好好看好好学
一、大数据导论1.数据与数据分析2.数据分析作用现状分析原因分析预测分析3.数据分析基本步骤明确分析目的数据收集数据处理数据分析数据展现报告撰写4.大数据什么是大数据海量数据的挑战大数据的特点Volume ： 数据量大，包括采集、存储和计算的量都非常大；Variety：种类和来源多样化。包括结构化、半结构化和非结构化数据；Value：数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵；Velocity：数据增长速度快，处理速度也快，时效性要求高；Vera
2021-11-20 16:04:15
1059
原创 JAVA 基础篇（三）----API 异常处理 好好看 好好学
JAVA----API一、API1.Scanner的基本使用API解释： 全称叫应用程序编程接口(Application Programming Interface), 本意指的是JDK提供的各种类和接口例如： Scanner获取字符串 public String nextLine(); 获取用户录入的字符串，能获取整行数据。 public String nextInt(); 获取整数类型的数据 public String next(); 获取用户录入的字符串，但是只能获取空格以前的内容
2021-11-20 00:10:42
317
原创 JAVA基础篇（二）-------数组方法 + 面向对象 +好好看 好好学
JAVA 数组 + 面向对象一、数组1. 数组的基本使用数组的概念： 数组就是用来同时存储多个同类型元素的容器JAVA ： [1,2,3,4,5] JAVA 是强类型语言， 不能存储其他类型的数据， 要整型都是整型 ；要字符串 都是字符串。python [1,2,“curry”,“james”] python 的list列表可以同时存储多个类型的数据。后面会整理一些 数据结构和算法 的文章 后期会发布 大家可以看看。格式：动态初始化： 我们指定长度，由系统给出默认值。
2021-11-14 22:09:38
412
原创 JAVA基础篇(一)
一、Java基本介绍1.Java 简介Sun公司（Stanford University NetWork）美国的斯坦福大学 在1995年推出的高级编程语言。Java之父： 詹姆斯 • 高斯林（James Gosling）Sun公司在2009年被甲骨文（Oracle）公司给收购了。1.1 Java的优势使用最广泛，且简单易学Java 是一门强类型语言Java 有非常完善的异常处理机制Java提供了对于大多数大数据的基础性支持2. Java开源的跨平台语言开源指的是Java的
2021-11-11 21:11:57
904
原创 Spark与PySpark交互流程 spark-submit相关参数、RDD特性特点 以及构建 RDD的算子函数
Spark相关内容3 RDD相关内容3.1 什么是RDD？RDD：**弹性分布式数据集**RDD出现的目的：主要用于支持迭代计算，并且提升迭代计算的效率3.2 RDD的五a大特性：（必须具备）可分区的（必须具备）计算函数（对每个分区进行计算操作）（必须具备）存在依赖 （上一步每执行完 下一步无法执行 需要上一步的结果）（可选）对于key-value数据存在分区计算函数（可选）移动数据不如移动计算（将计算程序运行在离数据越近越好） —距离优化其中前3个特性是每一个
2021-10-13 19:50:54
326
原创 Hive的相关优化
1、hive的相关优化1.1 hive的压缩配置压缩有什么用？'好处'： 在有限的空间下，存储更多的资源'坏处'： 压缩和解压需要消耗额外的资源 通过压缩 优化MR 提升效率位置一： 'map阶段的输出结果上' '好处一'：当reduce在拉取数据的时候，由于数据已经压缩，所以整个数据量减少，从而减少网络带宽，提升拉取的效率 '好处二'：在一些特殊情况下，整个MR只有map 没有reduce的，此时map输出的结果就是最终的结果，对结果进行压缩，减少磁盘存储，提升磁盘利用率位置
2021-10-06 07:41:33
168
原创 HIVE的参数配置、行转列 列转行 json相关 窗口函数
1、Hive的参数配置./hive 是hive的第一代客户端，次客户端，主要有两大作用 用于执行一些交互式或者批处理的操作，第二大作用，是用于启动hive的各项服务第一大作用：交互式（了解）./hive 进入交互式 进入之后，可以在客户端内部，不断和hive进行相关操作，在一个会话中，可以不断和hive进行交互批处理 批处理: 指的在不进入hive的交互窗口下, 即可操作hive, 主要是linux的命令行下操作 好处: 主要的目的是为了后续在linux的脚本中连接hive进行
2021-10-06 05:51:53
767
原创 HIVE的 “DDL其他语法、DML语法、DQL语法、高阶排序、join相关内容”
1、DDL其他语法说明都对库的相关操作-- 创建库的语法：create database [if not exists] database_name;-- 查看库的详细信息：携带上extended会看到更为详细的库信息describe database [extended] db_name;-- 查看所有的库show database；-- 如何使用库use db_name;-- 如何删除库drop database db_name；对于表的相关的操作:show ta
2021-10-03 18:15:50
182
原创 Hive DDL建表语句与内部表、外部表、分区表、分桶表
1、SQl 四大定义语言DDL： 数据库定义语言 注意: 不涉及对表数据的操作DML： 数据库操作语言DQL ：数据库查询语言DCL：数据库控制语言Hive的建库建表语句tempproary：临时，通过此关键词可以创建一张临时表（仅在当前会话有效）eg： create tempproary table if not exists 数据库名.表名；external：外部的 通过此关键词可以创建一个外部表eg： create external table if not exists 数
2021-10-03 00:38:54
1619
原创 Hive安装操作 及初体验
hive的安装操作第一步：修改 hadoop的 core-site.xml中, 添加以下内容:#修改hadoop 配置文件 etc/hadoop/core-site.xml,加入如下配置项<property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value></property><property> <name>
2021-09-25 21:34:42
240
原创 Hive 3.1.2 数仓基本概念 大致分层
数据仓库的基本概念数据库和数据仓库的区别：数据库 On-Line Transaction Processing（OLTP）：存储数据的仓库 一般用于事务操作，主要是用于捕获数据 要求延迟性较低数据仓库 On-Line Analytical Processing（OLAP）：存储数据的仓库 吗，面向于主题（分析）的，一般是保存过去的历史数据，主要是对这些数据进行统计分析，对未来提供决策支持，一般对延迟没有特备要求何为数据分析呢？指的从数据容器中,根据需求要求获取相关的数据的过程(数据查询操作)
2021-09-25 20:57:09
571
原创 Hadoop--------HDFS
HDFS相关内容HDFS介绍HDFS是Hadoop Distribute File System 的简称，意为：Hadoop分布式文件系统。是Hadoop核心组件之一，作为最底层的分布式存储服务而存在。**分布式文件系统解决的问题就是大数据存储**Hadoop 生态图HDFS的重要特性首先，它是一个文件系统，用于存储文件，通过统一的命名空间目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS 的节点NameNode负责管理
2021-09-25 18:12:12
108
原创 Apache Hadoop Liunx 安装部署
Hadoop 介绍Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架）：解决海量数据计算当下的Hadoop已经成长为一个庞大的体系，随着生态系统的成长，新出现的项目
2021-09-25 16:46:10
180
原创 Apache Zookeeper 基本知识 安装部署
Zookeeper基本知识1、Zookeeper 作用：是用来管理hadoop服务 实现hadoop的高可用（HA）主服务 备份服务2、Zookeeper 是一个分布式协调服务的开源框架 主要是用来解决分布式集群中应用系统的一致性问题3、Zookeeper 本质上是一个分布式的小文件存储系统Zookeeper的特性：全局数据一致： 集群中每个服务器保存一份相同的数据副本 ，客户端（client）无论链接到那个服务器，展示的数据都是一致的。可靠性： 如果消息被其中一台服务器接收 那么将被所
2021-09-25 15:03:33
159
原创 大数据入门 离线第一阶段
大数据入门 离线第一阶段大数据的特点：Volume：数据量大，包括采集、存储和计算的量都非常大；Variety：种类和来源多样化 。包括结构化、半结构化和非结构化数据；Value：数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵；Velocity：数据增长速度快，处理速度也快，时效性要求高；Vwracity：数据逇准确性和可信赖度，即数据的质量。数据的分析基本步骤：明确分析目的确保分析框架的体系化和逻辑性，简单来说就是先分析什么，后分析什么，使得各个分析点之间具有逻辑联系明白本
2021-09-25 13:29:30
100
原创 2021-08-20
数据推断目标： 知道数据推断使用的业务场景 使用SQL 完成关键指标推断逻辑业务背景 确失关键指标场景 一家餐厅想要通过 数据分析 数据挖掘提升销量 但是在历史记录的数据中 缺少了重要的一个维度 用餐人数梳理思路 ：1、如何 根据数据确定就餐人数- 可以将菜单数据分成几类 根据不同种类食物的点单量来推断就餐人数1、例如 主食类 饮料 小吃 酱料 主菜- 确定判断的规则：1、1份主食对应1个人 （1:1）2、1份主菜对应1个人 （1:1）
2021-08-20 20:58:37
129
原创 数据分析---------指数计算
数据分析---------指数计算指数计算是用来干什么的？数据分析 /大数据分析的目的是为了用数据驱动运营 用数据驱动业务增长（数据驱动设计，数据驱动决策········）数据分析的几个层次- 描述性分析1、做数据驱动最基础的层次就是描述性分析2、建立一套数据指标来描述业务3、使用指标建立相关的报表（日报，周报，月报）4、利用指标 监控每天的业务运行情况方便及时发现问题- 诊断性分析- 预测分析 - 规范分析啥是个数据指标 确定一系列标准 衡量目标 与既定目标相比较有啥作用呢
2021-08-20 16:59:23
340
原创 mini—web搭建
mini—web搭建各位 想学python的小伙伴 上篇文章我讲到了循环 不知道大家学习的怎么样 有没有不懂的地方啊 我这边可能人气太低了 也没有小伙伴评论和我交流 那今天我就不往下讲了 今天给大家像一个比较有意思的 东西 就是标题上写的 mini——web的搭建 相信大家看完我这篇文章 也能够搭建出属于自己的服务。 好了 话不多说 咱们进入今天的主题**python搭建服务端**在python中搭建服务端框架 是一件特别容易的事情细分的话一共也就是7个步骤1、导入网络模块工具 soc
2021-07-24 18:38:59
192
原创 python学习第四天 ————循环
hello everyone 今天我得连更两篇啦 因为最近很忙 拖了好久一致没有更新内容 话不多说 进行今天的内容学习python学习第四天 ————循环其实在python中的循环也就是连个 一个是while循环 一个就是for循环 接下来我们来一个一个的征服它们**while循环**这里大家需要先明白什么是循环 大家去学校里看看 学校的操场 是不是个圈 这不经的让我想去了那首民间小调“毛驴儿啊 你走不出那个圈” 哈哈哈 不说笑了 操场的那个跑道是不是一个范围约束啊 你跑
2021-07-21 17:46:12
112
原创 python基础学习的第三天
python基础学习的第三天今天开始我们正是学习分支语句，什么是分支语句呢？ 字面意思就是把语句分开。给大家介绍一个新的小伙伴 if 这个小伙伴以后将一直陪伴着我们，它在英语中的意思就是如果。那在咱们Python里 它依然是如果 不过我们给他赋予了一个更标准得、更牛逼的名称：条件判断语句。他是一个流程控制结构，不多哔哔 上代码 看效果：# if 的标准结构if 判断条件: 符合条件执行的代码else: 不符合执行的代码看到了吗？？这就是if的基本结构 他是把一个总的条
2021-07-21 15:04:35
67
原创 python学习第二天
python学习第二天输入这篇文章我们来讲讲 python是如何进行输入的 先看一下源代码：name = input('请输入你的名字：') #在这里我们定义一个变量name 它的值就是后面input要输入的内容 这里它的内容是可变得print(name)看一下控制台运行的结果：在这里我没有给他进行输入名字的样子看一下我们输入一个名字为tom以后的结果看 在这里程序给我返回了一个tom为什么说我上一篇文章里将 变量的具有临时性 可变性呢？因为我们再次运行程序以后 我们再输入一个 ti
2021-06-30 19:28:56
182
原创 Python 基础知识
**小白的python学习知识点分享 感觉写的不错的 点赞分享加关注啊**1. python解释器什么是python解释器呢？顾名思义，python解释器就是把py文件进行解释；解释给谁呢？ 解释给硬件系统。所以呀总结起来就是一句话：python解释器就是把 程序员写的python文件 解析成计算机能读懂的二进制字符 或者是字节码（机器语言就时二进制 0和1）然后让计算机做出相应的相应。还有一种是编译器：将py文件编译成计算机能读懂的二进制文件 或者是 字节码这两种都是用来解释你写的
2021-06-30 17:06:39
82
原创 IT小白简单入门Mysql之基础命令
我是一个大数据开发工程师，最近有很多朋友在私聊我有关于Mysql的一些入门类问题。这是我自己的一个总结，我用的编辑器是DataGrip 这个大家可以自行去官网里下载一下安装就可以了 我
2021-06-19 14:47:14
146
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人