qq_59472803的博客

这篇⽂章主要介绍了MySQL Installer is running in Community mode 的解决办法，需要的朋友可以参考下今天在执⾏登⼊远端桌⾯的時候发现了这个提示关于“ MySQL Installer is running in Community mode ” 的解决办法在专案开发完成后，需求是将专案部署到云服器上，其中使⽤到了MySQL云服器，我們使⽤的是基于最新版本的MySQL服务，在安装完成后，系统能正常执⾏，但是第⼆天出现了如下⼀提示框，如下图：给个⼈⼈都看得懂

HDFSNameNode负责管理DataNode保存所有的元数据(目录的位置结构 存储的磁盘位置)是HDFS的核心 是单点故障 一旦出现问题 整个HDFS不在对外提供服务·edits 操作日志文件fsimage元数据文件SecondaryNameNode获取NameNode的数据延后将新的NameNode数据进行合并 然后再次写入NameNode中DataNode负责数据的存储数据是按块存储的 hadoop 2.XXX以后 128MDataNode定时（心跳机制） 将.

Hadoop3.3.0–Linux编译安装Hadoop完全分布式安装1. 集群规划2.基础环境# 主机名 hosts映射vim /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.227.15

一、大数据导论1.数据与数据分析2.数据分析作用现状分析原因分析预测分析3.数据分析基本步骤明确分析目的数据收集数据处理数据分析数据展现报告撰写4.大数据什么是大数据海量数据的挑战大数据的特点Volume ： 数据量大，包括采集、存储和计算的量都非常大；Variety：种类和来源多样化。包括结构化、半结构化和非结构化数据；Value：数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵；Velocity：数据增长速度快，处理速度也快，时效性要求高；Vera

JAVA----API一、API1.Scanner的基本使用API解释： 全称叫应用程序编程接口(Application Programming Interface), 本意指的是JDK提供的各种类和接口例如： Scanner获取字符串 public String nextLine(); 获取用户录入的字符串，能获取整行数据。 public String nextInt(); 获取整数类型的数据 public String next(); 获取用户录入的字符串，但是只能获取空格以前的内容

JAVA 数组 + 面向对象一、数组1. 数组的基本使用数组的概念： 数组就是用来同时存储多个同类型元素的容器JAVA ： [1,2,3,4,5] JAVA 是强类型语言， 不能存储其他类型的数据， 要整型都是整型 ；要字符串 都是字符串。python [1,2,“curry”,“james”] python 的list列表可以同时存储多个类型的数据。后面会整理一些 数据结构和算法 的文章 后期会发布 大家可以看看。格式：动态初始化： 我们指定长度，由系统给出默认值。

一、Java基本介绍1.Java 简介Sun公司（Stanford University NetWork）美国的斯坦福大学 在1995年推出的高级编程语言。Java之父： 詹姆斯 • 高斯林（James Gosling）Sun公司在2009年被甲骨文（Oracle）公司给收购了。1.1 Java的优势使用最广泛，且简单易学Java 是一门强类型语言Java 有非常完善的异常处理机制Java提供了对于大多数大数据的基础性支持2. Java开源的跨平台语言开源指的是Java的

Spark相关内容3 RDD相关内容3.1 什么是RDD？RDD：**弹性分布式数据集**RDD出现的目的：主要用于支持迭代计算，并且提升迭代计算的效率3.2 RDD的五a大特性：（必须具备）可分区的（必须具备）计算函数（对每个分区进行计算操作）（必须具备）存在依赖 （上一步每执行完 下一步无法执行 需要上一步的结果）（可选）对于key-value数据存在分区计算函数（可选）移动数据不如移动计算（将计算程序运行在离数据越近越好） —距离优化其中前3个特性是每一个

1、hive的相关优化1.1 hive的压缩配置压缩有什么用？'好处'： 在有限的空间下，存储更多的资源'坏处'： 压缩和解压需要消耗额外的资源 通过压缩 优化MR 提升效率位置一： 'map阶段的输出结果上' '好处一'：当reduce在拉取数据的时候，由于数据已经压缩，所以整个数据量减少，从而减少网络带宽，提升拉取的效率 '好处二'：在一些特殊情况下，整个MR只有map 没有reduce的，此时map输出的结果就是最终的结果，对结果进行压缩，减少磁盘存储，提升磁盘利用率位置

1、Hive的参数配置./hive 是hive的第一代客户端，次客户端，主要有两大作用 用于执行一些交互式或者批处理的操作，第二大作用，是用于启动hive的各项服务第一大作用：交互式（了解）./hive 进入交互式 进入之后，可以在客户端内部，不断和hive进行相关操作，在一个会话中，可以不断和hive进行交互批处理 批处理: 指的在不进入hive的交互窗口下, 即可操作hive, 主要是linux的命令行下操作 好处: 主要的目的是为了后续在linux的脚本中连接hive进行

1、DDL其他语法说明都对库的相关操作-- 创建库的语法：create database [if not exists] database_name;-- 查看库的详细信息：携带上extended会看到更为详细的库信息describe database [extended] db_name;-- 查看所有的库show database；-- 如何使用库use db_name;-- 如何删除库drop database db_name；对于表的相关的操作:show ta

1、SQl 四大定义语言DDL： 数据库定义语言 注意: 不涉及对表数据的操作DML： 数据库操作语言DQL ：数据库查询语言DCL：数据库控制语言Hive的建库建表语句tempproary：临时，通过此关键词可以创建一张临时表（仅在当前会话有效）eg： create tempproary table if not exists 数据库名.表名；external：外部的 通过此关键词可以创建一个外部表eg： create external table if not exists 数

hive的安装操作第一步：修改 hadoop的 core-site.xml中, 添加以下内容:#修改hadoop 配置文件 etc/hadoop/core-site.xml,加入如下配置项<property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value></property><property> <name>

数据仓库的基本概念数据库和数据仓库的区别：数据库 On-Line Transaction Processing（OLTP）：存储数据的仓库 一般用于事务操作，主要是用于捕获数据 要求延迟性较低数据仓库 On-Line Analytical Processing（OLAP）：存储数据的仓库 吗，面向于主题（分析）的，一般是保存过去的历史数据，主要是对这些数据进行统计分析，对未来提供决策支持，一般对延迟没有特备要求何为数据分析呢？指的从数据容器中,根据需求要求获取相关的数据的过程(数据查询操作)

HDFS相关内容HDFS介绍HDFS是Hadoop Distribute File System 的简称，意为：Hadoop分布式文件系统。是Hadoop核心组件之一，作为最底层的分布式存储服务而存在。**分布式文件系统解决的问题就是大数据存储**Hadoop 生态图HDFS的重要特性首先，它是一个文件系统，用于存储文件，通过统一的命名空间目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS 的节点NameNode负责管理

Hadoop 介绍Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架）：解决海量数据计算当下的Hadoop已经成长为一个庞大的体系，随着生态系统的成长，新出现的项目

Zookeeper基本知识1、Zookeeper 作用：是用来管理hadoop服务 实现hadoop的高可用（HA）主服务 备份服务2、Zookeeper 是一个分布式协调服务的开源框架 主要是用来解决分布式集群中应用系统的一致性问题3、Zookeeper 本质上是一个分布式的小文件存储系统Zookeeper的特性：全局数据一致： 集群中每个服务器保存一份相同的数据副本 ，客户端（client）无论链接到那个服务器，展示的数据都是一致的。可靠性： 如果消息被其中一台服务器接收 那么将被所

大数据入门 离线第一阶段大数据的特点：Volume：数据量大，包括采集、存储和计算的量都非常大；Variety：种类和来源多样化 。包括结构化、半结构化和非结构化数据；Value：数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵；Velocity：数据增长速度快，处理速度也快，时效性要求高；Vwracity：数据逇准确性和可信赖度，即数据的质量。数据的分析基本步骤：明确分析目的确保分析框架的体系化和逻辑性，简单来说就是先分析什么，后分析什么，使得各个分析点之间具有逻辑联系明白本

数据推断目标： 知道数据推断使用的业务场景 使用SQL 完成关键指标推断逻辑业务背景 确失关键指标场景 一家餐厅想要通过 数据分析 数据挖掘提升销量 但是在历史记录的数据中 缺少了重要的一个维度 用餐人数梳理思路 ：1、如何 根据数据确定就餐人数- 可以将菜单数据分成几类 根据不同种类食物的点单量来推断就餐人数1、例如 主食类 饮料 小吃 酱料 主菜- 确定判断的规则：1、1份主食对应1个人 （1:1）2、1份主菜对应1个人 （1:1）

数据分析---------指数计算指数计算是用来干什么的？数据分析 /大数据分析的目的是为了用数据驱动运营 用数据驱动业务增长（数据驱动设计，数据驱动决策········）数据分析的几个层次- 描述性分析1、做数据驱动最基础的层次就是描述性分析2、建立一套数据指标来描述业务3、使用指标建立相关的报表（日报，周报，月报）4、利用指标 监控每天的业务运行情况方便及时发现问题- 诊断性分析- 预测分析 - 规范分析啥是个数据指标 确定一系列标准 衡量目标 与既定目标相比较有啥作用呢