群山的博客

原创 MySQL监听地址配置

网络检测ping# replica 操作(slave)ping source_host 需要ping通端口配置netstat systemctl# source 操作 (master)netstat -ntpl | grep 3306tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN -tcp6 0 0 :::3306 :::*

原创 集群各节点时钟同步

目录集群时钟不同步 可能导致的问题各节点均可访问互联网手动自动化有一台不可以连接网络集群时钟不同步 可能导致的问题同一时刻数据库内可能数据不一致各节点均可访问互联网ntp常用服务器：中国国家授时中心：210.72.145.44NTP服务器(上海) ：ntp.api.bz美国：time.nist.gov复旦：ntp.fudan.edu.cn微软公司授时主机(美国) ：time.windows.com手动ntpdate -u ntp.api.bz自动化# 多服务器 40个for i

原创 事务隔离级别

目录脏写脏读脏读,脏写总结不可重复读脏读和不可重复读区别幻读单个事务满足ACID;读未提交read uncommitted读提交read committed不可重复读read repeatable序列化serializable脏写dirty write脏读dirty read√√√不可重复读Non-Repeatable Read√√幻读Phantom√各级别均是在事务并发执行时的可能发生的场景.脏写操作事务A

原创 数据库理论-三大范式

目录第一范式 1NF第二范式 2NF第三范式 3NF第一范式 1NF任何属性都是不可分割.范例:学生{身份证号,姓名,性别,出生日期,年龄,所属系{系名,系主任}}这里的所属系 就是可以分割的.分解成:学生{身份证号,姓名,性别,出生日期,年龄,系ID}系{系ID,系名,系主任}不满足第一范式可能造成得问题:信息冗余,每个学生记录都包含系信息,造成空间资源得浪费;插入异常,如果是新系没有学生就无法添加系信息;删除异常,如果将某系的学生全部删除,该系也不复存在了;例外

原创 四 InnoDB行记录结构 思维导图

MySQL 是怎样运行的：从根儿上理解 MySQL四

原创 加密-认证 思维导图

原创 虚拟机扩大硬盘Linux系统修复

背景虚拟机硬盘太小,扩大硬盘容量运行命令 sudo fdisk -lGPT PMBR size mismatch (62914559 != 83886079) will be corrected by write.The backup GPT table is not on the end of the device. This problem will be corrected by write.修复sudo parted -l# fix...

原创 Mysql5.7 安装及配置指南-linux版

背景在现在默认 sudo apt-get install mysql-server安装的是8.0版本的MySQL.现在想要配置低版本的MySQL 如5.7,就需要用其他命令配合.系统 Ubuntu 20.04步骤安装必要配件#更新库sudo apt-get update#安装wget #从网络上自动下载文件的自由工具sudo apt-get install wget#dpkg#管理工具，可以用来安装、构建、卸载、管理 deb 格式的软件包。sudo apt-get install

原创 Unknown collation ‘utf8mb4_0900_ai_ci‘”

背景MySQL高版本8.0数据备份到低版本5.7低版本恢复数据出现Unknown collation: 'utf8mb4_0900_ai_ci'”错误原因高版本新数据类型低版本不兼容,换成兼容的就行了.解决vim backdb.sql# 将`utf8mb4_0900_ai_ci` 换成 `utf8mb4_general_ci` 输入#命令格式:%s/\<foo\>/bar/g foo换成bar:%s/\<utf8mb4_0900_ai_ci\>/utf8mb4

原创 Linux 卸载MySQL

背景在某些情况下我们可能需要降级版本,这时卸载删除干净MySQL就显得尤为重要不然可能就会出现E: Unable to correct problems, you have held broken packages.系统版本 Ubuntu 20.04步骤关闭MySQL服务sudo systemctl stop mysql删除MySQL的配置文件和数据.如果MySQL安装在其他地方需要删除相应位置的文件sudo rm -rf /etc/mysql /var/lib/mysql

原创 MySQL各版本时间线

版本新功能备注5.6支持全文检索Full Text index新增innodb_page_size默认16KB,可以设置4096, 8192, 16384, 32768, 65536 单位字节BICP 索引条件下推引擎层直接过滤数据，减少回表数据explain语句支持insert，update，delete，replace语句，支持JSON格式5.7explain一个正在运行的SQLsys schema包含了一系列视图、函数和存储过...

原创 索引-MySQL

一 MySQL 索引分类索引是一种数据结构.作用:是数据库管理系统中一个排序的数据结构，以协助快速查询、更新数据库表中数据。1.按存储结构分类BTree索引（B+Tree索引），Hash索引，full-index全文索引，R-Tree索引Btree索引( MySQL默认) UNIQUE KEY `idx_no` (`num`) USING BTREEBTree 索引顺序存储,便于范围查找.Hash索引基于哈希表实现，只有精确匹配索引所有列的查询才有效，对于每一行数据，存储引擎都

原创 MySQL别名不能用于本次条件查询原因

先看例子mysql> SELECT id,b AS B1 from test where B1 > 2;ERROR 1054 (42S22): Unknown column 'B1' in 'where clause'mysql> SELECT * from (SELECT id,b AS B1 from test) u where B1>2;+----+------+| id | B1 |+----+------+| 1 | 4 || 3 |

原创 项目管理-版本基线

基线基线是软件文档或源码( 或其它产出物)的一个稳定版本,它是进一步开发的基础.软件基线是项目储存库中每个工件版本在特定时期的一个“快照”。参与项目的开发人员将基线所代表的各版本的目录和文件填入他们的工作区。随着工作的进展，基线将合并自从上次建立基线以来开发人员已经交付的工作。变更一旦并入基线，开发人员就采用新的基线，以与项目中的变更保持同步。调整基线将把集成工作区中的文件并入开发工作区。建立基线后，需要标注所有组成构件和基线，以便能够对其进行识别和重新建立。重现性、可追踪性和报告建立基线的三

原创 属性依赖集闭包求解

求解关系模式中,属性的闭包 XF+X_F^+XF+​ / X+X^+X+已知关系模式R(U,F),U = {A,B,C,D,E},F = {A→B,D→C,BC→E,AC→B},求(AE)+(AE)^+(AE)+列出AE子集 A、E、AE分别对上述子集求关于F中的函数依赖,如A→B,将B加入到AE中 ABE对新加入的B形成的新属性集ABE 重复上述过程对所有子集完成上述过程,算法终止本例中形成的闭包,(AE)+(AE)^+(AE)+=ABEABEABE...

原创 Win10 右键 一直转圈

亲测火绒-安全工具-右键管理尝试关闭可疑图标.关闭一个右键是否正常不正常则恢复这个重复此过程直到正常

原创 C语言指针,C++引用

#include <stdio.h>//int 引用void swap(int &m,int &n){ int temp = m; m = n; n = temp; return;}//int 指针void swap2(int *m,int *n){ int temp = *m; *m = *n; *n = temp; return;}//int 指针 引用void swap3(int* &m,int* &n){ int *tem

转载 Python 学习完基础语法知识后，如何进一步提高？

感谢 @壮壮 妖. 我觉得这基础离写程序还不够,就算看也只能停留在小脚本这个水平. 遇到复杂的语法或者调用了模块还是搞不定的. 我个人建议买本<python核心编程2>或者<python高级编程>去读. 读的过程体验它的例子, 还可以在读的过程中或者看完之后去尝试写一些程序. 程序是和自己的工作或者兴趣相关. 可以先实现, 然后优化/加feature. 过程中出现困难或者不知道改怎么进行思路可以去google/github/stackoverflow上面找类似的问题或者项目, 尝试理

原创 win10硬盘100% 处理3种方法

方法1.修改注册表:　　具体方法：　　1、按下WIN+R调出运行，然后输入 regedit 回车;　　2、在注册表编辑器中定位到：HKEY_LOCAL_MACHINESYSTEMCurrentControlSetServices;　　3、找到OneSyncSvc、OneSyncSvc_Session1、UserDataSvc、UserDataSvc_Session1将start值改为4;　　4、退出注册表编辑器，然后重启Win10系统即可。方法2.关服务控制面板–管理工具–服务.

原创 c++中的auto、const auto&

auto：在块作用域、命名作用域、循环初始化语句等等 中声明变量时，关键词auto用作类型指定符。const:修饰符​ 想要拷贝元素：for(auto x:range)​ 想要修改元素 : for(auto &&x:range)​ 想要只读元素：for(const auto& x:range)auto​ auto即 for(auto x:range) 这样会拷贝一份range元素，而不会改变range中元素；但是！（重点) 使用for(auto

原创 error: ‘＞＞‘ should be ‘＞ ＞‘ within a nested template argument list

vector<vector<char>>将">>“中间加个空格变成”> >"vector<vector<char> >原因:在使用C++提供的标准模板库(Standard Template Library,STL)时,typename 也就是代码中的菱形符号中的vector是一个STL标准容器,在使用C++11之前标准的编译器将">>“视为移位符号,导致编译错误"error: ‘>>’ should

原创 SSH安装配置SSH无密码登陆

集群,单节点模式SSH登录,安装SSH server:

翻译 Hadoop-ConnectionRefused-Call From localhost/127.0.0.1 to localhost:9000 failed on connection..

异常文本声明的是连接失败的主机名和端口.这个端口能用于标识服务.例如,9000是HFFS的端口.查阅 Ambari port reference,Hadoop管理工具供应商.

原创 Hive3.2.1安装配置 linux

Linux version : Ubuntu 20.04 LTS (GNU/Linux 5.4.0-40-generic x86_64)MySQL version : 8.0.20-0ubuntu0.20.04.1 (Ubuntu)Hive version: 3.1.2

原创 Mysql8.0 安装及配置指南-linux版

环境Ubuntu 20.04下载安装MySQL#自动同步下载:#mysql-client-8.0 mysql-client-core-8.0 mysql-server-8.0 mysql-server-core-8.0$ sudo apt install mysql-server修改root密码# 第一次登录 in bash$ sudo mysql -u root# 进入mysql> use mysql;#修改密码> ALTER USER 'root'@'localho

原创 JDK、JRE、JVM联系区别浅析

1.JVMJVM（Java Virtual Machine,Java虚拟机）.JVM是一个虚构的计算机,可以仿真模拟各种计算机功能实现.JVM在执行字节码时,把字节码解释成目标平台的机器指令执行.实现Java的"一次编译,到处运行".2.JREJRE（Java Runtime Environment，Java运行环境）.包含:JVM标准实现,Java核心类库(rt.jar).JRE是Java的运行环境,程序解释class时,调用解释所需的类库lib.安装/解压的jre包含两个

原创 Linux shell 常用命令-持续更新

查看IP地址$ ip address$ ifconfig查看目录中文件$ ls #默认当前目录下文件列表 ,指定文件目录 ls /etc$ ls -ll #目录下文件权限,归属,大小其他更改主机名#westos为想要更改的主机名，命令执行即生效$ hostnamectl set-hostname westos # 重启$ reboot ...

翻译 Hadoop3.2.1命令指南-持续更新

Hadoop 3.2.1 Commands Guide概览所有的Hadoop命令和子项目命令都是如下基本结构:#用法shellcommand [SHELL_OPTIONS] [COMMAND][GENERIC_OPTIONS] [COMMAND_OPTIONS]字段描述shellcommand被调用的项目的命令.例如,Hadoop通常使用hadoop,HDFS 使用 hdfs,YARN 使用 yarnSHELL_OPTIONSshell在执行Java之前处理的选项.

原创 Maven在Win10系统下配置

配置远程镜像依此打开Maven安装目录 > conf目录 > setting.xml 文件 > 在<mirrors> 标签中添加 阿里库<mirror> <id>alimaven</id> <name>aliyun maven</name> <url> http://maven.aliyun.com/nexus/content/groups/public/</url> &

原创 vim常用命令-持续更新

vim模式正常模式 (Normal-mode)默认进入的模式,其他模式下按ESC键进入.正常模式用于浏览文件,光标移动的单位一般有,字符、单词、行、句、段、屏幕.插入模式 (Insert-mode)正常模式下单击 i,进入插入模式插入模式就是输入文本到文件中.命令模式 (Command-mode)正常模式下单击：（冒号）键，会进入命令模式在命令模式中可以执行 一些输入并执行一些vim或插件提供的指令，就像在shell里一样。这些指令包括 设置环境、文件操作、调用某个功能等等。可视模式

原创 ssh连接失败.提示WARNING POSSIBLE DNS SPOOFING DETECTED

vim ~/.ssh/known_hosts#删除掉刚才那个IP对应的公钥,保存即可

原创 Ubuntu国内镜像快速下载(华为云\阿里云)

华为云镜像地址:http://mirrors.huaweicloud.com/repository/ubuntu-releases/阿里云镜像地址:http://mirrors.aliyun.com/ubuntu-releases/

原创 Ubuntu 20.04 修改源镜像地址

修改Ubuntu20.04 默认源为国内源修改> sudo vim /etc/apt/source.listhttp://archive.ubuntu.com/ubuntu/修改成国内阿里云库:http://mirrors.aliyun.com/ubuntu/> # 更新 软件列表> sudo apt update > # 更新 软件> sudo apt upgrade...

原创 Hadoop面试百问

Hadoop面试百问Hadoop1和Hadoop2的区别

原创 WarningPermanently added (RSA) to the list of known hosts的警告

当主机使用ssh免密码登录时或者启动start-dfs.sh，弹出Warning:Permanently added (RSA) to the list of known hosts的警告，看着很碍眼。通过以下方法进行解决：/etc/ssh/ssh_config（名称节点,数据节点均需要设置）找到#StrictHostKeyChecking ask去掉注释，并把ask改为no即可...

原创 大数据开发面试经验

大数据开发面试题目Hadoop介绍 MapReduce 的运行过程 ，shuffle 过程如果在现场，我可以手绘 MapReduce 从 InputFormat 到 OutputFormat 的流程，一边画图一边说。如果讲到环形缓冲区那里，是不是有很多调优的方式. combiner 也可以考虑讲一下。Hadoop 集群的搭建过程至少自己集群的配置. 框架的技术选型是不是都要清楚的明明白白。Hadoop 优化HDFS 小文件的影响 . 输入输入时的小文件的处理Map 阶段 和

原创 ubuntu20.04设置静态IP

ubuntu20.04设置静态IP配置好后的文件1 需要把配置文件修改为以下内容：ubuntu:~$ sudo vi /etc/netplan/50-cloud-init.yamlnetplan文件夹中的文件名可能不同.建议查询一下 yaml文件的格式规则2 写入IP相关假设IP地址修改为192.168.1.100，子网掩码24位即255.255.255.0，网关设置为192.168.1.1，DNS1：223.5.5.5，DNS2：223.6.6.6DNS 设置可以看看腾讯,阿里dns3