总结性文章
May--J--Oldhu
这个作者很懒,什么都没留下…
展开
-
Hadoop分布式计算框架MapReduce(一)
Hadoop分布式计算框架MapReduce一.MapReduce基础1. MapReduce定义2.MapReduce优缺点(1)优点(2)缺点3.MapReduce的设计思想二.MapReduce简单示例WordCount 的实现1 .Map端2.reduce端3.Driver端4.打jar包三.Hadoop序列化1.为什么序列化2.什么是序列化3.为什么不用java的序列化4.为什么序列化对Hadoop很重要?5.常用数据序列化类型6.示例四.MapReduce框架原理1.MapReduce执行过程1原创 2020-10-02 15:32:19 · 481 阅读 · 0 评论 -
MySQL常用函数
MySQL常用函数MySQL函数1.数学函数2.字符串函数3.日期和时间函数4.系统信息函数5.统计函数MySQL函数1.数学函数SELECT ABS(-8);#绝对值SELECT CEILING(9.1);#大于等于我的最小的整数SELECT FLOOR(9.1);#小于等于我的最大的整数SELECT RAND();#返回0-1之间的随机数SELECT RAND(10);#以某个数作为种子,返回重复随机数SELECT ROUND(5.6,2);#保留小数位数,四舍五入SELECT TRU原创 2020-08-20 13:12:27 · 240 阅读 · 0 评论 -
MySQL常用命令大全
MySQL常用命令大全1.命令行指令(1)启动mysql(2)连接与断开服务器2.数据库操作(1)查看当前数据库(2)显示当前时间,用户名,数据库版本(3)创建库(4)查看已有库(5)查看当前库信息(6)修改库的选项信息(7)选择数据库(8)删除库3.表操作(1)创建表(2)查看所有表(3)查看表结构(4)修改表1)修改表本身的选项2)对表进行重命名3)修改表的字段结构(5)删除表(6)清空表数据(7)复制表结构(8)复制表结构和数据4.数据操作5.字符集编码6.查询语句(1)select_expr(2)f原创 2020-08-20 12:28:19 · 791 阅读 · 0 评论 -
ZooKeeper基本概述,作用以及选举机制
ZooKeeper一.ZooKeeper基础1.ZooKeeper概述2.ZooKeeper的设计目标二.ZooKeeper的作用及优势1.为什么需要ZooKeeper2.ZooKeeper作用三.ZooKeeper架构四.ZooKeeper内部原理1.选举机制2.节点类型一.ZooKeeper基础1.ZooKeeper概述ZooKeeper是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、 分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单原创 2020-09-15 22:59:18 · 586 阅读 · 0 评论 -
Hadoop YARN(产生背景,YARN架构,yarn作业提交全过程,jobhistoryserver使用,资源调度器,yarn常用命令)
Hadoop YARN一.YARN基础1.YARN产生背景2.YARN概述二.YARN架构三.YARN工作机制**工作机制详解**1.作业提交2.作业初始化3.任务分配4.任务运行5.作业完成四.Yarn提交MapReduce程序1.运行框架自带的Mapreduce程序2.执行WordCount程序3.启动JobHistoryserver五.Yarn的资源调度器六.Yarn常用命令1.任务管理2.节点管理一.YARN基础1.YARN产生背景在hadoop1.x中,MapReduce采用的是Master原创 2020-09-15 19:41:09 · 339 阅读 · 0 评论 -
Shell脚本(二)
Shell脚本(二)七.ehco命令八.printf命令九流程控制1.if2.for循环3.while语句4.until循环5.case6.break7.continue十.Shell函数十一.输入/输出重定向七.ehco命令用来字符串的输出 :echo string#!/bin/bash#1.显示普通字符串echo "It is a test"#2.显示转义字符echo "\"It is a test\""#3.显示变量read nameecho "$name It is a t原创 2020-08-30 14:28:54 · 436 阅读 · 0 评论 -
Shell脚本(一)
Shell脚本一.shell1.shell脚本编写2.运行Shell脚本两种方法二.shell变量1.定义变量2.使用变量: 在变量名前面加美元符号3.只读变量:变量不能被改变4.删除变量5.变量类型三Shell字符串1.单引号:字符原样输出,变量无效2.双引号:可以有变量3.字符串拼接:4.获取字符串的长度5.提取字符串6.查找字符串四.Shell 数组1.定义数组2.读取数组3.获取数组的长度五.传递参数1.脚本内获取参数的格式为六.shell基本运算符1.算数运算符一.shellshell是指一种原创 2020-08-30 11:31:01 · 580 阅读 · 0 评论 -
MySQL知识梳理(三)
八.视图1.定义:视图是存储在数据库中的查询的sql 语句,是一个虚拟表,其内容由查询定义2.作用:临时表,用来筛选3.优点: 1)简单化,数据所见即所得 2)安全性,用户只能查询或修改他们所能见到得到的数据 3)逻辑独立性,可以屏蔽真实表结构变化带来的影响4.缺点:性能差,修改不方便5.创建语法: CREATE VIEW '视图1' AS 查询语句 #在学生表和年级表形成视图,展示学生id,学生姓名,年纪id,年级名称原创 2020-08-22 21:05:45 · 204 阅读 · 0 评论 -
MySQL知识梳理(二)
MySQL知识梳理(二)四. SELECT 语法1.查询指定字段2. AS 子句1)作用:2)用法:3. DISTINCT 关键字4.select查询中可以使用表达式5. WHERE 指定结果需满足的条件1)LIKE 结合使用的通配符:%(0到任何字符), _一个字符2) IN (集合)3) NULL 空4)BETWEEN 值1 AND 值2:在两个值之间6.连接查询(1)内连接 INNER JOIN(同等值连接)(2)外连接 OUTER JOIN(3)等值连接(同内连接)(4)非等值连接(返回的行数,两原创 2020-08-22 20:53:38 · 832 阅读 · 0 评论 -
MySQL知识梳理(一)
MySQL知识梳理一.MySQL基本概念1.数据库(Database,检查DB)2.数据库分类3.数据库管理系统(DATABASE Management System)4.结构化查询语句二.数据库操作1.连接数据库2.创建数据库3.删除数据库4.查看数据库5.使用数据库三.数据表操作1.显示表结构2.显示表创建语句3.创建数据表(1)列类型(2)属性(3)索引1)索引分类2)创建索引3)查看索引4)删除索引5)全文索引查询(MATCH()AGAINST())(4)注释 COMMENT(5)表类型(6)表数据原创 2020-08-22 20:25:09 · 674 阅读 · 0 评论 -
HDFS概述,读写原理及shell命令(四)
HDFS概述,读写原理及shell命令一.HDSF概述1.产生背景2.HDFS的优缺点(1)HDSF的优点(2)HDFS的缺点3.HDFS设计目标(1)硬件故障(2)大规模数据集(3)移动计算比移动数据更经济二.HDFS架构1.Client:客户端2.NameNode:元数据节点3.DataNode:数据节点4.Secondary NameNode:从数据节点三.使用HDFS处理移动通信数据1.使用HDFS shell 完成移动通信业务数据管理操作2.使用Java API操作完成移动通信数据的管理四.HDF原创 2020-09-13 15:59:04 · 665 阅读 · 0 评论