- 博客(79)
- 收藏
- 关注
RSS订阅
原创 编程入门理论知识
1.概述计算机包括硬件(hardware)和软件(software)两部分。硬件包括计算机中可以看得见的物理部分。而软件提供看不见的指令。这些指令控制硬件并且使得 硬件完成特定的任务。程序设计（设计程序）定义：创建（或开发）软件（写代码）。软件包含了指令（代码），告诉计算机做什么。 应用场景：软件遍布我们周围。除了个人计算机，飞机、汽车、手机甚至烤面包机中，同样运行着软件。 程序设计语言 软件开发人员在称为程序设计语言的强大工具的帮助下创建软件。（java，python
2022-05-23 21:55:20
664
原创 Java语言概述
Java基础是学习JavaEE、大数据、Android开发的基石！案例举例：Spring – Rest(Spring MVC)举例：Spark – Spark StreamingJava基础知识图解Java基础课程概述第一部分：编程语言核心结构 主要知识点：变量、基本语法、分支、循环、数组、… 第二部分：Java面向对象的核心逻辑 主要知识点：OOP、封装、继承、多态、接口、… 第三部分：开发Java SE高级应用程序 主要知识点..
2022-05-24 22:13:22
270
原创 IDEA基本使用（十六）：删除Module
右键单击Module，选择Load/Unload Modules...选中要删除的Module，点击Unload右键点击Module，选择Remove Mdoule再次右键点击Module，选择Delete
2022-04-19 17:35:13
2813
原创 IDEA基本使用（十五）：文件创建时添加注释
进入配置界面：File→SettingsEditor → File and Code Templates → class输入下列内容/***@auther xxx*@date ${DATE} ${TIME}*/如：即可显示创建时间作者xxx
2022-04-19 17:25:48
908
原创 Scala（四）：程序流程控制
1.程序流程控制介绍在程序中，程序运行的流程控制决定程序是如何执行的，是我们必须掌握的，主要 有三大流程控制语句。温馨提示：Scala语言中控制结构和Java语言中的控制结构基本相同，在不考虑特 殊应用场景的情况下，代码书写方式以及理解方式都没有太大的区别1) 顺序控制2) 分支控制3) 循环控制2.顺序控制顺序控制介绍程序从上到下逐行地执行，中间没有任何判断和跳转。顺序控制举例和注意事项Scala中定义变量时采用合法的前向引用。如：def main(ar
2022-04-11 17:40:50
2026
原创 Shell（十一）：企业真实面试题（重点）
1.京东问题1：使用Linux命令查询file1中空行所在的行号答案：[用户@hadoop102 datas]$ awk '/^$/{print NR}' sed.txt 5问题2：有文件chengji.txt内容如下:张三 40李四 50王五 60使用Linux命令计算第二列的和并输出答案：[用户@hadoop102 datas]$ cat chengji.txt | awk -F " " '{sum+=$2} END{print sum}'150
2022-04-11 14:01:10
128
原创 Shell（十）：Shell工具（重点）
1.cutcut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。1.1 基本用法cut [选项参数] filename说明：默认分隔符是制表符1.2 选项参数说明选项参数 功能 -f 列号，提取第几列 -d 分隔符，按照指定分隔符分割列 1.3 案例实操（0）数据准备[用户@hadoop101 datas]$ touch cut.txt[用户@
2022-04-11 13:55:34
141
原创 Shell（九）：函数
1.系统函数1.1 basename基本语法basename [string/ pathname] [suffix] （功能描述：basename命令会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来。选项：suffix为后缀，如果suffix被指定了，basename会将pathname或string中的suffix去掉。1.2 案例实操（1）截取该/home/atguigu/banzhang.txt路径的文件名称[用户@hadoop101...
2022-04-11 11:49:07
81
原创 Shell（八）：read读取控制台输入
1.基本语法read(选项)(参数) 选项：-p：指定读取值时的提示符；-t：指定读取值时等待的时间（秒）。参数 变量：指定读取值的变量名2.案例实操（1）提示7秒内，读取控制台输入的名称[用户@hadoop101 datas]$ touch read.sh[用户@hadoop101 datas]$ vim read.sh#!/bin/bashread -t 7 -p "Enter your name in 7 seconds...
2022-04-11 11:42:23
214
原创 Shell（七）：流程控制（重点）
1.if 判断1.1基本语法if[ 条件判断式 ];then 程序fi 或者if [ 条件判断式 ] then 程序fi 注意事项：（1）[ 条件判断式 ]，中括号和条件判断式之间必须有空格（2）if后要有空格1.2案例实操[用户@hadoop101 datas]$ chmod 777 if.sh [用户@hadoop101 datas]$ ./if.sh 1（1）输入一个数字，如果是1，则输出banzhangzhe...
2022-04-11 11:40:05
83
原创 Shell（六）：条件判断
1.基本语法[ condition ]（注意condition前后要有空格）注意：条件非空即为true，[用户]返回true，[] 返回false。2.常用判断条件（1）两个整数之间比较 = 字符串比较 -lt 小于（less than） -le 小于等于（lessequal） -eq 等于（equal） -gt 大于（greater than） -ge 大于等于（greater
2022-04-08 17:50:24
380
原创 Shell（五）：运算符
1.基本语法（1）“$((运算式))”或“$[运算式]”（2）expr + , - , \*, /, % 加，减，乘，除，取余注意：expr运算符间要有空格2.案例实操（1）计算3+2的值[用户@hadoop101 datas]$ expr 2 + 35（2）计算3-2的值[用户@hadoop101 datas]$ expr 3 - 2 1（3）计算（2+3）X4的值（a）expr一步完成计算[用户@hado...
2022-04-08 17:40:53
112
原创 Shell（四）：变量
1.系统变量1.1 常用系统变量$HOME、$PWD、$SHELL、$USER等1.2 案例实操（1）查看系统变量的值[用户@hadoop101 datas]$ echo $HOME/home/用户（2）显示当前Shell中所有变量：set[用户@hadoop101 datas]$ setBASH=/bin/bashBASH_ALIASES=()BASH_ARGC=()BASH_ARGV=()2.自定义变量2.1 基本语法（1）定义
2022-04-08 17:37:08
152
原创 Shell（三）：脚本入门
1. 脚本格式脚本以#!/bin/bash开头（指定解析器）2.第一个Shell脚本：helloworld（1）需求：创建一个Shell脚本，输出helloworld（2）案例实操：[用户@hadoop101 datas]$ touch helloworld.sh[用户@hadoop101 datas]$ vim helloworld.sh在helloworld.sh中输入如下内容#!/bin/bashecho "helloworld"（3）脚本的常用执行方
2022-04-08 17:14:21
130
原创 Shell（二）：解析器
1.解析器1.1 Linux提供的Shell解析器[用户@hadoop101 ~]$ cat /etc/shells/bin/sh/bin/bash/sbin/nologin/bin/dash/bin/tcsh/bin/csh1.2 bash和sh的关系[用户@hadoop101 bin]$ ll | grep bash-rwxr-xr-x. 1 root root 941880 5月 11 2016 bashlrwxrwxrwx. 1 root roo
2022-04-08 17:02:09
311
原创 Shell（一）：概述
1.原因大数据程序员为什么要学习Shell呢？1）需要看懂运维人员编写的Shell程序。2）偶尔会编写一些简单Shell程序来管理集群、提高开发效率。2.概述
2022-04-08 16:56:41
154
原创 Scala（三）：运算符
1.运算符介绍运算符是一种特殊的符号，用以表示数据的运算、赋值和比较等。1) 算术运算符2) 赋值运算符3) 比较运算符(关系运算符)4) 逻辑运算符5) 位运算符2.算术运算符介绍算术运算符(arithmetic)是对数值类型的变量进行运算的，在Scala程序中使用的非常多。算术运算符一览运算符 运算 范例 结果 + 正号 +3 3 - 负号 b=4; -b -4 + 加 5+.
2022-03-22 18:33:03
405
原创 Scala（二）：变量
1.为什么需要变量一个程序就是一个世界，在scala中一切都是对象2.变量是程序的基本组成单位不论是使用哪种高级程序语言编写程序,变量都是其程序的基本组成单位，比如：object ScalaFunDemo01 { def main(args: Array[String]): Unit = { var a : Int = 1 //定义一个整型变量,取名a,并赋初值1 var b : Int = 3 //定义一个整型变量,取名b,并赋初值3.
2022-03-22 14:07:04
574
原创 Scala（一）：概述
1.学习Scala的原因1.1 why is Scala语言？1) Spark—新一代内存级大数据计算框架，是大数据的重要内容。2) Spark就是使用Scala编写的。因此为了更好的学习Spark, 需要掌握 Scala这门语言。3) Scala 是 Scalable Language 的简写，是一门多范式(范式/编程方式[面向对象/函 数式编程])的编程语言4) 联邦理工学院洛桑（EPFL）的Martin Odersky于2001年开始设计Scala5) Spark的兴起，带动
2022-03-18 15:30:44
2977
原创 Java基本语法（十四）：定时任务
1.格式：秒 分钟 小时 日 月 星期 年字段名 允许的值 允许的特殊字符 秒 0-59 , - * / 分 0-59 , - * / 小时 0-23
2022-03-10 10:11:31
578
原创 MySql（一）：概述
1. 为什么要使用数据库持久化(persistence)：把数据保存到可掉电式存储设备中以供之后使用。大多数情况下，特别是企 业级应用，数据持久化意味着将内存中的数据保存到硬盘上加以”固化”，而持久化的实现过程大多 通过各种关系数据库来完成。持久化的主要作用是将内存中的数据存储在关系型数据库中，当然也可以存储在磁盘文件、XML数 据文件中。2. 数据库与数据库管理系统2.1 数据库的相关概念...
2022-01-17 16:40:57
127
原创 Hadoop（七）：生产调优手册
1.HDFS—核心参数1.1NameNode内存生产配置1）NameNode内存计算 每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？ 128 * 1024 * 1024 * 1024 / 150Byte ≈ 9.1亿 G MB KB Byte2）Hadoop2.x系列，配置NameNode内存 NameNode内存默认2000m，如果服务器内存4G，NameNode内...
2022-01-17 15:00:59
335
原创 Hadoop（六）：Yarn
1.Yarn资源调度器思考：1）如何管理集群资源？2）如何给任务合理分配资源？Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。1.1 Yarn基础架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。1.2Yarn工作机制（1）MR程序提交到客户端所在的..
2022-01-17 10:43:39
1385
2
原创 Hadoop（五）：MapReduce（二）
3.4 OutputFormat数据输出3.4.1 OutputFormat接口实现类3.4.2 自定义OutputFormat案例实操 1.需求过滤输入的log日志，包含atguigu的网站输出到e:/atguigu.log，不包含atguigu的网站输出到e:/other.log。（1）输入数据log.txthttp://www.baidu.comhttp://www.google.comhttp://cn.bing.comhttp://www...
2022-01-12 16:44:53
501
原创 Hadoop（四）：MapReduce（一）
1.MapReduce概述1.MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。2.MapReduce优缺点 1.优点1）MapReduce易于编程它简单的实现一些接口，就可以完成一个分布式程序，这个分布式...
2022-01-05 15:29:50
243
原创 Hadoop（三）：HDFS
1.概述1.HDFS产出背景及定义 1.HDFS产生背景：随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种 2.HDFS定义：HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；...
2022-01-04 11:57:21
1531
原创 脚本（三）：jpsall(查看三台服务器Java进程脚本)
#!/bin/bash for host in hadoop102 hadoop103 hadoop104do echo =============== $host ===============ssh $host jpsdone
2022-01-04 09:14:14
1229
原创 脚本（二）：myhadoop(Hadoop集群启停脚本)
#!/bin/bash if [ $# -lt1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " =================== 启动hadoop集群 ===================" echo " --------------- 启动hdfs ---------------" ssh hadoop1.
2022-01-04 09:12:31
205
原创 Hadoop（二）：入门
1.概念 1.Hadoop是什么 1.由Apache基金会所开发的分布式系统基础架构2.主要解决，海量数据的存储和海量数据的分析计算问题 3.广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈 2.Hadoop发展历史 1.Hadoop创始人Doug Cutting，为了实现与Google类似的全文搜索功能，他在Lu...
2021-12-31 12:01:43
2102
1
原创 SpringCloud：Nacos(服务注册和配置中心)
1.Nacos安装1.本地Java8+Maven环境已经OK先2.从官网下载Nacos3.解压安装包，直接运行bin目录下的startup.cmd4.命令运行成功后直接访问http://localhost:8848/nacos，默认账号密码都是nacos5.结果页面2.Nacos之服务提供者注册 1.官方文档：官方文档 2.新建Module - cloudaliba...
2021-12-30 19:38:40
831
原创 SpringCloud：GateWay(网关)
1.概念 1.Spring Cloud Gateway 使用的Webflux中的reactor-netty响应式编程组件，底层使用了Netty通讯框架，异步非阻塞。2.应用场景：反向代理、鉴权、流量控制、熔断、日志监控3.与Zuul的区别2.核心概念 1.动态路由：能够匹配任何请求属性，是构建网关的基本模块，它由ID，目标URI，一系列的断言和过滤器组成，如果断言为true则匹配该路由 2.断言：参考的是JAVA8的java.util.f...
2021-12-30 09:40:12
137
原创 脚本（一）：xsync(分发脚本)
#!/bin/bash#1. 判断参数个数if [ $# -lt1 ]then echo Not Enough Arguement! exit;fi#2. 遍历集群所有机器for host in hadoop102 hadoop103 hadoop104do echo ==================== $host ==================== #3. 遍历所有目录，挨个发送 for file in $@ do .
2021-12-29 16:15:03
617
原创 Hadoop（一）：概论
1.大数据概念大数据(Big Data)：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。2.大数据特点(4V) 1.Volume(大量) 2.Velocity(高速) 3.Variety(多样) 4.Value(低价值密度)3.大数据的应用场景 1.抖音 ...
2021-12-28 15:26:04
776
原创 Springboot2总结
1.知识体系：Springboot2笔记总结_笔记别偷看-CSDN博客_springboot2笔记2.注解：SpringBoot注解大全_smilejiasmile的博客-CSDN博客_springboot注解大全
2021-12-24 09:37:14
158
原创 SpringBoot2（八）：原理解析
1.Profile功能 1.application-profile功能 2.@Profile条件装配功能 3.profile分组2.外部化配置 1.外部配置源 2.配置文件查找位置 3.配置文件加载顺序 4.指定环境优先，外部优先，后面的可以覆盖前面的同名配置项3.自定义starter 1.starter启动原理 2.自定义starter...
2021-12-24 09:29:27
102
原创 SpringBoot2（七）：指标监控
1.SpringBoot Actuator 1.简介 2.1.x与2.x的不同 3.如何使用 4.可视化2.Actuator Endpoint 1.最常使用的端点 2.Health Endpoint 3.Metrics Endpoint 4.管理Endpoints 1.开启与禁用Endpoints ...
2021-12-23 18:02:30
209
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人