- 博客(41)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Hadoop3_10
3.4 MapTask工作机制MapTask工作机制如图（1）Read阶段：MapTask通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。（2）Map阶段：该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value。（3）Collect收集阶段：在用户编写map()函数中，当数据处理完成后，一般会调用OutputCollector.collect()输出结果。在该函数内部，它会将生成的key/va
2021-07-21 10:05:44
213
原创 Hadoop3_11
3.8.2 数据清洗案例实操-复杂解析版1.需求对Web访问日志中的各字段识别切分，去除日志中不合法的记录。根据清洗规则，输出过滤后的数据。（1）输入数据weblog.txt（2）期望输出数据都是合法的数据2.实现代码（1）定义一个bean，用来记录日志数据中的各数据字段public class LogBean { private String remote_addr;// 记录客户端的ip地址 private String remote_user;// 记录客户端用户
2021-07-21 09:52:26
213
原创 Hadoop3_09
3.3 Shuffle机制3.3.1 Shuffle机制Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle。Mapreduce确保每个reducer的输入都是按键排序的。系统执行排序的过程（即将map输出作为输入传给reducer）称为shuffle。3.3.2 Partition分区(0）问题引出：要求将统计结果按照条件输出到不同文件中（分区）。比如：将统计结果按照手机归属地不同省份输出到不同文件中（分区）（1）默认partition分区public c
2021-07-20 09:13:13
212
原创 Hadoop3_08
2 Hadoop序列化2.1 序列化概述1：什么是序列化？序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。2：为什么要序列化？一般来说，"活的"对象只生存在内存里，关机断电就没有了。而且"活的"对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。然而序列化可以存储"活的"对象，可以将"活的"对象发送到远程计算机。3：为什么不用Jav
2021-07-20 09:07:49
197
原创 Hadoop3_07
1 MapReduce概述1.1 MapReduce定义Mapreduce是一个分布式运算程序的编程框架，是用户开发"基于hadoop的数据分析应用"的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。1.2 MapReduce优缺点1.2.1 优点（1）MapReduce 易于编程。它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的 PC 机器运行。也就是说你写一个分
2021-07-15 15:51:25
2355
原创 JVM的4种垃圾回收算法、垃圾回收机制与总结
JVM的4种垃圾回收算法、垃圾回收机制与总结一、垃圾回收算法1.标记清除标记-清除算法将垃圾回收分为两个阶段：标记阶段和清除阶段。在标记阶段首先通过根节点(GC Roots)，标记所有从根节点开始的对象，未被标记的对象就是未被引用的垃圾对象。然后，在清除阶段，清除所有未被标记的对象。适用场合：存活对象较多的情况下比较高效适用于年老代（即旧生代）缺点：容易产生内存碎片，再来一个比较大的对象时（典型情况：该对象的大小大于空闲表中的每一块儿大小但是小于其中两块儿的和），会提前触发垃圾
2021-07-14 16:36:41
7756
原创 Hadoop3_06（重点）
5 NN和2NN（面试开发重点）5.1 NN和2NN工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一
2021-07-14 16:35:48
270
原创 深入理解Java类加载器(ClassLoader)
深入理解Java类加载器(ClassLoader)类加载的机制的层次结构每个编写的".java"拓展名类文件都存储着需要执行的程序逻辑，这些".java"文件经过Java编译器编译成拓展名为".class"的文件，".class"文件中保存着Java代码经转换后的虚拟机指令，当需要使用某个类时，虚拟机将会加载它的".class"文件，并创建对应的class对象，将class文件加载到虚拟机的内存，这个过程称为类加载，这里我们需要了解一下类加载的过程，如下：加载：类加载过程的一个阶段：通过一个类的完全限
2021-07-14 16:29:13
253
原创 深入理解Java并发之synchronized实现原理
深入理解Java并发之synchronized实现原理本篇主要是对Java并发中synchronized关键字进行较为深入的探索，这些知识点结合博主对synchronized的个人理解以及相关的书籍的讲解(在结尾参考资料)，如有误处，欢迎留言。synchronized的三种应用方式synchronized作用于实例方法synchronized作用于静态方法synchronized同步代码块synchronized底层语义原理理解Java对象头与Monitorsynchronized代码块底层
2021-07-14 16:23:44
103
原创 深入理解7种JVM垃圾收集器特点，优劣势、及使用场景
7种JVM垃圾收集器特点，优劣势、及使用场景今天继续JVM的垃圾回收器详解，如果说垃圾收集算法是JVM内存回收的方法论，那么垃圾收集器就是内存回收的具体实现。一、常见的垃圾收集器有3类1.新生代的收集器包括SerialPraNewParallel Scavenge2.老年代的收集器包括Serial OldParallel OldCMS3.回收整个Java堆(新生代和老年代)G1收集器今天我们详细谈谈以上7种垃圾收集器的优劣势和使用场景。新生代垃圾收集器1.Ser
2021-07-14 16:22:57
388
原创 MySQL 基本语法
MySQL 基本语法一、Mysql基础SQL的分类：1、DDL—数据定义语言（Data Define Language）：create（创建），alter（修改），drop（删除），TRUNCATE（截断），RENAME（重命名）；2、DML—数据操纵语言（Data Manipulation Language）：select（查询），delete（删除），update（更新），insert（新增）；3、DCL—数据控制语言（Data Control Language）：grant（添加权限），re
2021-07-14 16:22:21
172
原创 JDK各个版本的新特性
JDK各个版本的新特性JDK1.5新特性：1.自动装箱与拆箱：自动装箱的过程：每当需要一种类型的对象时，这种基本类型就自动地封装到与它相同类型的包装中。自动拆箱的过程：每当需要一个值时，被装箱对象中的值就被自动地提取出来，没必要再去调用intValue()和doubleValue()方法。自动装箱，只需将该值赋给一个类型包装器引用，java会自动创建一个对象。自动拆箱，只需将该对象值赋给一个基本类型即可。java——类的包装器类型包装器有：Double,Float,Long,Integer
2021-07-14 16:21:41
580
原创 Lambda表达式详解
【前言】 java8新特性java8 函数接口java8 Optional使用总结Java 8 时间日期使用java8中一个非常重要的特性就是lambda表达式，我们可以把它看成是一种闭包，它允许把函数当做参数来使用，是面向函数式编程的思想，一定程度上可以使代码看起来更加简洁。例如以前我们使用匿名内部类来实现代码： //匿名内部类写法 new Thread(new Runnable() { @Override public v
2021-07-14 16:21:09
196
原创 Java 注解的创建与使用
Java 注解的创建与使用说明：\1. @Documented 用于描述其它类型的annotation应该被作为被标注的程序成员的公共API，因此可以被例如javadoc此类的工具文档化。Documented是一个标记注解，没有成员\2. @Inherited 元注解是一个标记注解，@Inherited阐述了某个被标注的类型是被继承的。如果一个使用了@Inherited修饰的annotation类型被用于一个class，则这个annotation将被用于该class的子类。\3. @Rete
2021-07-14 16:20:41
297
原创 Java内部类详解
Java内部类详解内部类内部类的定义将一个类定义在另一个给类里面或者方法里面，这样的类就被称为内部类。内部类可以分为四种:成员内部类、局部内部类、匿名内部类、静态内部类，下面我们逐一介绍这四种内部类。成员内部类他定义在另一个类中。一般定义格式如下class C{ class D{ }}因为类C相对与类D在外面，我们且称类C为外部类。成员内部类可以无条件访问外部类的属性和方法，但是外部类想要访问内部类属性或方法时，必须要创建一个内部类对象，然后通过该对象访问内部类的属性
2021-07-14 16:19:59
102
原创 Hadoop3_05
1 HDFS概述1.1 HDFS产出背景及定义1.1 产出背景随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。1.2 HDFS定义HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的设计适合一次写入，多次读出的
2021-07-13 16:16:22
221
原创 Hadoop3_04（重点）
4.2 完全分布式运行模式（开发重点）分析：(1）准备3台客户机（关闭防火墙、静态ip、主机名称）(2）安装JDK(3）配置环境变量(4）安装Hadoop(5）配置环境变量(6）配置ssh(7）配置集群(8）单点启动(9）群起并测试集群4.2.1 虚拟机准备(1）clone(2）修改hostname(3）修改ip远程连接4.2.2 SSH无密登录配置1.配置ssh（1）基本语法ssh另一台电脑的ip地址（2）ssh连接时出现Host key verific
2021-07-12 16:01:37
398
原创 Hadoop3_03
4 Hadoop运行模式Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。Hadoop官方网站http://hadoop.apache.org/4.1 本地运行模式4.1.1 官方Grep案例1.创建在hadoop-3.1.3文件下面创建一个input文件夹cd /opt/module/hadoop-3.1.3mkdir input2.（准备数据）将Hadoop的xml配置文件复制到inputcp etc/hadoop/*.xml input也可以自行在
2021-07-12 15:57:13
359
原创 Hadoop3_02（重点）
3 Hadoop运行环境搭建（开发重点）3.1 虚拟机环境准备-（1）克隆虚拟机，虚拟机配置要求如下：（1）单台虚拟机：内存4G，硬盘50G，安装必要环境(最小化安装)sudo yum install -y epel-releasesudo yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop（2）修改克隆虚拟机的静态IP(按照自己机器的网络设置进行修改)ifconf
2021-07-09 16:49:13
374
原创 Hadoop3_01
1 大数据概论1.1 大数据概念大数据概念大数据（big data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决，海量数据的存储和海量数据的分析计算问题。按顺序给出数据存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。1Byte = 8bit 1K = 1024Byte 1MB = 1024K1G = 1024
2021-07-09 16:47:23
226
原创 Shell02
7 流程控制（重点）7.1 if 判断1．基本语法if [ 条件判断式 ];then 程序 fi 或者 if [ 条件判断式 ] then 程序 fi注意事项：（1）[ 条件判断式 ]，中括号和条件判断式之间必须有空格（2）if后要有空格2．案例实操（1）输入一个数字，如果是1，则输出banzhang zhen shuai，如果是2，则输出cls zhen mei，如果是其它，什么也不输出。touch if.shvim if.sh添加#!/bin/
2021-07-09 16:42:49
161
原创 Shell01
1 Shell概述》1：大数据程序员为什么要学习Shell呢？（1）需要看懂运维人员编写的Shell程序。（2）偶尔会编写一些简单Shell程序来管理集群、提高开发效率。》2：什么是shellShell是一个命令行解释器，它接收应用程序/用户命令，然后调用操作系统内核Shell还是一个功能相当强大的编程语言，易编写、易调试、灵活性强。2 Shell解析器（1）Linux提供的Shell解析器有：cat /etc/shells/bin/sh/bin/bash/sbin/nol
2021-07-08 17:02:31
169
原创 7 常用基本命令41-50
7.9 磁盘分区类7.9.1 df 查看磁盘空间使用情况df: disk free 空余硬盘1．基本语法df 选项 （功能描述：列出文件系统的整体磁盘使用量，检查文件系统的磁盘空间占用情况）2．选项说明3．案例实操（1）查看磁盘使用情况 df -hFilesystem Size Used Avail Use% Mounted on/dev/sda2 15G 3.5G 11G 26% /tmpfs 939M 224K
2021-07-08 15:50:56
222
原创 样式表基础，盒子模型
学习目标div和span学习CSS整体感知基本选择器高级选择器文字相关属性盒子模型补充知识点：vscode快速生成表格表格标题cation单元格合并列合并单元格：colspan行合并单元格：rowspan带语义的表格结构thead:表头 tbody:表主体 tfoot:表尾1,div和span学习div 本身不产生任何样式，division（分割）,将页面上分割很多区域，这些区域就是容器。将相同语义的内容放在一个容器里。将层次和结构划分得非常清楚。div+css
2021-07-07 17:52:39
223
原创 7 常用基本命令31-40
7.7 搜索查找类7.7.1 find 查找文件或者目录find指令将从指定目录``向下递归地遍历其各个子目录，将满足条件的文件显示在终端。1．基本语法find [搜索范围] [选项]2．选项说明3．案例实操（1）按文件名：根据名称查找/目录下的filename.txt文件。 find xiyou/ -name *.txt（2）按拥有者：查找/opt目录下，用户名称为-user的文件 find xiyou/ -user dev （3）按文件大小：在/home目录下查找大于200
2021-07-07 17:05:53
184
原创 7 常用基本命令21-30
7.4 用户管理命令7.4.1 useradd 添加新用户1．基本语法useradd 用户名 （功能描述：添加新用户）useradd -g 组名 用户名 （功能描述：添加新用户到某个组）2．案例实操（1）添加一个用户useradd tangsengll /home/7.4.2 passwd 设置用户密码1．基本语法passwd 用户名 （功能描述：设置用户密码）2．案例实操（1）设置用户的密码 passwd tangseng7.4.3
2021-07-07 15:41:31
225
1
原创 7 常用基本命令11-20
7.2.11 more 文件内容分屏查看器more指令是一个基于VI编辑器的文本过滤器，它以全屏幕的方式按页显示文本文件的内容。more指令中内置了若干快捷键，详见操作说明。1．基本语法more 要查看的文件2．操作说明3．案例实操（1）采用more查看文件more smartd.conf7.2.12 less 分屏显示文件内容less指令用来分屏查看文件内容，它的功能与more指令类似，但是比more指令更加强大，支持各种显示终端。less指令在显示文件内容时，并不是一次将整个文件
2021-07-07 14:37:57
189
2
原创 7 常用基本命令1-10
7 常用基本命令7.1 帮助命令7.1.1 man 获得帮助信息基本语法man [命令或配置文件]（功能描述：获得帮助信息）2．显示说明3．案例实操（1）查看ls命令的帮助信息man ls7.1.2 help 获得shell内置命令的帮助信息1．基本语法help 命令 （功能描述：获得shell内置命令的帮助信息）2．案例实操（1）查看cd命令的帮助信息help cd7.1.3 常用快捷键7.2 文件目录类7.2.1 pwd 显示当前工作目录的绝对路
2021-07-07 14:33:43
224
原创 6 远程登录
6 远程登录通常在工作过程中，公司中使用的真实服务器或者是云服务器，都不允许除运维人员之外的员工直接接触，因此就需要通过远程登录的方式来操作。所以，远程登录工具就是必不可缺的，目前，比较主流的有Xshell, SSH Secure Shell, SecureCRT,FinalShell等，本人比较推荐国产软件Finalshell,同学们可以根据自己的习惯自行选择.6.1 安装使用FinalshellFinalShell, 一款良心的国产软件，好用！！！（1）双击运行finalshell_
2021-07-07 11:02:18
215
原创 5 网络配置和系统管理操作
5 网络配置和系统管理操作5.1 查看网络IP 和 网关（1）查看虚拟网络编辑器（2）修改虚拟网卡Ip（3）查看网关（4）查看windows环境的中VMnet8网络配置5.2 配置网络ip地址5.2.1 ifconfig 配置网络接口ifconfig :network interfaces configuring网络接口配置1．基本语法ifconfig （功能描述：显示所有网络接口的配置信息）案例实操（1）查看当前网络ipifconfi
2021-07-07 08:30:01
611
2
原创 快速掌握面向对象
本章内容语言发展史面向对象概念面向面向对象的三大核心特性类与对象概念对象的几种创建方式1.0 语言发展史1.1 关于计算机计算机发展一共有四个发展阶段：第一代计算机 特征是采用电子管作为主要元器件第二代计算机 特征是采用晶体管作为主要器件第三代计算机 特征是半导体中小规模集成电路第四代计算机 特征是大规模和超大规模集成电路1.2 第一台计算机世界上第一台电子计算机是个庞然大物：重30余吨，占地约170平方米，肚子里装有18000只电子管。它是1946年2月14日，在美
2021-07-06 16:50:57
149
原创 堆，栈，方法区，常量池，的概念
堆，栈，方法区，常量池，的概念1.首先看堆，栈，方法区，常量池 的位置分布图2、内存区域类型1.寄存器：最快的存储区, 由编译器根据需求进行分配,我们在程序中无法控制；\2. 堆：存放所有new出来的对象；\3. 栈：存放基本类型的变量数据和对象的引用，但对象本身不存放在栈中，而是存放在堆（new 出来的对象）或者常量池中(对象可能在常量池里)（字符串常量对象存放在常量池中。）；\4. 静态域：存放静态成员（static定义的）；\5. 常量池：存放字符串常量和基本类型常量（public s
2021-07-06 16:33:06
328
原创 JDK、JRE、JVM三者间的联系与区别
JDK、JRE、JVM三者间的联系与区别有Java编程经验的程序员应该都知道：Java程序是运行在JVM(Java虚拟机)上的，在开发程序之前都要配置Java开发环境，其中首先要做的就是JDK的安装和配置，那么JDK、JVM、JRE到底有何联系和区别呢？想必并不是每一个程序员都能说得清楚的，本文接下来将带你了解它们之间的关系。一、JDKJDK(Java SE Development Kit)，Java标准开发包，它提供了编译、运行Java程序所需的各种工具和资源，包括Java编译器、Java运行时环
2021-07-06 16:32:35
257
原创 Java中值传递和引用传递的区别
Java中值传递和引用传递的区别在Java中参数的传递主要有两种：值传递和参数传递；下面是对两种传递方式在内存上的分析：一：值传递解释:实参传递给形参的是值 形参和实参在内存上是两个独立的变量 对形参做任何修改不会影响实参代码示例如下：[](javascript:void(0)????package arrayDemo;public class Demo1 { public static void main(String[] args) {
2021-07-06 16:32:06
151
原创 HTML基础
网页的组成html超文本标记语言：主要是用来实现页面的结构。css层叠样式表：主要是设置页面的样式，例如页面字体的大小，颜色等。javascript脚本语言（俗称：js）：主要是制作页面的一些动态效果，负责和用户的交互。例如点击页面上的某处，弹出一个对话框。栏目切换、选项卡、轮播图等WEB基础B/S结构网络应用程序分为B/S结构和C/S结构，Web应用程序就是B/S结构的程序开发。B/S：B/S（Browser/Server”）结构是WEB兴起后的一种网络结构模式，WEB浏览器是客户端最主要的
2021-07-06 16:24:45
240
原创 4 VI/VIM编辑器
4 VI/VIM编辑器4.1 VI/VIM编辑器是什么VI是Unix操作系统和类Unix操作系统中最通用的文本编辑器。VIM编辑器是从VI发展出来的一个性能更强大的文本编辑器。（1）可以主动的以字体颜色辨别语法的正确性，方便程序设计。（2）VIM与VI编辑器完全兼容。4.2 测试数据准备（1）拷贝/etc/profile数据到/root目录下cp /etc/profile /rootcd /root/4.3 一般模式以vi打开一个档案就直接进入一般模式了（这是默认的模式）。在
2021-07-06 06:29:42
510
1
原创 3 Linux文件与目录结构
3 Linux文件与目录结构3.1 Linux文件Linux系统中一切皆文件。3.2 Linux目录结构/bin (/usr/bin 、 /usr/local/bin)是Binary的缩写, 这个目录存放着最经常使用的命令/sbin (/usr/sbin 、 /usr/local/sbin)s就是Super User的意思，这里存放的是系统管理员使用的系统管理程序。/home存放普通用户的主目录，在Linux中每个用户都有一个自己的目录，一般该目录名是以用户的账号命名的。
2021-07-06 06:27:22
217
1
原创 2 VM与Linux的安装
2 VM与Linux的安装2.1 VMWare安装安装VMware Workstation2.2 CentOS安装安装CentOSVMware Workstation安装先关闭所有的杀毒软件（1）双击运行安装包程序VMware-workstation-full-15.5.1-15018445.exe（2）接受许可证协议(关键不接受不让安装啊………)（3）选择安装位置，建议非中文无空格，增强型键盘驱动程序可选（4）按照自身使用习惯勾选产品更新和客户体验提升计划（两个
2021-07-06 06:26:19
1061
1
原创 1 Linux入门
1 Linux入门1.1 概述》为什么要学Linux?开源、稳定、漏洞少，靠谱公司都用它。》什么是Linux?Linux，全称GNU/Linux，是一种免费使用和自由传播的类UNIX操作系统其内核由林纳斯·本纳第克特·托瓦兹于1991年10月5日首次发布》有什么特点？1：多用户、多任务、支持多线程和多CPU的操作系统。2：能运行主要的Unix工具软件、应用程序和网络协议。3：它支持32位和64位硬件。》Linux的发行版是什么?Linux有上百种不同的发行版，知名的有Ubuntu,R
2021-07-06 06:12:53
243
jstl的两个jar.zip
2020-09-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人