- 博客(75)
- 收藏
- 关注
RSS订阅原创 大数据编程之Scala语言
Scala面试Scala声明变量推荐使用val Scala是一种强类型语言,使用前变量的类型必须确定,编译器将语法补全,代码可以简化 能推断出变量的类型,那么这个类型可以省略 Java中变量的初始化可以在执行前完成,不需要必须在声明时完成 Scala在声明变量的同时需要初始化变量1. Scala开发环境搭建2. 变量和数据类型(1) 掌握var和val的区别可变变量使用关键字var进行声明 值可以发生变化object ScalaVariable { def main(a
2021-10-20 20:15:40
732
原创 ZooKeeper协调服务机制
1. 请简述ZooKeeper的选举机制2. ZooKeeper的监听原理是什么?3. ZooKeeper的部署方式有哪几种?集群中的角色有哪些?集群中最少需要几台机器?(1)ZooKeeper的部署方式有两种, 一种是单机模式, 一种是集群模式(2)集群中的角色一共有两种, 一种是Leader, 一种是Follower(3)集群中最少需要3台机器, 我们在部署集群时, 一般部署的是奇数台, 不部署偶数台机器, 举个例子, 部署3台机器和部署4台机器的容错性是相同的, 为了避免资源浪费, 部署3台
2021-10-14 17:02:48
199
原创 hadoop-压缩-优化-HA
1. Hadoop中的压缩作为一种常用的优化手段，经常被用在什么场景下？数据规模很大和工作负载密集的情况下, 比如说在处理Mapper, Reducer运行过程的数据时进行压缩, 以减少磁盘IO, 提高MR的运行速度2. 如果想要使用压缩，Hadoop如何对某一种压缩编码格式进行取舍？从多方面来看, 首先判断是否属于Hadoop自带, 其次需要看其是否支持切分, 换成压缩格式后, 原来的程序是否需要修改, 然后就是看性能了, 压缩速度和解压速度.3. 你们公司常用的压缩方式有哪些？GzipBzi
2021-10-14 16:27:26
548
原创 YARN资源调度
1. MR中的一个Job是如何提交的？首先我们要先判断当前Job的状态是否为定义阶段, 如果是我们提交一个submit()方法, 然后我们需要确认当前Job的状态, 新老API是否兼容, 接着我们就开始连接集群, 如果我们连接的是本地模式结果就是LocalRunner, 如果连接的是Yarn集群结果就是YARNRuuner; 在提交Job之前需要检验一下输入输出路径是否合法, 并且给当前的Job计算一下切片信息, 然后添加一下分布式缓存文件, 将所有必要的内容都拷贝到job执行的临时目录,比方说一些ja
2021-10-14 14:12:33
470
原创 MapReduce分布式计算框架
1.描述一下手写MR的大概流程和规范Mapper阶段:(1)每个map任务,都会继承Mapper类,用户自定义WordCountMapper继承了Mapper类(2)其中Mapper有四个参数类型<KEYIN, VALUEIN, KEYOUT, VALUEOUT>,对应的为WordCountMapper<LongWritable, Text, Text, IntWritable>(3)重写map方法(如果实验文件有n行,故文件所在的Mapper类都单独调用了n次map方法)
2021-09-15 19:58:59
730
2
原创 HDFS分布式文件系统
1. 描述一下HDFS的数据写入流程(1)首先,客户端Client通过创建DistributedFileSystem向NameNode发送请求上传文件, NameNode检验目标文件是否存在, 父目录是否存在, 文件是否合法以及其是否具有相应的权限(2)校验通过之后, NameNode响应客户端可以开始上传文件(3) Client对即将上传的文件进行切块(一个Block最大128M), 并再次向NameNode发出请求, 上传第一个Block, 等待NameNode返回存储的DataNode,(4)
2021-09-13 19:27:44
318
3
原创 前端——颜色
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title> <style> html{
2021-07-09 17:17:32
231
原创 前端——选择器的权重
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title> <style> /* #box1{
2021-07-09 17:16:49
285
原创 前端——单位
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title> <style> .box1{
2021-07-09 17:16:09
59
原创 前端——样式的继承
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title> <!-- 样式的继承，我们为一个元素设置的样式同时也会
2021-07-06 20:10:22
194
原创 前端——伪元素选择器
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title> <style> p{ fo
2021-07-06 20:07:38
69
原创 前端——元素的伪类
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title> <style> /*
2021-07-06 20:04:57
73
原创 前端——伪类选择器
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title> <style> /*
2021-07-06 20:02:26
389
原创 前端——属性选择器
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title> <style> /*
2021-07-06 20:00:14
104
原创 前端——关系选择器
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title> <style> /*
2021-07-06 19:57:31
77
原创 前端——复合选择器
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title> <style> /* 将class为red的元素
2021-07-06 17:47:17
104
原创 前端——常用选择器
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title> <style> /*
2021-07-06 17:45:21
232
原创 前端——CSS语法
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title> <style> /* CS
2021-07-06 17:42:41
81
原创 前端——CSS简介
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title> <!-- 第二种方式 -将样式
2021-07-06 17:37:03
178
原创 Java语言的环境搭建及概述
JDK、JRE、JVM的关系JDK = JRE + 开发工具集（例如Javac编译工具等）JRE = JVM + Java SE标准类库包含关系希望java开发工具在任何路径下都能执行java程序，配置环境变量：-JAVA_HOME = bin的上一层目录-path = %JAVA_HOME%\bin注释单行注释-格式： //注释文字多行注释-格式： /* 注释文字 */多行注释不可以嵌套使用文档注释-格式：/**@author 指定java程序的作者@v..
2021-07-02 19:35:31
88
1
原创 Java基础学习导读
基本语法变量、运算符、流程控制、数组面型对象高级应用多线程、集合、IO流、网络编程、反射、NIO等深入编程数据结构、设计模式、JVM内存结构等计算机硬件总线（bus）中央处理器（CPU）从内存中获取指令，然后执行这些指令包括控制单元【用于控制和协调其他组件的动作】和算术/逻辑单元【用于完成数值运算（比较）】内存（主存）1byte=8bit 由有序的字节序列组成存储设备（如磁盘、光盘、磁带）磁盘驱动器：每台计算机至少有一个硬盘驱动器光盘驱动.
2021-07-01 19:08:28
99
原创 前端——音视频
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title></head><body> <!--
2021-07-01 16:15:21
214
原创 前端——内联框架
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title></head><body> <!--
2021-07-01 16:14:24
150
原创 前端——图片标签
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title></head><body> <!--
2021-07-01 16:13:03
46910
原创 前端——超链接（二）
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <meta http-equiv="X-UA-Compatible" content="ie=edge"> <title>Doc
2021-06-29 20:54:56
231
原创 前端——超链接（一）
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>超链接</title></head><body> <!-- 超链接可以让我们从一个页面跳转到另一个页面， 或者是跳转到当前页面的其他位置 使用a标签来定义超链接
2021-06-29 20:52:21
251
原创 前端——列表
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Document</title></head><body> <!-- 列表（list） 块元素 1.铅笔 2.尺子 3.橡皮
2021-06-29 20:48:11
554
原创 前端——语义化标签（三）
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Document</title></head><body> <!-- 布局标签（结构化语义标签） --> <!-- header表示网页的头部 main表示网
2021-06-29 20:46:06
75
原创 前端——语义化标签（二）
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Document</title></head><body> <!-- 块元素（block element） - 在网页中一般通过块元素进行布局（宏观布局） 行内元素（inline element） -
2021-06-29 20:43:57
81
原创 前端——语义化标签（一）
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title></head><body> <!-- 在网页中H
2021-06-29 19:49:57
121
原创 前端——meta标签
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <meta http-equiv="X-UA-Compatible" content="ie=edge"> <!--
2021-06-29 19:48:10
386
原创 前端——实体
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>实体</title></head><body> <!-- 在网页中编写的多个空格情况会自动被浏览器解析为一个空格 在html中，有些时候我们不能直接书写一些特殊的符号 如果我们需要在网页中书写
2021-06-29 19:27:30
199
原创 前端——初识（二）
<!DOCTYPE html><html><head> <meta charset=UTF-8"> <title>Hello</title></head><body> <h1>答复</h1> <h2>海子</h2> <h3>麦地</h3> <h3>别人看见你</h3&g
2021-06-29 19:22:01
59
原创 前端-—初识（一）
<!DOCTYPE html> <!-- 测试编辑器 Ctrl + / 会形成一个完整的html文件 --><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <meta http-equiv="X-UA-Compati
2021-06-29 19:20:13
61
原创 数据可视化实操2-5-2
使用椭圆绘制圆一般而言，我们可以使用类Ellipse绘制圆，但是不可以使用类Circle绘制椭圆。因为我们使用类Ellipse绘制圆，只需要保证参数width和height的取值相同而且刻度线的变化量相同即可完成圆的绘制任务。如果参数width和height的取值相同，但是刻度线的变化量不一致，则也可以使用类Circle完成绘制椭圆的任务。我们使用类Circle绘制椭圆，如果参数width和height的取值不相同，就无法完成使用类Circle绘制椭圆的工作。...
2020-07-24 18:15:26
179
原创 数据可视化实操2-3
矩形的实现方法import matplotlib.pyplot as pltimport numpy as npfrom matplotlib.patches import Rectanglefig, ax = plt.subplots(subplot_kw={"aspect":"equal"})x1 = np.arange(1, 2.6, 0.1)y1 = x1 + 2x2 = np.arange(2.5, 4.1, 0.1)y2 = -x2 + 7# set backgroun
2020-07-16 17:42:48
149
原创 数据可视化实操2-2
import matplotlib.pyplot as pltimport numpy as np#绘制椭圆可以通过类Ellipse实现from matplotlib.patches import Ellipsefig, ax = plt.subplots(1, 2, subplot_kw={"aspect":"equal"})# subplot(121)#通过调用“np.linspace(0, 135, 4)”语句，获取旋转角度数组angles = np.linspace(0, 135,
2020-07-16 16:35:49
145
原创 时尚数字化与智能化
AI加持时尚行业人工智能将真正实现时尚商品的数字化和智能化，重新定义人、货、场之间的关系，进一步加进人与商品的距离，优化商品企划、设计、生成与流转的形式。衣食住行，民生四大领域在服装行业有2.8万亿的市场规模产能过剩，红利不在库存巨大产业链中服装冗余市场定位不清，同级化严重专业人才紧缺转型互联网与全渠道营销服饰数字化检测：在视觉上发现并定位图片中的服饰是其他复杂应用的基础分析：分析图片中的指定服饰，运用计算机视觉，自动化分析出服饰等时尚属性信息检索：能够理解图片中服饰的视觉时
2020-07-10 10:20:54
230
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人