- 博客(62)
- 收藏
- 关注
RSS订阅原创 最新两年Java开发工作经验面试总结_程序员囧辉两年，2024年最新真正带你搞懂RecyclerView的缓存机制
在看面试题的过程，你会遇到一些自己没接触过的或者以前没深入学习过的知识，例如最常问的HashMap内部实现原理，这就促使你得开始去看JDK的源码或者是学习一些新的东西。看源码是很重要的一步，起步很难，但是会让你收益良多，看源码的过程如果碰到无法理解的地方，可以百度看下别人的理解。我当初也没想到简历筛选这关有这么难，可能是我的简历确实亮点不多，再者HR很多都不是行内人，因此他们看得最直接的就是你上家的公司和你毕业的学校，如果你不是从牛逼的公司/学校出来，可能会碰到和我一样的情况，应对的办法就是多投。
2024-05-16 08:07:37
992
原创 最新两年Java开发工作经验面试总结_程序员囧辉两年(3)，成功入职字节跳动
我当初也没想到简历筛选这关有这么难，可能是我的简历确实亮点不多，再者HR很多都不是行内人，因此他们看得最直接的就是你上家的公司和你毕业的学校，如果你不是从牛逼的公司/学校出来，可能会碰到和我一样的情况，应对的办法就是多投。我开始面的时候，每次都是上午面的不好，下午面的不错。有不少公司是有笔试的，如果你没有准备过，很容易在各种小地方犯错，建议去一些笔试题网站多做些题目，我自己是用的牛客网。把自己每天的学习时间和学习内容记录下来，可以让自己更有动力的学习，学习是一个枯燥的过程，你必须让自己时刻保持有动力。
2024-05-16 08:07:04
788
原创 最新一篇文章搞懂数据仓库：总线架构、一致性维度、一致性事实(2)，GitHub标星1w的大数据开发架构师必备技能
一致性维度的范围是总线架构中的维度，即可能会在多个数据集市中都存在的维度，这个范围的选取需要架构师来决定。在同一个集市内，一致性维度的意思是两个维度如果有关系，要么就是完全一样的，要么就是一个维度在数学意义上是另一个维度的子集。例如，如果建立月维度话，月维度的各种描述必须与日期维度中的完全一致，最常用的做法就是在日期维度上建立视图生成月维度。在多维体系结构中，所有的这些基于星型机构来建立的数据集市可以在物理上存在于一个数据库实例中，也可以分散在不同的机器上，而所有这些数据集市的集合组成的分布式的数据仓库。
2024-05-16 08:06:31
737
原创 最新一文实现nnUNet v2 分割肾脏肿瘤数据集KiTS19_kits19数据集(3)，【面试必会
modality: 模态，0表示CT数据，1表示MR数据。nnU-Net会根据不同模态进行不同的预处理（nnunet-v2版本改为channel_names）说明，这里是路径是你自己的路径，就是上一步创建的三个文件夹的路径（这部分说明不需要写进去，只需要以下三行代码）labels: label中，不同的数值代表的类别(v1版本和v2版本的键值对刚好是反过来的)test: 只包含测试集的image. 这里跟Training不一样。training: 训练集的image 和 label 地址对。
2024-05-16 08:05:59
799
原创 快速学习正则表达式，不用死记硬背，示例让你通透（下篇）_快速学习正则表达式,不用死记硬背,示例让你通透
如果字符组中的字符出现了0次或1次，模式匹配就成立。但如果两个字符都出现了，或者其中一个字符出现了2次，模式匹配就不成立。
2024-05-15 23:20:11
1030
原创 快速学习正则表达式，不用死记硬背，示例让你通透（下篇）_快速学习正则表达式,不用死记硬背,示例让你通透(2)
和星号一样，可以将问号和字符组一起使用。如果字符组中的字符出现了0次或1次，模式匹配就成立。但如果两个字符都出现了，或者其中一个字符出现了2次，模式匹配就不成立。
2024-05-15 23:19:38
732
原创 快速学习正则表达式，不用死记硬背，示例让你通透（下篇）_快速学习正则表达式,不用死记硬背,示例让你通透(1)
和星号一样，可以将问号和字符组一起使用。如果字符组中的字符出现了0次或1次，模式匹配就成立。但如果两个字符都出现了，或者其中一个字符出现了2次，模式匹配就不成立。
2024-05-15 23:19:05
647
原创 快速学习正则表达式，不用死记硬背，示例让你通透（上篇）_脱字符
如果在正则表达式中定义了空格，那么它必须出现在数据流中。甚至可以创建匹配多个连续空格的正则表达式模式。单词间有两个空格的行匹配正则表达式模式。
2024-05-15 23:18:32
571
原创 【深度学习】基于tensorflow的服装图像分类训练（数据集：Fashion-MNIST
tf.config.experimental.set_memory_growth(gpu0, True) # 设置GPU显存用量按需使用。# 构建一个空的网络模型，它是一个线性堆叠模型，各神经网络层会被顺序添加，专业名称为序贯模型或线性堆叠模型。gpu0 = gpus[0] # 如果有多个GPU，仅使用第0个GPU。
2024-05-15 04:05:31
734
原创 【深度学习】基于tensorflow的服装图像分类训练（数据集：Fashion-MNIST(2)
（2）CPU计算神经网络也是可以的，算出来的神经网络放到实际应用中效果也很好，只不过速度会很慢罢了。而目前GPU运算主要集中在矩阵乘法和卷积上，其他的逻辑运算速度并没有CPU快。由于深度学习中样本量巨大，参数量也很大，所以GPU的作用就是加速网络运算。如果你的显卡较差或者没有足够资金入手一款好的显卡就可以使用CUP训练。其中有三个卷积层，俩个最大池化层，一个flatten层，俩个全连接层。训练数据集共60k张图片，各个服装类型的数据量一致也就是说每种6k。使用GPU训练时会显示对应的GPU型号。
2024-05-15 04:04:19
635
原创 Python是什么？如何用Python进行数据分析？终于有人说明白了_什么是 python,它如何在数据科学和大数据分析中使用 (1)
Python是一门动态的、面向对象的脚本语言，同时也是一门简约，通俗易懂的编程语言。Python入门简单，代码可读性强，一段好的Python代码，阅读起来像是在读一篇外语文章。Python这种特性称为“伪代码”，它可以使你只关心完成什么样的工作任务，而不是纠结于Python的语法。另外，Python是开源的，它拥有非常多优秀的库，可以用于数据分析及其他领域。更重要的是，Python与最受欢迎的开源大数据平台Hadoop具有很好的兼容性。
2024-05-14 18:44:11
766
原创 Python数据采集、分析、可视化，看这一篇就够了_python大数据采集
必须围绕数据开展工作升职加薪必备技能**，且优秀数据分析师年薪可达40W+。所以，无论是想要升职加薪的、市场、运营、策划、产品、财务、法务、人事**等职场人，还是想做专业数分师的毕业生或转行者，都开始自发学习数据分析与可视化。可是有很多人，在耗费大量时间和精力自学之后却收效甚微。书读了一大堆，网上的学习方法也看了不少，但就是达不到预期的目标，久而久之最终放弃学习。据我分析，大部分人放弃的原因如下：1、知识点多而杂，自学知识体系过于零散难以吃透。2、缺乏专业指导，难以接触到行业顶尖的核心技能。
2024-05-14 18:43:35
1235
原创 Python数据采集、分析、可视化，看这一篇就够了_python大数据采集(2)
在理解了原理之后，要如何把数据收集起来，对其深入分析与计算，再将其呈现出来，把数据趋势展示得清晰直观呢？不必费神思索了，我们开始下一步。
2024-05-14 18:42:59
848
原创 Python数据采集、分析、可视化，看这一篇就够了_python大数据采集(1)
必须围绕数据开展工作升职加薪必备技能**，且优秀数据分析师年薪可达40W+。所以，无论是想要升职加薪的、市场、运营、策划、产品、财务、法务、人事**等职场人，还是想做专业数分师的毕业生或转行者，都开始自发学习数据分析与可视化。可是有很多人，在耗费大量时间和精力自学之后却收效甚微。书读了一大堆，网上的学习方法也看了不少，但就是达不到预期的目标，久而久之最终放弃学习。据我分析，大部分人放弃的原因如下：1、知识点多而杂，自学知识体系过于零散难以吃透。2、缺乏专业指导，难以接触到行业顶尖的核心技能。
2024-05-14 18:42:23
882
原创 2024年最新spark基础使用指南，手把手教你写
/ .orderBy(col(“age”).desc()) //使用col()需要引入包 import static org.apache.spark.sql.functions.col;// .agg(avg(“age”),max(“age”))//分类聚合函数，常与groupby连用。//sparkSession.read.jdbc(“”,“”,“”) //读取数据库内容。// //方法二。//TODO 1、加载数据。
2024-05-14 10:06:11
348
原创 2024年最新Spark与flink计算引擎工作原理(2)，大牛手把手带你
Driver:Spark中的Driver是运行上述Application的main函数，运行main函数会创建SparkContext，创建SparkContext的目的是为了准备Spark应用程序的运行环境，在Spark中SparkContext负责与ClusterManager通信，进行资源申请、任务的分配和监控等，当Executor部分运行完毕后，Driver同时负责将SparkContext关闭，通常用SparkContext代表Driver。ApplicationMaster介绍。
2024-05-14 10:05:35
374
原创 2024年最新Spark-Scala语言实战（5）(2)，大数据开发自学教程
按照指定的规则对集合里面的每个元素进行操作 比如: Array(“hh”,“red”,“java”,“hadoop”) 规则: 对集合中每个元素进行操作，得到集合每个元素的长度val p = lengths.toList // 将数组转换为列表println(p) // 输出: List(2, 3, 4, 6)对数据中的元素按照指定的规则进行过滤 比如: Array(1,4,7,9,10,6,8,99,88,66) 规则: 只保留偶数数据val p1 = ppp.toList // 将数组转换为列表。
2024-05-14 10:04:59
385
原创 2024年最新Snowflake如日中天是否代表Hadoop已死？大数据体系到底是什么？，2024年最新快手大数据开发面试题
在实现方法上IceBerg的ACID依托了文件系统POSIX的语义，分区的元数据采用了文件方式存储，同时，IceBerg的Table Format独立于Hive MetaStore的元数据接口，因此在引擎的adoption上成本很高，需要各个引擎改造。随着客户对数据加工处理的一致性（ACID），开放性（多引擎，多数据源），实时性，以及大规模扩展能力的要求越来越高，传统的HMS逐步局限于单集群，单租户，Hive为主的单个企业内部使用，为保障数据的安全可靠，运维成本居高不下。AI已经成为大数据领域的一等公民。
2024-05-14 10:04:22
427
原创 2024年大数据最新大数据面试一锅炖，2024年最新我把所有大数据开发框架整理成了PDF
客户端向zookeeper请求读文件，zookeeper查询元数据信息，根据namespace，表名，及列族找到文件所在的region，根据region找到对应regionserver，客户端请求regionserver读取region上的文件，客户端向nn申请读文件，namenode查询元数据信息，就近原则返回dn节点，dn开始传输数据，以packet为单位，客户端接收到数据，本地缓存，最后写入目标文件。1、用户使用客户端向 RM 提交一个任务job，同时指定提交到哪个队列和需要多少资源。
2024-05-14 01:26:47
227
原创 2024年大数据最新大数据面试一锅炖(2)，2024年最新2024-2024京东大数据开发面试真题解析
客户端向namenode申请上传文件，namenode检查文件及父目录是否存在，不存在的话返回datanode节点。上传block块，请求datanode1，dn1调用dn2，dn2调用dn3建立通道，上传到dn1，以packet为单位，分发给dn2 dn3。关闭连接。请求namenode上传第二个block块。依次循环客户端向nn申请读文件，namenode查询元数据信息，就近原则返回dn节点，dn开始传输数据，以packet为单位，客户端接收到数据，本地缓存，最后写入目标文件。
2024-05-14 01:26:11
389
原创 2024年大数据最新大数据面试(2)，被逼无奈开始狂啃底层技术
脑裂最简单的理解就是一山不容二虎，当Leader节点出现故障，系统开始改朝换代，当Follower 完成全部工作并且成为 Leader 后，原 Leader 又复活了（它的故障可能是暂时断开或系统暂时变慢，不能及时响应，但其NameNode 进程还在），并且由于某种原因它对应的 ZKFC 并没有把它设置为 Standby，所以原 Leader 还认为自己是 Leader，客户端向它发出的请求仍会响应，于是脑裂就发生了。并行度：Spark的并行度更高，可以将数据分成更小的块进行处理。
2024-05-14 01:25:35
387
原创 2024年大数据最新大数据集群配置前置工作（jdk的安装），我就不信你还听不明白了
jdk提取：链接：https://pan.baidu.com/s/1u-kzbZWurBlY30k9bedh-Q提取码：ay17。
2024-05-14 01:24:48
352
原创 面试官：什么是Netty粘包拆包？怎么解决Netty粘包拆包问题_netty传输文件怎么拆包粘包
我：粘包和拆包是在进行TCP数据传输的时候所造成的一种现象。因为TCP是一个流协议，他发送的数据是一个没有界限的长串的二进制数据，TCP在发送数据之前会将数据放入缓存区。如果缓存区没有满，就会把多个数据都放入缓存区，然后共同发送出去，这就叫粘包。如果一条数据缓存区就放不下，那么就需要将数据分为多次发送出去，这就叫拆包。
2024-05-12 22:20:38
364
原创 面试官嫌我Sql写的太low？要求我重写还加了三个需求？——二战Spark电影评分数据分析_每个类型评分前10的电影 spark
avgRating: String // 电影平均评分。movieId: String, // 电影的id。movieId: String, // 电影的id。movieId: String, // 电影的id。movieId: String, // 电影的id。userId: String, // 用户的id。title: String, // 电影的标题。rating: String, // 用户评分。title: String, // 电影的标题。title: String, // 电影的标题。
2024-05-12 22:20:02
329
原创 面试前端数组去重，我会问这3个小问题_什么场合下需要使用数组去重
/ 非重复的类数组。// 或者是这种解构方法。// 对象的key值是唯一的。name: ‘XX商业银行’name: ‘天津商业银行’name: ‘港口商业银行’name: ‘北京银行1’name: ‘北京银行2’name: ‘天津银行1’city: ‘北京’,city: ‘北京’,city: ‘北京’,city: ‘天津’,city: ‘天津’,city: ‘天津’,
2024-05-12 22:19:26
309
原创 面试中经常问到的几道算法题，诸佬们还记得如何解答嘛_算法被问到自己一天的工作怎么回答
示例1：输入： {1,2,3}返回值： {3,2,1}示例2输入：{}返回值：{}说明： 空链表则输出空。
2024-05-12 22:18:49
367
原创 手撕前端面试题【javascript~ 总成绩排名、子字符串频次统计、继承、判断斐波那契数组等(2)
牛客是可以伴随一生的编程软件（完全免费），从学校到社会工作，时时刻刻你都可以用到。
2024-05-12 05:08:28
717
原创 大数据最全大数据集群节点操作系统优化_大数据集群优化方案(2)，2024年最新2024BAT大厂大数据开发社招面试题
8192819210240更改到如下内容:采用缺省的磁盘I/O调度,优先级为3采用空闲的磁盘调度,优先级为0一.透明大页（Transparent Huge Pages,简称THP）在Linux6.x之后的平台，在安装Oracle数据库的时候都建议关闭透明大页。Linux下的大页分为两种类型：标准大页（Huge Pages）和透明大页（Transparent Huge Pages）。1>.标准大页(Huge Pages)
2024-05-11 20:31:59
705
原创 大数据最全大数据进阶之路——Spark SQL环境搭建_sparksql环境搭建(2)，2024年最新大数据开发面试题及答案2024
1）负责客户端请求的响应2）负责元数据（文件的名称、副本系数、Block存放的DataNodes）的管理1）存储用户的文件对应的数据块(Block)2）要定期向NameNode发送心跳信息，汇报本身及其所有的block信息，健康状况副本系数。
2024-05-11 20:31:23
795
原创 大数据最全大数据进阶之路——Spark SQL小结_spark sql进阶(3)，温故而知新
Standalone 模式的部署比较繁琐，不过官方有提供部署脚本，需要把 Spark 的部署包安装到每一台节点机器上，并且部署的目录也必须相同，而且需要 Master 节点和其他节点实现 SSH 无密码登录。启动时，需要先启动 Spark 的 Master 和 Slave 节点。Spark 的 Job 来源于用户执行 action 操作（这是 Spark 中实际意义的 Job），就是从 RDD 中获取结果的操作，而不是将一个 RDD 转换成另一个 RDD 的 transformation 操作。
2024-05-11 20:30:47
719
原创 大数据最全大数据进阶之路——Spark SQL基本配置_spark，一个月成功收割腾讯、阿里、字节offer
hadoop1==> start-all.sh 会在 hadoop1机器上启动master进程，在slaves文件配置的所有hostname的机器上启动worker进程Spark WordCount统计。
2024-05-11 20:30:10
651
原创 【Hadoop】（四）Hadoop 序列化 及 MapReduce 序列化案例实操_public void readfields(datainput datainput) throws
在企业开发中往往常用的基本序列化类型不能满足所有需求，比如在Hadoop框架内部传递一个bean对象，那么该对象就需要实现序列化接口。具体实现bean对象序列化步骤如下7步。（1）必须实现Writable接口（2）反序列化时，需要反射调用空参构造函数，所以必须有空参构造super();（3）重写序列化方法@Override（4）重写反序列化方法@Override（5）注意反序列化的顺序和序列化的顺序完全一致。
2024-05-10 21:58:10
696
原创 【Hadoop】（四）Hadoop 序列化 及 MapReduce 序列化案例实操_public void readfields(datainput datainput) throws(3)
在企业开发中往往常用的基本序列化类型不能满足所有需求，比如在Hadoop框架内部传递一个bean对象，那么该对象就需要实现序列化接口。具体实现bean对象序列化步骤如下7步。（1）必须实现Writable接口（2）反序列化时，需要反射调用空参构造函数，所以必须有空参构造super();（3）重写序列化方法@Override（4）重写反序列化方法@Override（5）注意反序列化的顺序和序列化的顺序完全一致。
2024-05-10 21:57:34
306
原创 【Hadoop】（四）Hadoop 序列化 及 MapReduce 序列化案例实操_public void readfields(datainput datainput) throws(2)
但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。id 手机号码 网络ip 上行流量 下行流量 网络状态码。//1. 需求 : 统计每一个手机号耗费的总上行流量、下行流量、总流量。手机号码 上行流量 下行流量 总流量。id 手机号码 网络ip 上行流量 下行流量 网络状态码*/手机号码 上行流量 下行流量 总流量*/* @aim：序列化案例实操。// 倒序排列，从大到小。//期望输出数据格式。
2024-05-10 21:56:58
795
原创 【Hadoop】（四）Hadoop 序列化 及 MapReduce 序列化案例实操_public void readfields(datainput datainput) throws(1)
但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。//1. 需求 : 统计每一个手机号耗费的总上行流量、下行流量、总流量。id 手机号码 网络ip 上行流量 下行流量 网络状态码*/// 1 获取配置信息，或者job对象实例。手机号码 上行流量 下行流量 总流量*/* @aim：序列化案例实操。//期望输出数据格式。
2024-05-10 21:56:21
746
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人