普通网友-CSDN博客

原创深入高性能NIO通信框架，Netty权威详解，大数据时代构建高可用系统利器

第17章：ChannelPipeline 和ChannelHandler。第18章：EventLoop 和EventLoopGroup。第16章：Channel 和Unsafe。第19章：Future 和Promise。四、高级篇：Netty多协议开发和应用。第15章：ByteBuf 和相关辅助类。第11章：WebSocket协议开发。第5章：分隔符和定长解码器的应用。第10章：HTTP协议开发应用。第3章：Netty 入门应用。第12章：UDP协议开发。第14章：私有协议栈开发。

2024-05-16 10:51:29 400

原创深入分析JavaWeb Item29 -- 使用JDBC处理大数据（MySql + Oracle）

/3、查询此BLOB对象并锁定。* @Description:替换CLOB对象（将原CLOB对象清除，换成一个全新的CLOB对象）* @Description:替换BLOB对象（将原BLOB对象清除，换成一个全新的BLOB对象）//4、取出此BLOB对象，并强制转换成Oracle的BLOB对象。//3、取出此BLOB对象，并强制转换成Oracle的BLOB对象。//4、取出此BLOB对象，并强制转换成Oracle的BLOB对象。//4、取出此BLOB对象，并强制转换成Oracle的BLOB对象。

2024-05-16 10:50:57 362

原创浅谈大数据建模的主要技术：维度建模_大数据平台数据建模设计(1)

实际上，我们通过和业务方、需求方交谈，或者阅读报表、图表等，可以很容易地识别度量。

2024-05-16 10:50:23 547

原创没想到 Kafka 还会这样问，学会这些带你轻松搞定大厂面试！_follower参加读写吗

关于消息队列更深入的一些知识，大家可以看这里------关于消息队列的使用。关于 Kafka 和传统消息队列有何不同，在上一篇博客中已经做出解答，这里我就不再赘述。一般情况下，Kafka应用在大数据日志处理或对实时性（少量延迟），可靠性（少量丢数据）要求稍低的场景使用。

2024-05-16 10:49:50 343

原创最全【云原生Docker系列第七篇】浅谈镜像的分层原理（几位？(1)，2024年最新大数据开发面试题2024基础

镜像是Docker容器的基石，容器时镜像的运行实例，有了镜像才能启动容器简单来说，Docker镜像是一个不包含linux内核而又精简的linux操作系统。它就好比是一个只有可读权限的压缩包，我们只能查看不能写。

2024-05-16 03:03:30 943

原创最全【云原生 13】手把手教你搭建ferry开源工单系统，看完豁然开朗

工单提交申请工单统计多维度工单列表，包括（我创建的、我相关的、我待办的、所有工单）自定义流程自定义模版任务钩子任务管理催办转交手动结单加签多维度处理人，包括（个人，变量 (创建者、创建者负责人)）排他网关，即根据条件判断进行工单跳转并行网关，即多个节点同时进行审批处理通知提醒（目前仅支持邮件）流程分类管理用户、角色、岗位的增删查改，批量删除，多条件搜索角色、岗位数据导出 Excel重置用户密码。

2024-05-16 03:02:58 1088

原创最全【一起学数据结构与算法】顺序表的实现，字节大牛耗时八个月又一力作

如果数组当中是引用数据类型。System.out.println(“没有你要删除的数字！System.out.println(“pos 位置不合法”);System.out.println(“pos 位置不合法”);System.out.println(“顺序表为空！System.out.println(“顺序表为空！System.out.println(“顺序表为空！//查找某个元素的对应位置，找不到返回-1。//获取pos位置的值。

2024-05-16 03:02:25 648

原创最全【一起学数据结构与算法】深度学习栈_深度学习技术栈(3)，2024年最新BTAJ大厂最新面试题汇集

（stack）又名堆栈，它是一种运算受限的线性表。限定仅在表尾进行插入和删除操作的线性表。这一端被称为栈顶，相对地，把另一端称为栈底。向一个栈插入新元素又称作进栈、入栈或压栈，它是把新元素放到栈顶元素的上面，使之成为新的栈顶元素；从一个栈删除元素又称作出栈或退栈，它是把栈顶元素删除掉，使其相邻的元素成为新的栈顶元素。压栈：栈的插入操作叫做进栈/压栈/入栈，入数据在栈顶。出栈：栈的删除操作叫做出栈。出数据在栈顶。

2024-05-16 03:01:52 417

原创大数据最新Python+大数据学习笔记(一)_inferschema=true，2024年最新腾讯后台开发

1003|刘备|6900| 战士| ±—±------±----±------------+ 3。StructField(“hp”, LongType(), True), #生命值。data = [(1001, “张飞”, 8341, “坦克”),(1001, “张飞”, 8341, “坦克”),(1002, “关羽”, 7107, “战士”),(1002, “关羽”, 7107, “战士”),(1003, “刘备”, 6900, “战士”)](1003, “刘备”, 6900, “战士”)

2024-05-15 18:15:19 339

原创大数据最新Python Pandas PK esProc SPL，谁才是数据预处理王者？(1)，2024年最新大数据开发端简单易用的SPI框架

用SQL查询数据库，用csv文件更新数据库。简单读写数据库时，Pandas代码足够优雅。SPL代码也很简单，整体逻辑与Pandas类似。区别在于,SPL可以把数据源信息写在配置文件里，代码里只要简单引用数据源名，具体来说，A1可以写成：connect(“myDB”)规则文本：读取csv文件，简单计算后写入新csv。Pandas代码很简洁，但仍有不足之处，一是不能自动解析日期时间类型；二是计算代码里大中小括号都有，既有表达式又有字符串，有明显的可优化之处，语言整体性不佳。

2024-05-15 18:14:47 243

原创大数据最新Prism框架简介及其项目创建方法(3)，30岁转行程序员

从上面的图中我们知道Module是位于Shell的下一层的概念，中包含View、Services以及其它的应用基础设施等。

2024-05-15 18:14:13 400

原创大数据最新postgis空间数据导入及可视化_postgis导入数据(1)，大数据开发技术篇

1、打开postgis shapefile导入工具，点击开始，找到postgis工具2、打开后看到以下页面3、配置postgis连接4、选择需要导入的shapefile文件。5、选择文件后，点击import将矢量数据导入到postgis中四、使用gdal的ogr2ogr命令进行导入1、在gdal的bin\gdal\apps目录下，可以看到有很多gdal提供的命令行函数，通过调用这些命令行函数可以完成许多空间数据处理，分析。其中ogr2ogr就是一个矢量数据处理命令。2、ogr2ogr函数说明。

2024-05-15 18:13:39 323

原创大数据最全大数据Python基础之DataFrame数据结构学习_dd = pd(3)，2024-2024字节跳动大数据开发面试真题解析

DataFrame包含了已排序的列集合，每一列可以是不同的值类型（数值/字符串/布尔值等）。DataFrame可以理解为一个共享相同索引的Series的字典，DataFrame既有行索引index，也有列索引colums。，列名为属性，如df.name(列名是有效的Python变量名)。如df.loc[1]，其索引的名字即为当前行的列索引“1”，索引名为各列的名字。选择一列：类似字典的标记，如df。利用嵌套字典构建DataFrame时，Pandas将字典的键作为列索引，将内部字典的键进行行索引。

2024-05-15 15:28:37 378

原创大数据最全大数据Hive（介绍+安装+使用）(2)，2024年最新阿里P7亲自教你

如果忘记看了，则查看文件/usr/local/mysql/log/alert.log中启动mysql服务登录mysql设置密码。

2024-05-15 15:28:05 342

原创大数据最全大数据HDFS集群运维之小文件统计_hdfs hive 目录大小统计(1)，2024年最新腾讯T2手把手教你

echo “不存在以fsimage_0开头的文件”echo “存在以fsimage_0开头的文件”

2024-05-15 15:27:32 340

原创大数据最全大数据Hadoop生态圈(1)，2024年最新附详细答案

hadoop发展到现在，除了支持hdfs（hdfs://nn:8020），还支持谷歌(gfs://ip:port/)，阿里云，linux,本地文件系统(file:///)等文件系统 —— 具体操作什么取决于命令中文件路径URL中的前缀协议，如果没有指定，则读取:fs.defaultFS属性。

2024-05-15 15:26:59 225

原创使用 Docker 搭建 Hadoop 分布式环境_windows系统docker怎么搭建hadoop框架(3)

Windows 安装的 Docker Desktop 配置十分简单，只需要在任务栏托盘 Docker 图标内右键菜单选择 Settings，打开配置窗口后在左侧导航菜单选择 Docker Engine，在右侧像下边一样编辑 json 文件，之后点击 Apply & Restart 保存后 Docker 就会重启并应用配置的镜像地址了。创建 Hadoop 容器我们需要合适的 Hadoop 镜像，这里我们使用 Github 上高赞的 docker-hadoop 镜像，使用如下命令将镜像克隆到本地。

2024-05-15 07:08:22 1041

原创使用 Docker 搭建 Hadoop 分布式环境_windows系统docker怎么搭建hadoop框架(2)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取]}Registry Mirrors:https://hub-mirror.c.163.com/git clone https://github.com/big-data-europe/docker-hado

2024-05-15 07:07:46 827

原创使用 Docker 搭建 Hadoop 分布式环境_windows系统docker怎么搭建hadoop框架(1)

Hadoop 集群被成功启动后，可以通过如下 URL 访问各节点通过浏览器访问 Namenode 可以看到如下 Hadoop 集群管理页面。

2024-05-15 07:07:10 590

原创作为大数据从业人员，如何写好一份可堪入目的简历？_大数据简历介绍怎么写

3 项目经历不需要事事都写上，轻重缓急分清，对口的、参与程度高的适当体现，不重要的，跟你应聘岗位没啥卵关系的，一笔带过，这样会让面试官更容易找到重点，换言之，也可以把面试官的注意力圈定在你所擅长的地方，所以，别犯傻。2 别是个技能都写上精通，你需要确认你是否真的精通，别写着精通的，我问一个你不懂一个，直接负分滚粗，但你要写着“了解”级别的，我会认为你不懂很正常。2 学校获奖或者各种发表论文的部分，讲真，国内论文的水有多深，我真的挺清楚的，当然，你要是能发表个国际公认论文水准的期刊，分分钟给你加分。

2024-05-15 07:06:34 690

原创【Flink】（二）详解 Flink 运行架构_flink的运行架构负荷分担是什么(2)

上图是从一个较为高层级的视角，来看应用中各组件的交互协作。如果部署的集群环境不同（例如 YARN，Mesos，Kubernetes，standalone 等），其中一些步骤可以被省略，或是有些组件会运行在同一个 JVM 进程中。

2024-05-14 22:26:28 709

原创【Flink】（二）详解 Flink 运行架构_flink的运行架构负荷分担是什么(1)

可以跨作业运行，它为应用提交提供了 REST 接口。当一个应用被提交执行时，分发器就会启动并将应用移交给一个 JobManager。由于是REST 接口，所以Dispatcher 可以作为集群的一个HTTP 接入点，这样就能够不受防火墙阻挡。Dispatcher 也会启动一个 Web UI，用来方便地展示和监控作业执行的信息。Dispatcher 在架构中可能并不是必需的，这取决于应用提交运行的方式。

2024-05-14 22:25:53 579

原创【ES小结】还在用ElasticSearch做查询？换条思路实现高效数据统计_es能做统计

聚合是ES除搜索功能外提供的针对ES数据做统计分析的功能，聚合有助于根据搜索查询提供聚合数据，聚合查询是数据库中重要额功能特性，ES作为搜索引擎兼数据库，同样提供了强大的聚合分析功能力，它是基于查询条件来对数据进行分桶、计算的方法，这种很类似与SQL中的group by再加上一些函数方法的操作。在了解聚合查询之前需要注意的一点是：text类型是不支持聚合的，主要是因为text类型本身是分词的，通俗的说，如果一句话分成了多个词然后进行group by操作，那么问题就出现了，到底对哪一个词进行。

2024-05-14 22:25:17 633

原创【ES小结】还在用ElasticSearch做查询？换条思路实现高效数据统计_es能做统计(1)

聚合是ES除搜索功能外提供的针对ES数据做统计分析的功能，聚合有助于根据搜索查询提供聚合数据，聚合查询是数据库中重要额功能特性，ES作为搜索引擎兼数据库，同样提供了强大的聚合分析功能力，它是基于查询条件来对数据进行分桶、计算的方法，这种很类似与SQL中的group by再加上一些函数方法的操作。在了解聚合查询之前需要注意的一点是：text类型是不支持聚合的，主要是因为text类型本身是分词的，通俗的说，如果一句话分成了多个词然后进行group by操作，那么问题就出现了，到底对哪一个词进行。

2024-05-14 22:24:40 932

原创 2024年江苏专转本志愿填报辅导(22上岸南工程学长辅导手册)_三个月冲刺南工程(2)

而今年新加入招生的南师大中北学院，招生人数为1215人，在民办院校招生计划中排名靠前，今年扩招力度最大的院校是南京理工大学泰州科技学院，较去年增加1060人；小预测(计算机)：今年计算机公办人数948，去年为1237，减少了几百人，今年一本前几个院校分数不会有很大变动(顶多加几分)，中间的公办二本会分数上升，民办学校分数不会变动很多。公办院校整体呈缩招趋势，尤其是南京信息工程大学和南京工业大学这样的头部本科院校，招生计划分别从原来的525人和500人，分别缩减到120人和300人。

2024-05-14 13:07:03 703

原创 2024年江苏专转本志愿填报辅导(22上岸南工程学长辅导手册)_三个月冲刺南工程(1)

费用：考试费145元/人（其中报名费每人10元，考试费每人每科45元）。注意：志愿填报结束后，不受理补报志愿申请，不允许修改、放弃已填报的志愿，若是碰到身份信息有误的请尽快联系学校老师及辅导员询问！

2024-05-14 13:06:27 733

原创 2024年每天一道大厂SQL题【Day26】脉脉真题实战(二)活跃时长的均值(1)，写给1-3年大数据开发程序员的几点建议

一路走来，随着问题加深，发现不会的也愈来愈多。但底气着实足了不少，相信不少朋友和我一样，日积月累才是最有效的学习方式！，作为一名资深大数据选手，深知SQL重要性，接下来我准备用100天时间，基于大数据岗面试中的。昨日的活跃用户中，各个级别人才，当日最大活跃时长模块的活跃时长，占当日活跃总时长的比值的均值。参考答案适用HQL，SparkSQL，FlinkSQL，即大数据组件，其他SQL需自行修改。，以每日1题的形式，带你过一遍热门SQL题并给出恰如其分的解答。表2：maimai.users。

2024-05-14 13:05:50 532

原创 2024年机器学习算法（3）—— 逻辑回归算法(1)，2024年最新211本硕如何通过字节跳动、百度、美团大数据开发面试

注意：对于列名， pd.read_csv()的参数names；pd.Dataframe()的参数columns，我总是把二者弄混在很多分类场景当中我们不一定只关注预测的准确率（准确率并不是衡量分类正确的唯一标准）比如以这个癌症举例子！！！我们并不关注预测的准确率，而是关注。

2024-05-14 13:05:14 616

原创 2024年最全Java知识点--反射（上）(1)，值得一看

(1) Class也是类，因此也继承object类(2) Class类对象不是new出来的，而是系统创建的底层中ClassLoader 类中的loadClass方法创建Class类对象(3) 对于某个类的Class类对象，在内存中只有一份，因为类只加载一次cls1.hashCode() = cls2.hashCode()，说明cls1和cls2是同一个对象。(4) 每个类的实例都会记得自己是由哪个Class实例所生成可以通过实例名.getClass()得到其运行类型。

2024-05-14 04:29:09 973

原创 2024年最全Java案例——控制台实现QuickHit小游戏_quickhit项目案例，2024年最新泪目

（1）输入：正确、未超时；输出：当前级别、当前积分、已用时间。（3）计算玩家的当前级别、当前积分和已用时间。（1）生成字符串、输出字符串、返回字符串。（2）生成长度固定但内容随机的字符串。（2）每次晋级后积分清零、计时清零。2.确认输入并输出结果。（1）6个级别循环实现。

2024-05-14 04:28:33 488

原创 2024年最全Java数据结构——栈的方法与模拟实现_java在堆上面模拟栈(1)，面试字节跳动大数据开发研发岗

throw new StackEmptyException(“栈为空”);throw new StackEmptyException(“栈为空”);

2024-05-14 04:27:57 747

原创 2024年最全java数据类型与变量的安全性_java 定义方法变量安全，2024年最新重磅来袭

1.在java种字符型占2字节，因为在C语言种使用的是ASCII编码,java种使用的是unicode编码方式.因为Java是一门安全性十分高的语言，在我们入门的时候，会犯各种各样的小错误，让我们一起来探究一下吧.在java中规定标识符中只能包含：字母，数字及下划线和$ 符号，但不能以数字开头，严格区分大小写.我们可以看到在最上面的程序中赋值超过了Int的范围，所以编译的时候会报错.在这里我们探讨一下整数的范围：因为java的数据是具有符号位的.在java当中，局部变量未进行初始化，系统会编译错误.

2024-05-14 04:27:21 687

原创 2024年大数据最全分页存储逻辑地址转物理地址_页面地址转换为物理地址，醍醐灌顶

一分页存储管理系统中逻辑地址长度为16位，页面大小为4KB字节，现有一逻辑地址为2F6AH，且第0、1、2页依次存放在物理块5，10、11中。已知某个分页系统，页面大小为1K(即1024字节)，某一个作业有4个页面，分别装入到主存的第3、4、6、8块中，求逻辑地址2100对应的物理地址。根据找到的页号查找对应的页/块表找到对应的块号 11（因为页号是2，根据题目内容知物理块为11）页面大小4KB = 2^12(2的12次方)，求得12对应的页内地址的位数。页内地址：页内地址的位数决定了页面的大小。

2024-05-13 19:40:48 677

原创 2024年大数据最全分布式搜索引擎Elasticsearch中各种类型节点的作用，大数据开发高级进阶学习资料

集群中任何时候只能有一个主节点负责这些任务，但是可以有多个候选主节点以防当前主节点失败。

2024-05-13 19:40:12 259

原创 2024年大数据最全凯哥带你从零学大数据系列之Java篇---第二十五章文件操作详解，总结到位

如果你的程序只需要考虑部署在windows平台，那么只需要按照windows的规范书写就可以；如果你的程序只需要部署到linux上，那么只需要按照linux的规范书写就可以。但是，如果你的程序需要考虑在不同的平台上部署运行，此时就需要使用以下方法进行分隔符的获取。理论上来讲，在windows中，应该使用\作为目录分隔符。在不同的操作系统中，目录分隔符是不一样的。在不同的操作系统中，路径分隔符是不一样的。分隔开一个路径中的不同的文件夹，用来描述层级关系、包含关系。

2024-05-13 19:39:36 823

原创 2024年大数据最全写给开发者的软件架构实战：基于架构的软件设计方法及应用(1)，分享面经

软件架构（Softons）、以及这些元素和关系的外部可视化（external properties）。它是软件系统整体构想和设计的模型，是一个系统的高层次设计，也是系统的蓝图。

2024-05-13 19:39:00 1021

原创 2024年【笔记】HDFS基础笔记(1)，2024年最新真的太香了

启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、“DataNode” 和 “SecondaryNameNode”的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！hdfs dfs跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统。hadoop fs适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统。hadoop dfs只能适用于HDFS文件系统。关闭hadoop命令：stop-dfs.sh。

2024-05-13 14:06:54 599

空空如也

空空如也