程序员
文章平均质量分 87
普通网友
这个作者很懒,什么都没留下…
展开
-
使用 Docker 搭建 Hadoop 分布式环境_windows系统docker怎么搭建hadoop框架(3)
Windows 安装的 Docker Desktop 配置十分简单,只需要在任务栏托盘 Docker 图标内右键菜单选择 Settings,打开配置窗口后在左侧导航菜单选择 Docker Engine,在右侧像下边一样编辑 json 文件,之后点击 Apply & Restart 保存后 Docker 就会重启并应用配置的镜像地址了。创建 Hadoop 容器我们需要合适的 Hadoop 镜像,这里我们使用 Github 上高赞的 docker-hadoop 镜像,使用如下命令将镜像克隆到本地。原创 2024-05-15 07:08:22 · 1021 阅读 · 0 评论 -
使用 Docker 搭建 Hadoop 分布式环境_windows系统docker怎么搭建hadoop框架(2)
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取]}Registry Mirrors:https://hub-mirror.c.163.com/git clone https://github.com/big-data-europe/docker-hado原创 2024-05-15 07:07:46 · 815 阅读 · 0 评论 -
使用 Docker 搭建 Hadoop 分布式环境_windows系统docker怎么搭建hadoop框架(1)
Hadoop 集群被成功启动后,可以通过如下 URL 访问各节点通过浏览器访问 Namenode 可以看到如下 Hadoop 集群管理页面。原创 2024-05-15 07:07:10 · 578 阅读 · 0 评论 -
作为大数据从业人员,如何写好一份可堪入目的简历?_大数据简历介绍怎么写
3 项目经历不需要事事都写上,轻重缓急分清,对口的、参与程度高的适当体现,不重要的,跟你应聘岗位没啥卵关系的,一笔带过,这样会让面试官更容易找到重点,换言之,也可以把面试官的注意力圈定在你所擅长的地方,所以,别犯傻。2 别是个技能都写上精通,你需要确认你是否真的精通,别写着精通的,我问一个你不懂一个,直接负分滚粗,但你要写着“了解”级别的,我会认为你不懂很正常。2 学校获奖或者各种发表论文的部分,讲真,国内论文的水有多深,我真的挺清楚的,当然,你要是能发表个国际公认论文水准的期刊,分分钟给你加分。原创 2024-05-15 07:06:34 · 651 阅读 · 0 评论 -
【Flink】(二)详解 Flink 运行架构_flink的运行架构负荷分担是什么(2)
上图是从一个较为高层级的视角,来看应用中各组件的交互协作。如果部署的集群环境不同(例如 YARN,Mesos,Kubernetes,standalone 等),其中一些步骤可以被省略,或是有些组件会运行在同一个 JVM 进程中。原创 2024-05-14 22:26:28 · 704 阅读 · 0 评论 -
【Flink】(二)详解 Flink 运行架构_flink的运行架构负荷分担是什么(1)
可以跨作业运行,它为应用提交提供了 REST 接口。当一个应用被提交执行时,分发器就会启动并将应用移交给一个 JobManager。由于是REST 接口,所以Dispatcher 可以作为集群的一个HTTP 接入点,这样就能够不受防火墙阻挡。Dispatcher 也会启动一个 Web UI,用来方便地展示和监控作业执行的信息。Dispatcher 在架构中可能并不是必需的,这取决于应用提交运行的方式。原创 2024-05-14 22:25:53 · 566 阅读 · 0 评论 -
【ES小结】还在用ElasticSearch做查询?换条思路实现高效数据统计_es能做统计
聚合是ES除搜索功能外提供的针对ES数据做统计分析的功能,聚合有助于根据搜索查询提供聚合数据,聚合查询是数据库中重要额功能特性,ES作为搜索引擎兼数据库,同样提供了强大的聚合分析功能力,它是基于查询条件来对数据进行分桶、计算的方法,这种很类似与SQL中的group by再加上一些函数方法的操作。在了解聚合查询之前需要注意的一点是:text类型是不支持聚合的,主要是因为text类型本身是分词的,通俗的说,如果一句话分成了多个词然后进行group by操作,那么问题就出现了,到底对哪一个词进行。原创 2024-05-14 22:25:17 · 618 阅读 · 0 评论 -
【ES小结】还在用ElasticSearch做查询?换条思路实现高效数据统计_es能做统计(1)
聚合是ES除搜索功能外提供的针对ES数据做统计分析的功能,聚合有助于根据搜索查询提供聚合数据,聚合查询是数据库中重要额功能特性,ES作为搜索引擎兼数据库,同样提供了强大的聚合分析功能力,它是基于查询条件来对数据进行分桶、计算的方法,这种很类似与SQL中的group by再加上一些函数方法的操作。在了解聚合查询之前需要注意的一点是:text类型是不支持聚合的,主要是因为text类型本身是分词的,通俗的说,如果一句话分成了多个词然后进行group by操作,那么问题就出现了,到底对哪一个词进行。原创 2024-05-14 22:24:40 · 926 阅读 · 0 评论 -
2024年江苏专转本志愿填报辅导(22上岸南工程学长辅导手册)_三个月冲刺南工程(2)
而今年新加入招生的南师大中北学院,招生人数为1215人,在民办院校招生计划中排名靠前,今年扩招力度最大的院校是南京理工大学泰州科技学院,较去年增加1060人;小预测(计算机):今年计算机公办人数948,去年为1237,减少了几百人,今年一本前几个院校分数不会有很大变动(顶多加几分),中间的公办二本会分数上升,民办学校分数不会变动很多。公办院校整体呈缩招趋势,尤其是南京信息工程大学和南京工业大学这样的头部本科院校,招生计划分别从原来的525人和500人,分别缩减到120人和300人。原创 2024-05-14 13:07:03 · 686 阅读 · 0 评论 -
2024年江苏专转本志愿填报辅导(22上岸南工程学长辅导手册)_三个月冲刺南工程(1)
费用:考试费145元/人(其中报名费每人10元,考试费每人每科45元)。注意:志愿填报结束后,不受理补报志愿申请,不允许修改、放弃已填报的志愿,若是碰到身份信息有误的请尽快联系学校老师及辅导员询问!原创 2024-05-14 13:06:27 · 722 阅读 · 0 评论 -
2024年每天一道大厂SQL题【Day26】脉脉真题实战(二)活跃时长的均值(1),写给1-3年大数据开发程序员的几点建议
一路走来,随着问题加深,发现不会的也愈来愈多。但底气着实足了不少,相信不少朋友和我一样,日积月累才是最有效的学习方式!,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的。昨日的活跃用户中,各个级别人才,当日最大活跃时长模块的活跃时长,占当日活跃总时长的比值的均值。参考答案适用HQL,SparkSQL,FlinkSQL,即大数据组件,其他SQL需自行修改。,以每日1题的形式,带你过一遍热门SQL题并给出恰如其分的解答。表2:maimai.users。原创 2024-05-14 13:05:50 · 518 阅读 · 0 评论 -
2024年机器学习算法(3)—— 逻辑回归算法(1),2024年最新211本硕如何通过字节跳动、百度、美团大数据开发面试
注意:对于列名, pd.read_csv()的参数names;pd.Dataframe()的参数columns,我总是把二者弄混在很多分类场景当中我们不一定只关注预测的准确率(准确率并不是衡量分类正确的唯一标准)比如以这个癌症举例子!!!我们并不关注预测的准确率,而是关注。原创 2024-05-14 13:05:14 · 606 阅读 · 0 评论 -
2024年最全Java知识点--反射(上)(1),值得一看
(1) Class也是类,因此也继承object类(2) Class类对象不是new出来的,而是系统创建的底层中ClassLoader 类中的loadClass方法创建Class类对象(3) 对于某个类的Class类对象, 在内存中只有一份,因为类只加载一次cls1.hashCode() = cls2.hashCode(),说明cls1和cls2是同一个对象。(4) 每个类的实例都会记得自己是由哪个Class实例所生成可以通过实例名.getClass()得到其运行类型。原创 2024-05-14 04:29:09 · 960 阅读 · 0 评论 -
2024年最全Java案例——控制台实现QuickHit小游戏_quickhit项目案例,2024年最新泪目
(1)输入 :正确、未超时;输出: 当前级别、当前积分、已用时间。(3)计算玩家的当前级别、当前积分和已用时间。(1)生成字符串、输出字符串、返回字符串。(2)生成长度固定但内容随机的字符串。(2)每次晋级后积分清零、计时清零。2.确认输入并输出结果。(1)6个级别循环实现。原创 2024-05-14 04:28:33 · 455 阅读 · 0 评论 -
2024年最全Java数据结构——栈的方法与模拟实现_java在堆上面模拟栈(1),面试字节跳动大数据开发研发岗
throw new StackEmptyException(“栈为空”);throw new StackEmptyException(“栈为空”);原创 2024-05-14 04:27:57 · 737 阅读 · 0 评论 -
2024年最全java数据类型与变量的安全性_java 定义方法变量 安全,2024年最新重磅来袭
1.在java种字符型占2字节,因为在C语言种使用的是ASCII编码,java种使用的是unicode编码方式.因为Java是一门安全性十分高的语言,在我们入门的时候,会犯各种各样的小错误,让我们一起来探究一下吧.在java中规定标识符中只能包含:字母,数字及下划线和$ 符号,但不能以数字开头,严格区分大小写.我们可以看到在最上面的程序中赋值超过了Int的范围,所以编译的时候会报错.在这里我们探讨一下整数的范围:因为java的数据是具有符号位的.在java当中,局部变量未进行初始化,系统会编译错误.原创 2024-05-14 04:27:21 · 675 阅读 · 0 评论 -
2024年大数据最全分页存储逻辑地址转物理地址_页面地址转换为物理地址,醍醐灌顶
一分页存储管理系统中逻辑地址长度为16位,页面大小为4KB字节,现有一逻辑地址为2F6AH,且第0、1、2页依次存放在物理块5,10、11中。已知某个分页系统,页面大小为1K(即1024字节),某一个作业有4个页面,分别装入到主存的第3、4、6、8块中,求逻辑地址2100对应的物理地址。根据找到的页号查找对应的页/块表找到对应的块号 11(因为页号是2,根据题目内容知物理块为11)页面大小4KB = 2^12(2的12次方),求得12对应的页内地址的位数。页内地址:页内地址的位数决定了页面的大小。原创 2024-05-13 19:40:48 · 618 阅读 · 0 评论 -
2024年大数据最全分布式搜索引擎Elasticsearch中各种类型节点的作用,大数据开发高级进阶学习资料
集群中任何时候只能有一个主节点负责这些任务,但是可以有多个候选主节点以防当前主节点失败。原创 2024-05-13 19:40:12 · 248 阅读 · 0 评论 -
2024年大数据最全凯哥带你从零学大数据系列之Java篇---第二十五章 文件操作详解,总结到位
如果你的程序只需要考虑部署在windows平台, 那么只需要按照windows的规范书写就可以;如果你的程序只需要部署到linux上, 那么只需要按照linux的规范书写就可以。但是, 如果你的程序需要考虑在不同的平台上部署运行, 此时就需要使用以下方法进行分隔符的获取。理论上来讲, 在windows中, 应该使用\作为目录分隔符。在不同的操作系统中, 目录分隔符是不一样的。在不同的操作系统中, 路径分隔符是不一样的。分隔开一个路径中的不同的文件夹, 用来描述层级关系、 包含关系。原创 2024-05-13 19:39:36 · 806 阅读 · 0 评论 -
2024年大数据最全写给开发者的软件架构实战:基于架构的软件设计方法及应用(1),分享面经
软件架构(Softons)、以及这些元素和关系的外部可视化(external properties)。它是软件系统整体构想和设计的模型,是一个系统的高层次设计,也是系统的蓝图。原创 2024-05-13 19:39:00 · 1000 阅读 · 0 评论 -
2024年【笔记】HDFS基础笔记(1),2024年最新真的太香了
启动完成后,可以通过命令 jps 来判断是否成功启动,若成功启动则会列出如下进程: “NameNode”、“DataNode” 和 “SecondaryNameNode”的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!hdfs dfs跟hadoop dfs的命令作用一样,也只能适用于HDFS文件系统。hadoop fs适用于任何不同的文件系统,比如本地文件系统和HDFS文件系统。hadoop dfs只能适用于HDFS文件系统。关闭hadoop命令:stop-dfs.sh。原创 2024-05-13 14:06:54 · 583 阅读 · 0 评论 -
2024年【秋招面试】面试准备(一面准备)_秋招面试是什么样(2),2024年最新腾讯T3大牛手把手教你
项目背景:本项目基于一家大型物流公司研发的智慧物流大数据平台。该物流公司是国内综合性快递、物流服务商,并在全国各地都有覆盖的网点。业务规模:经过多年的积累、经营以及布局,拥有大规模的客户群,日订单达 上千万。如此规模的业务数据量,传统的数据处理技术已经不能满足企业的经营分析需求。项目价值:公司需要基于大数据技术构建数据中心,从而挖掘出隐藏在数据背后的信息价值,为企业提供有益的帮助,带来更大的利润和商机。原创 2024-05-13 14:06:18 · 851 阅读 · 0 评论 -
2024年【秋招面试】货拉拉面试(1面过程)(2),2024年最新金三银四大数据开发高级工程师面试题整理
和in可以乱序,比如a = 1 and b = 2 and c = 3 建立(a,b,c)索引可以任意顺序,mysql的查询优化器会帮你优化成索引可以识别的形式。最左前缀匹配原则,非常重要的原则,mysql会一直向右匹配直到遇到范围查询(>、原创 2024-05-13 14:05:42 · 453 阅读 · 0 评论 -
2024年【深度学习】:《PyTorch入门到项目实战(8),那些进了大厂的程序员面试前都做了哪些准备
在卷积神经网络中,有多个输出通道是至关重要的。在经典的神经网络架构中(例如等),。直观地说,我们可以将每个通道看作是对不同特征的反应。如下图所示:我们让这个6×6×3的图像和两个3×3×3的过滤器卷积。第一个是黄色卷积核,假设是一个垂直边界检测器。第二个卷积核是橘色,假设是一个水平边界检测器。这样就得到4×4×2的输出。根据这个我们可以发现,假设c0c_0c0表示输入通道数,c1c_1c1表示输出通道数,则有n×n×c0c_0c0和一个c1×f×f×c0。原创 2024-05-13 14:05:06 · 402 阅读 · 0 评论 -
最新使用gs_probackup进行openGauss数据库物理备份与恢复,面试复盘
gs_probackup是一个用于管理openGauss数据库备份和恢复的工具。它对openGauss实例进行定期备份,以便在数据库出现故障时能够恢复服务器。需要注意的是,openGauss轻量版是不支持该工具的。原创 2024-05-12 16:44:13 · 1018 阅读 · 0 评论 -
最新使用es必须要知道的一些知识点:索引篇_es创建索引,那些被大厂优化的程序员们
【代码】最新使用es必须要知道的一些知识点:索引篇_es创建索引,那些被大厂优化的程序员们。原创 2024-05-12 16:43:37 · 250 阅读 · 0 评论 -
最新从学生到工程师的蜕变之路(2),程序员必学
从业五年,工作内容是主要从事JAVA开发和大数据相关的工作。主要给大家分享我在工作中的心得和体会。原创 2024-05-12 16:43:01 · 372 阅读 · 0 评论 -
最新今日群里分享的面试题,深入讲解大数据开发
【代码】最新今日群里分享的面试题,深入讲解大数据开发。原创 2024-05-12 16:42:24 · 268 阅读 · 0 评论 -
最全【Spark MLlib】(五)随机森林(Random Forest(1),腾讯大数据开发开发面试经验
目前,Spark MLlib 中实现了 tree 相关的算法,决策树 DT(DecisionTree),随机森林 RF(Random Forest),GBDT(Gradient Boosting Decision Tree),其基础都是RF,DT 是 RF 一棵树时的情况,而 GBDT 则是循环构建DT,GBDT与DT的代码是非常简单明了的,本文会对 Random Forest 的源码进行分析,介绍 Spark 在实现过程中使用的一些技巧。个值,最多个划分如果值是有序的,那么就最多。原创 2024-05-12 08:12:24 · 648 阅读 · 0 评论 -
最全【Rust指南】面向对象的实现_csdn rust,2024年最新成功跳槽阿里
【代码】最全【Rust指南】面向对象的实现_csdn rust,2024年最新成功跳槽阿里。原创 2024-05-12 08:11:48 · 257 阅读 · 0 评论 -
最全【Redis高手修炼之路】②Redis的五大数据类型,一文带你搞懂大数据开发多线程Handler
127.0.0.1:6379> lrange list 0 -1 # 相当于lrange list 0 5 ,-1表示末尾。127.0.0.1:6379> smove myset1 newset a #将a从集合myset1移动到newset。127.0.0.1:6379> sismember myset1 c #查询集合中是否存在c。127.0.0.1:6379> spop myset1 2 # 随机移除2个成员。127.0.0.1:6379> srem myset1 f #将集合中的f移除。原创 2024-05-12 08:11:12 · 857 阅读 · 0 评论 -
最全【Python刷题篇】——Python入门 011面向对象(二(3),一名毕业三年的女程序媛面试头条经验
x2, y2 = map(int, input().split()) # 1.输入第二行两个数字。x1, y1 = map(int, input().split()) # 1.输入第一行两个数字。() # 4. 调用__str__()函数,打印(相加之后的x, 相加之后的y)() # 3. 调用__add__()函数,实现两组数据分别对应相加。c1 = Coordinate(x1, y1) # 2. 调用类。原创 2024-05-12 08:10:36 · 371 阅读 · 0 评论 -
大数据最新WSUS 服务_wsus分支缓存(2),头条三面技术四面HR
当公司内部网络无法连接互联网时 ,可以通过一台wsus 从微软获取更新内容 并传给移动终端,在由移动终端将更新内容传到另一台wsus 服务器上 为内部网络提供管理和分发更新内容。多台WSUS 服务器 当公司内部终端比较多的情况,可以部署两台或者两台以上的WSUS 服务器,一台负责从微软官方获得更新内容,另一台wsus 负责分发管理客户端更新服务。简单部署, 只需要一台wsus 服务器 提供公司内部的更新并 通过互联网连接微软更新服务器获取更新。对网络中客户都安分组,控制更新在不同客户端得分发。原创 2024-05-11 23:32:11 · 725 阅读 · 0 评论 -
大数据最新WordPress重新安装的几种方法(2024年新版教程)(1),这些知识点你会吗
SiteGround重装WordPress的方法很简单,登录后台后,选择WordPress菜单下面的Install & Manage,然后找到你要重装的网站,选择Delete Application,删除后重新Install New WordPress就OK了。你可以直接在网站列表里面选择删除网站,并且删除网站对应的FTP、数据库和根目录,然后重新添加一个网站,跟着宝塔安装WordPress的方法再来一遍。1、单独重装数据库的话,网站的文件(代码,主题,插件,上传的图片等)不会丢失。原创 2024-05-11 23:31:35 · 1110 阅读 · 0 评论 -
大数据最新Win10安装Hadoop3,2024年最新字节跳动社招面试记录
启动之后弹出四个窗口,如果窗口没有自动关闭或者自动停止则初始化成功。究,那么很难做到真正的技术提升。原创 2024-05-11 23:30:59 · 370 阅读 · 0 评论 -
大数据最新web前端面试高频考点——JavaScript 篇(一)【JS的三座大山 ,2024年最新大数据开发开发基础在线培训学校
示例:函数作为返回值。原创 2024-05-11 23:30:23 · 940 阅读 · 0 评论 -
基于Python+大数据城市景观画像可视化系统设计和实现_基于python构建小区绿化数据分析数据分析
综上所述,基于Python+大数据的城市景观画像可视化设计和实现具有重要的意义和价值。通过对城市各个方面数据的采集、分析和可视化,可以帮助人们更好地了解城市的发展现状和特点,为城市规划、管理和决策提供科学依据,促进城市的可持续发展和社会的进步。原创 2024-05-11 14:55:04 · 268 阅读 · 0 评论 -
基于Python+大数据城市景观画像可视化系统设计和实现_基于python构建小区绿化数据分析数据分析(3)
随着城市化进程的不断加速,城市景观已经成为人们生活中不可或缺的一部分。城市景观反映了城市的文化底蕴、发展水平、生态环境等多方面特征,对城市形象的塑造和城市管理的提升具有至关重要的作用。同时,随着大数据技术的不断发展和普及,城市数据已经成为城市规划、管理和决策的重要支撑。综上所述,基于Python+大数据的城市景观画像可视化设计和实现具有重要的意义和价值。原创 2024-05-11 14:54:28 · 718 阅读 · 0 评论 -
基于Python+大数据城市景观画像可视化系统设计和实现_基于python构建小区绿化数据分析数据分析(2)
return R.error(“用户名已存在。return R.error(“用户已存在”);return R.error(“用户已存在”);原创 2024-05-11 14:53:52 · 420 阅读 · 0 评论 -
基于Python+大数据城市景观画像可视化系统设计和实现_基于python构建小区绿化数据分析数据分析(1)
随着城市化进程的不断加速,城市景观已经成为人们生活中不可或缺的一部分。城市景观反映了城市的文化底蕴、发展水平、生态环境等多方面特征,对城市形象的塑造和城市管理的提升具有至关重要的作用。同时,随着大数据技术的不断发展和普及,城市数据已经成为城市规划、管理和决策的重要支撑。综上所述,基于Python+大数据的城市景观画像可视化设计和实现具有重要的意义和价值。原创 2024-05-11 14:53:16 · 447 阅读 · 0 评论