- 博客(331)
- 收藏
- 关注
RSS订阅原创 计算机视觉结合深度学习项目-智能停车场空车位实时识别_大厦智能停车场空余车位算法(2)
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取import operatorlist1 = sorted(cleaned, key=operator.itemgetter(0, 1))files_train = 0file
2024-05-16 12:34:08
351
原创 计算机视觉结合深度学习项目-智能停车场空车位实时识别_大厦智能停车场空余车位算法(1)
做完检测之后，我们想要的是对于停车场的12列，我们对每一列都进行一个提取操作，比如我们得到12列之后，然后我们在对每一列分出具体的一个一个车位。输入的图像需要是边缘检测后的结果，minLineLengh(线的最短长度，比这个短的都被忽略)和MaxLineCap（两条直线之间的最大间隔，小于此值，认为是一条直线）。这里面对检测到的霍夫直线继续做一个过滤的操作，如果直线的长度大于25，小于55，我们就添加到列表当中，并且设定一条直线的左右端点坐标的差值不能超过1.这样的直线我们通通过滤出来。
2024-05-16 12:33:35
367
原创 计算机网络：电路、报文与分组交换_电路交换和分组交换 传送长度(5)
分组交换限制了每次传送的数据块大小的上限，把大的数据块划分为合理的小数据块，再加上一些必要的控制信息（如源地址、目的地址和编号信息等)，构成分组（Packet)。网络结点根据控制信息把分组送到下一个结点，下一个结点接收到分组后，暂时保存并排队等待传输，然后根据分组控制信息选择它的下一个结点，直到到达目的结点。采用电路：传送的数据量很大且其传送时间远大于呼叫时间时，采用电路交换较为合适。数据交换的单位是报文，报文携带有目标地址、源地址等信息。注意，电路建立后，除源结点和目的结点外，
2024-05-16 12:33:02
430
原创 最新大数据计算，如何优化SQL _聚合函数 sum 耗时(1)，面试流程4轮技术面+1轮HR
很多大数据计算都是用SQL实现的，跑得慢时就要去优化SQL，但常常碰到让人干瞪眼的情况。很多大数据计算都是用SQL实现的，跑得慢时就要去优化SQL，但常常碰到让人干瞪眼的情况。这里的T是个有数亿行的巨大表，要分别按三种方式分组，分组的结果集都不大。分组运算要遍历数据表，这三句SQL就要把这个大表遍历三次，对数亿行数据遍历一次的时间就不短，何况三遍。这种分组运算中，相对于遍历硬盘的时间，CPU计算时间几乎可以忽略。
2024-05-16 08:51:45
353
原创 最新大数据组件安装部署、配置文件、启停命令总结(1)，2024年最新程序员35岁真的是分水岭吗
最大值：bin/kafka-run-class.sh kafka.tools.GetOffsetShell --topic test_kafka_topic --time -1 --broker-list 127.0.0.1:9092 --partitions 0。说明：在${KAFKA_HOME}/config/server.properties中配置 delete.topic.enable 为 true，这样才能生效，删除指定的 topic主题。
2024-05-16 08:50:39
328
原创 最全2024年最受大家欢迎的五大机器学习工具和五大数据学习工具，程序员必会知识
Theano可以说是最成熟的Python深度学习库之一，Theano是以以为希腊毕达哥拉斯哲学家和数学家毕达哥拉斯的妻子的名字命名，Theano的主要功能：与NumPy紧密集成，用符号式语言定义你想要的结果，该框架会对你的程序进行编译，来高效运行于 GPU 或 CPU。同样，通过更改只有几行代码，你可以快速对现有代码进行并行处理，因为它的DataFrame与Pandas库中的相同，它的Array对象的工作方式类似于NumPy能够并行化以纯Python编写。最重要的是，它是免费的！
2024-05-16 01:02:55
336
原创 最全2024年Java何去何从，在人工智能，云计算，物联网，区域块链，2024年最新写的太详细了
首先给你总结一下，人工智能，云计算，物联网，区域块链，大数据这些行业比较高大尚，但是都是需要编程基础，你一门语言不会那个行业都轮不到你当然怎么去发展这个是未来的事，我们谁也不知道国家的下一步会怎么去规划至于Java何去何从，这就不是你应该担心的问题，就算以后这些行业没有Java的身影，这门语言也是仍然会持续的被中国人使用下去我觉得这些不是你应该担心的问题，当下就只需要把自己的事情做好，好好学习一门编程语言，这样就算他以后怎么发展，你也有跟别人竞争的资本。如果想要进中大厂，必须得有扎实基础，好的学习能力。
2024-05-16 01:02:22
450
原创 最全2024年Java何去何从，在人工智能，云计算，物联网，区域块链(3)，大数据开发屏幕适配很难嘛其实也就那么回事
首先给你总结一下，人工智能，云计算，物联网，区域块链，大数据这些行业比较高大尚，但是都是需要编程基础，你一门语言不会那个行业都轮不到你当然怎么去发展这个是未来的事，我们谁也不知道国家的下一步会怎么去规划至于Java何去何从，这就不是你应该担心的问题，就算以后这些行业没有Java的身影，这门语言也是仍然会持续的被中国人使用下去我觉得这些不是你应该担心的问题，当下就只需要把自己的事情做好，好好学习一门编程语言，这样就算他以后怎么发展，你也有跟别人竞争的资本。Java的主要优势是成熟的多线程以及稳定服务的能力。
2024-05-16 01:01:49
385
原创 最全2024大数据Java面试总结（未完待续）(1)，2024年最新字节大数据开发高级岗
启动SpringFactories的实例，都是利用AutoConfiguration的实例，也就是 Springboot自动配置和零xml配置的核心，这里模仿了java的SPI机制，很多框架里面都有所使用。启动过程最重要的是SpringFactoriesLoader进行自动配置的过程（此过程类似于java的spi机制，可以进行适度的发散）料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。服务治理中心，实现某节点的禁用（dubbo-admin）
2024-05-16 01:01:17
422
原创 大数据最全微服务技术栈之rabbitMQ高级（二），2024年最新最新大数据开发开发进阶
当消息投递到MQ，但是路由失败时，通过返回异常信息，同时返回ack的确认信息，代表投递成功临时消息投递到了MQ，并且入队成功，返回ACK，告知投递成功持久消息投递到了MQ，并且入队完成持久化，返回ACK ，告知投递成功其它情况都会返回NACK，告知投递失败其中ack和nack属于机制，ack是投递成功；nack是投递失败。而return则属于机制。默认两种机制都是关闭状态，需要通过配置文件来开启。
2024-05-15 16:15:03
359
原创 大数据最全微服务技术栈之rabbitMQ高级（二）(4)，2024年最新2024最新大数据开发面试题目
publisher-confirm-type: correlated # 开启publisher confirm机制，并设置confirm类型。publisher-confirm-type: correlated # 开启publisher confirm机制，并设置confirm类型。publisher-returns: true # 开启publisher return机制。publisher-returns: true # 开启publisher return机制。
2024-05-15 16:14:30
354
原创 大数据最全PyCharm配置及使用Git教程_pycharm配置git，2024年最新2024届毕业生还没找到大数据开发开发工作
配置好Git远端仓库地址和本地工程路径后，点击页面右下角的Clone按钮，即可拉取项目代码。
2024-05-15 13:29:38
615
原创 大数据最全PostgreSQL建表flink支持的字段集，insert插入数据(1)，大数据开发开发环境
不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！1001, – test_SMALLSERIAL (手动插入值，但通常不需要)1004, – test_BIGSERIAL (手动插入值，但通常不需要)1002, – test_SERIAL2 (手动插入值，但通常不需要)1003, – test_SERIAL (手动插入值，但通常不需要)1, – test_INTEGER (这里设置为主键)
2024-05-15 13:29:05
366
原创 大数据最全postgis空间数据导入及可视化_postgis导入数据(3)，2024年最新骚年你的屏幕适配方式该升级了
不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！当你拿到矢量数据后，为了让大家进行共享数据，而不是依赖于读取文件这种方式进行数据读取，可以采用数据库这种方式进行分享。本文将以矢量数据为例，分享三种常见的矢量数据导入到postgis数据库的方法。1、打开postgis shapefile导入工具，点击开始，找到postgis工具。5、选择文件后，点击import将矢量数据导入到postgis中。
2024-05-15 13:28:32
370
原创 大数据最全PHP学习笔记（一往无前）_<； php>；可以不成对书写(1)，2024年最新2024年大数据开发开发学习路线
等待片刻：出现弹窗，允许访问即可：点击finish：设置语言，单机save：点击start开启服务：第一个是阿帕奇服务器，第二个是数据库：当出现绿色高光时，就表示启动正常：【启动过程中遇到的问题解决方法】1、 apache无法启动：单击apach后的config按钮，打开带ssl的那个配置文件，把443改成444，一般进行至这一步就可以启动了。【如果到这里还是无法启动，请尝试下面的操作】
2024-05-15 13:27:59
307
原创 【项目精选】基于Java的愤怒的小鸟游戏的设计与实现（视频+论文(1)
游戏非常简单，小鸟跳上弹弓，发射角度和强度由玩家的自行控制，游戏中需要良好的整体计算，适当的调节强度和角度，从而更精确地击中猪。在今天如此复杂多样的游戏环境中，这一款游戏所带来的新鲜感让人为之疯狂，极大展现了Java语言在开发物理运动游戏方面独有的魅力，也极大促进了Java语言在游戏方面的发展。Super Mario Bros是任天堂游戏公司开发的，相信我们小时候都玩过这一款游戏，它几乎是所有红白机游戏中最畅销的一款，游戏风格是横版过关类型，这个游戏几乎移植到了所有已知的游戏平台，为游戏爱好者广泛而知。
2024-05-15 04:55:01
811
原创 【项目精选】基于B2C的网上拍卖系统_秒杀与竞价_网上拍卖平台的项目描述
B2C（business-to-customer）期中“B”指的是商家，“C”指的是消费者，客户，B2C就是说商家与客户对接，也就是“商对客”，“商对客”这种新型的电子商务模式，就是现在所说的商业零售，是直接面向消费者销售服务和产品的方式。富有特色的网络平台界面搭配简洁易操作的各项功能，吸引用户的目光并提升了用户体验，更为自由的页面展示搭配灵活的后台管理，方便管大的网络商家进行个性化的网络运营，打造网络商城的需求。（2）分类查看商品(普通商品与促销商品)（7)购买，结算功能 （8）留言。
2024-05-15 04:54:25
331
原创 【项目精选】基于B2C的网上拍卖系统_秒杀与竞价_网上拍卖平台的项目描述(2)
B2C（business-to-customer）期中“B”指的是商家，“C”指的是消费者，客户，B2C就是说商家与客户对接，也就是“商对客”，“商对客”这种新型的电子商务模式，就是现在所说的商业零售，是直接面向消费者销售服务和产品的方式。感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！（2）分类查看商品(普通商品与促销商品)（7)购买，结算功能 （8）留言。（3)秒杀商品：设置/取消秒杀。（4)竞拍商品：设置/取消竞拍。
2024-05-15 04:53:49
264
原创 【项目精选】基于B2C的网上拍卖系统_秒杀与竞价_网上拍卖平台的项目描述(1)
统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**基于B2C的网上拍卖系统主要用于帮助人们应用互联网方便快捷买到自己所中意的商品，并参与到秒杀与竞拍当中。（2）分类查看商品(普通商品与促销商品)（7)购买，结算功能 （8）留言。（3)秒杀商品：设置/取消秒杀。（4)竞拍商品：设置/取消竞拍。（5)留言管理：查看/删除留言。（1）普通用户登录/注册。（5)订单管理：查看订单。（3）查看商品详细信息。（6）将商品加入购物车。
2024-05-15 04:53:13
263
原创 spark 用户画像挖掘分析_用户画像数据分析如何做？看这篇就够了(1)
对象的标签体系是对象有价值数据的全域标签，跨业务板块、跨主题，比如用户属性、用户行为、用户消费、风险控制、社交属性等都是标签，在设计标签融合表时可以选择二维表或者K-V表的组织方式，因为二维表更能满足性能和易用性的要求，所以推荐使用二维表作为标签融合表的实现方式。用户画像，即将用户信息标签化，通过收集用户的社会属性、消费习惯、偏好特征等各个维度的数据，进而对用户或者产品特征属性进行刻画，并对这些特征进行分析、统计，挖掘潜在价值信息，从而抽象出用户的信息全貌。4、标签融合表设计、标签融合表实现。
2024-05-14 20:13:53
809
原创 Spark Push Based Shuffle 原理分析_spark remoteblockpushresolver
问题： merger location 是现在运行的 executor 地址。如 application 刚开始运行时队列资源紧张，第 1 个 mapper 处理完时，getMergerLocation 时，申请到的 executor 不多，但是任务很大，后续可能申请到更多 executor。就会出现把 shuffle 数据 push 到少数 ess 上, 照成 shuffle 数据倾斜。是否可能用所有的 ESS 地址参加 get merger locations 的计算？
2024-05-14 20:13:18
894
原创 Spark Push Based Shuffle 原理分析_spark remoteblockpushresolver(4)
默认为 org.apache.spark.network.shuffle.
2024-05-14 20:12:42
283
原创 Spark Push Based Shuffle 原理分析_spark remoteblockpushresolver(3)
如果两个推测执行的 shuffle 数据同时达到，由于锁的限制，会先后执行时，后边的请求执行时，currentMapIndex 都等于当前 map 的 index，也不会有问题。如果最后一个 网络 block 仅有部分内容是当前 rpc 的，会限定 ByteBuf 的范围。1): 把 shuffle 数据分为Seq[PushRequest], 一个 PushRequest 代表一个目标位置的数据一次发送的数据，可以有多个数据块，一个 block 代表对应一个 shuffle partition 的数据。
2024-05-14 20:12:05
966
原创 2024年最新【数据科学项目02】：NLP应用之垃圾短信 邮件检测（端到端的项目，2024年最新大数据开发开发面试技能介绍
经过上面分析，我们可以得出结论，垃圾短信文本与非垃圾短信文本相比具有更多的单词和字符。[外链图片转存中…(img-ojJEVNwm-1715655276971)][外链图片转存中…(img-CDO1ye6n-1715655276971)][外链图片转存中…(img-TP1PXYBX-1715655276972)]
2024-05-14 10:54:59
346
原创 2024年最新【数据分析：语言篇】Python（10，高级大数据开发面试题2024
Python支持多种赋值运算符，包括简单赋值、加等于赋值、减等于赋值、乘等于赋值、除等于赋值、取模等于赋值、幂等于赋值、整除等于赋值等。位运算符是用于对二进制数进行操作的运算符，包括按位与、按位或、按位异或、按位取反等，适用于整数类型数据。比较运算符用于比较两个值，返回一个布尔值（True或False）。逻辑运算符的优先级与数学中的运算符优先级不同，需要使用括号来明确优先级。逻辑运算符用于比较两个或多个表达式的布尔值，并返回一个布尔值（身份运算符用于比较两个对象的存储单元，返回布尔值。
2024-05-14 10:54:23
321
原创 2024年最新【数学模型】灰色关联分析(1)，零基础学习大数据开发编程
一般的抽象系统,如社会系统、经济系统、农业系统、生态系统、教育系统等都包含有许多种因素，多种因素共同作用的结果决定了该系统的发展态势。人们常常希望知道在众多的因素中，哪些是主要因素，哪些是次要因素;哪些因素对系统发展影响大，哪些因素对系统发展影响小;哪些因素对系统发展起推动作用需强化发展,哪些因素对系统发展起阻碍作用需加以抑制;……这些都是系统分析中人们普遍关心的问题。
2024-05-14 10:53:47
454
原创 2024年最新【推荐系统】推荐业务架构介绍(一)_推荐业务 百度百科(1)，2024必看
1 | 1 | 17 | Vue props用法小结原荐 | 2 | 2019-02-18 11:08:16 |3、文章表导入news_article_basic，news_article_content、news_channel。HIVE默认分割符，**“\t”, “\n”**这些特殊字符出不了。sqoop 导出的 hdfs 分片数据，都是使用逗号。sqoop迁移一些有特殊字符的数据导入hadoop。于 hive 默认的分隔符是。
2024-05-14 10:53:11
293
原创 2024年大数据最新老卫带你学---分布式系统（2），2024年最新内容太过真实
那其实Mysql的主从复制就是一个简单的弱一致性场景，只保证最终的一致性。
2024-05-14 02:15:39
278
原创 2024年大数据最新美团分布式 ID 框架 Leaf 介绍和使用_美团leaf算法使用，2024年最新10年阿里开发架构师经验分享
insert into leaf_alloc(biz_tag, max_id, step, description) values(‘test1’, 1, 2000, ‘测试1’);insert into leaf_alloc(biz_tag, max_id, step, description) values(‘test2’, 1, 2000, ‘测试2’);础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
2024-05-14 02:15:03
773
原创 2024年大数据最新综合实验高级网络—— 配置三层 热备等网络技术_旁挂三层热备，大数据开发开发从零开始
本章将会讲解云计算网络运维，网络高级配置与应用的综合大实验。里面会有热备，ospf，NAT等技术。
2024-05-14 02:14:27
598
原创 2024年大数据最新终于有人把云计算、大数据和 AI 讲明白了，2024年最新头条三面技术四面HR
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取亚马逊呢为什么要做公有云呢？我们知道亚马逊原来是国外比较大的一个电商，它做电商的时候也肯定会遇到类似双11的场景，在某一个时刻大家都冲上来买东西。当大家都冲上买东西的时候，就特别需要云的时间灵活性和空间灵活性。因为它不
2024-05-14 02:13:51
552
原创 2024年大数据最全Hadoop集群搭建，大数据开发插件化+模块化+组件化+热修复
The key’s randomart image is: //密钥//再输入以下命令再输入以下命令，做就完了scp -r ~/.ssh root@node1:~/ //这的node1是我的克隆虚拟机的主机名，换成自己的免密登录验证ssh node1成功！
2024-05-13 17:29:05
737
原创 2024年大数据最全hadoop平台搭建步骤，2024年最新大数据开发开发者必看避坑指南
文件所在路径为/etc/sysconfig/network-scripts ，centos7系统默认为ifcfg-ens32 使用vi编辑器编辑ifcfg-ens32文件。2.将生成的uuidgen复制下来，用vi编辑器进入/etc/sysconfig/network-scripts/ifcfg-ens32。1.cd /opt/software/ (勾选上Follow terminal folder)出现/opt/module/jdk…cd /etc/profile.d/ (ll一下)
2024-05-13 17:28:29
843
原创 2024年大数据最全hadoop安装（第二步）(1)，大数据开发程序员如何通过跳槽薪资翻倍
1.利用模板机 hadoop102，克隆三台虚拟机我们给克隆完的两台虚拟机起名为hadoop103，hadoop1042.修改克隆机 IP，以下以 hadoop103 举例说明（1）修改克隆虚拟机的静态 IPONBOOT=yesPREFIX=24（2）修改克隆机主机名，以下以 hadoop103 举例说明输入：hadoop103。
2024-05-13 17:27:53
580
原创 2024年大数据最全Hadoop大数据集群搭建（超详细）_hadoop集群搭建(2)，2024年最新总结2024年180道大数据开发岗面试题
PATHJAVAHOMElibdtjar修改完成之后记得使用命令source /etc/profile，使修改生效。
2024-05-13 17:27:16
842
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人