- 博客(63)
- 收藏
- 关注
RSS订阅原创 最新亿级流量的动态数据查询解决之道_pika亿级数据批量查询速度(1)，2024年最新腾讯T2手把手教你
静态缓存处在负载均衡层分布式缓存处在应用层和数据库层之间本地缓存处在应用层需要将请求尽量挡在上层，因为越往下层，对于并发的承受能力越差。缓存命中率是缓存最重要的监控项。缓存不仅仅是一种组件的名字，更是一种设计思想，任何能够加速读请求的组件和设计方案都是缓存思想的体现。使用更快的介质，如内存缓存复杂运算的结果，如TLB当你在实际工作中碰到“慢”问题，缓存就是你的第一考量。参考。
2024-05-16 08:09:56
1063
原创 最新人工智能机器视觉、大数据与向量数据库的交融之路(2)，2024年最新腾讯大数据开发开发面试
随着科技的不断进步，计算机视觉（Computer Vision, CV）作为人工智能领域的关键技术之一，在大数据和新型数据结构的支持下展现出前所未有的活力与发展潜力。本文将深入探讨计算机视觉当前的发展现状与趋势，并以大数据与向量数据库为例，分析它们如何相互作用，推动CV技术在解决实际难题中的应用以及面临的机遇与挑战。大纲路线、讲解视频，并且后续会持续更新**
2024-05-16 08:09:23
818
原创 最新主数据管理系统（MDM）调研总结！！，2024年最新BAT面试&高级进阶
qquad参照数据是一种用于支持其他数据的标准化和分类的数据，例如固定值列表、代码表、行业标准、度量单位等。参照数据在主数据管理过程中具有重要作用，因为它们有助于实现主数据的一致性和标准化。通过使用参照数据，组织可以确保主数据在不同系统和业务过程中保持一致。
2024-05-16 08:08:50
789
原创 最新个人理解数据中台与大数据平台区别_数据中台与大数据平台的区别，2024年最新三幅图给你弄懂EventBus核心原理
独立型数据集市的存在会给人造成一种错觉，似乎可以先独立地构建数据集市，当数据集市达到一定的规模可以直接转换为数据仓库，然而这是不正确的，多个独立的数据集市的累积并不能形成一个企业级的数据仓库，这是由数据仓库和数据集市本身的特点决定的。数据仓库也好，传统的数据平台也好，其出发点应该说更是一个支撑性的技术系统，即一定要去考虑我有什么数据，然后我才能干什么，因此特别强调数据质量和元数据管理，而数据中台的第一出发点可不是数据，而是业务，一开始不用看你系统里面有什么数据，而是去解决你的业务问题需要什么样的数据服务。
2024-05-16 08:08:17
1036
原创 恶意IP检测API接口，恶意IP威胁情报查询，通过大数据查询IP是否存在威胁或恶意。_恶意ip分析查询
恶意IP威胁情报查询，是指通过查询公共的恶意IP地址库，获取有关IP地址相关的威胁情报信息。在实践中，通常可以使用专业的恶意IP检测和威胁情报查询工具来进行自动化处理。例如，通过使用互联网安全公司提供的恶意IP检测API接口，可以通过简单的编程实现对所需IP地址的检测，从而在短时间内获取协同全网的涉恶IP情报。需要注意的是，恶意IP检测和威胁情报查询只是网络安全防护体系的一部分，建议企业在进行恶意IP检测和威胁情报查询的同时，也要综合运用多种网络安全技术和手段，形成全方位的网络安全防护体系。
2024-05-15 23:22:30
296
原创 恶意IP检测API接口，恶意IP威胁情报查询，通过大数据查询IP是否存在威胁或恶意。_恶意ip分析查询(3)
【代码】恶意IP检测API接口，恶意IP威胁情报查询，通过大数据查询IP是否存在威胁或恶意。_恶意ip分析查询(3)
2024-05-15 23:21:57
322
原创 恶意IP检测API接口，恶意IP威胁情报查询，通过大数据查询IP是否存在威胁或恶意。_恶意ip分析查询(2)
在当前的网络安全环境下，恶意攻击已经成为常态化，各种类型的攻击不断涌现，其中大部分的攻击都是通过IP地址发起的。因此，对IP地址的安全性进行监控和检测，是保障网络安全的重要手段之一。例如，通过使用互联网安全公司提供的恶意IP检测API接口，可以通过简单的编程实现对所需IP地址的检测，从而在短时间内获取协同全网的涉恶IP情报。需要注意的是，恶意IP检测和威胁情报查询只是网络安全防护体系的一部分，建议企业在进行恶意IP检测和威胁情报查询的同时，也要综合运用多种网络安全技术和手段，形成全方位的网络安全防护体系。
2024-05-15 23:21:24
393
原创 恶意IP检测API接口，恶意IP威胁情报查询，通过大数据查询IP是否存在威胁或恶意。_恶意ip分析查询(1)
第4个参数：是否验证签名，true验证签名，否则false不验证签名，根据用户控制台 https://www.youwk.cn/user/key 的 秘钥安全设置->签名校验 开启后才会生效，如没开启，填写false即可。//签名校验的 SK：(在用户控制台https://www.youwk.cn/user/key的秘钥安全设置->签名校验 开启后才会生效，没开启签名校验留空即可。第5个参数：如果第4个参数开启验证签名，此处必须填写 SK ，跟上面的同名变量相对应，无需更改。//封装好的CURL请求函…
2024-05-15 23:20:51
1009
原创 【牛客刷题--SQL篇】SQL9查找除复旦大学的用户信息&；&；SQL10用where过滤空值练习_现在运营想要查看除复旦大学以外的所有用户明细,请你取出相应数据(1)
INSERT INTO user_profile VALUES(3,6543,‘female’,20,‘北京大学’,‘BeiJing’);INSERT INTO user_profile VALUES(5,5432,‘male’,25,‘山东大学’,‘Shandong’);INSERT INTO user_profile VALUES(1,2138,‘male’,21,‘北京大学’,‘BeiJing’);6543|female|20|北京大学。2138|male|21|北京大学。
2024-05-15 04:08:04
617
原创 【牛客刷题--SQL篇】SQL14操作符混合运用（多种写法）&；&；SQL15查看学校名称中含北京的用户_drop table if exists user_profile；
INSERT INTO user_profile VALUES(2,3214,‘male’,null,‘复旦大学’,4.0);INSERT INTO user_profile VALUES(3,6543,‘female’,20,‘北京大学’,3.2);INSERT INTO user_profile VALUES(6,2131,‘male’,28,‘北京师范大学’,3.3);INSERT INTO user_profile VALUES(1,2138,‘male’,21,‘北京大学’,3.4);
2024-05-15 04:07:28
1019
原创 【牛客刷题--SQL篇】SQL14操作符混合运用（多种写法）&；&；SQL15查看学校名称中含北京的用户_drop table if exists user_profile；(2)
INSERT INTO user_profile VALUES(4,2315,‘female’,23,‘浙江大学’,‘ZheJiang’,3.6);INSERT INTO user_profile VALUES(5,5432,‘male’,25,‘山东大学’,‘Shandong’,3.8);INSERT INTO user_profile VALUES(2,3214,‘male’,null,‘复旦大学’,4.0);3214|male|None|复旦大学|4.0。5432|male|25|山东大学|3.8。
2024-05-15 04:06:52
1016
原创 【牛客刷题--SQL篇】SQL14操作符混合运用（多种写法）&；&；SQL15查看学校名称中含北京的用户_drop table if exists user_profile；(1)
age,gpafromwheregpa > 3.5and university = ‘山东大学’or (gpa > 3.8and university = ‘复旦大学’
2024-05-15 04:06:16
780
原创 python机器学习 一元线性回归 梯度下降法的实现 【Python机器学习系列（四）】_一元线性回归python梯度下降法(1)
print(f"迭代{n_iterables}次后：截距b={b},斜率k={k}，损失={compute_mse(b,k,x_data,y_data)}”)print(f"开始：截距b={b},斜率k={k}，损失={compute_mse(b,k,x_data,y_data)}“)print(“开始迭代”)# 初始化b、k的偏导。
2024-05-14 18:46:46
245
原创 Python是数据分析或人工智能不能缺少的语言_python大数据和人工智能
*Python语言是人工智能时代的首选语言，**人工智能的时代即将到来，也会带领大家进入一个全新的时代之中。在Python语言中，人工智能是非常主要的发展方向，也是非常具有潜力和发展前景的，薪资待遇也是非常高的，根据市场上的就业情况来说，Python人工智能的就业薪资普遍达到了20K以上，即便是初级工程师薪资待遇也可以达到1w左右。在大量数据的基础上，结合[科学计算]、机器学习等技术，对数据进行清洗、去重、规格化和针对性的分析是大数据行业的基石。Python是数据分析的主流语言之一。
2024-05-14 18:46:10
738
原创 Python是什么？如何用Python进行数据分析？终于有人说明白了_什么是 python,它如何在数据科学和大数据分析中使用
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
2024-05-14 18:45:34
737
原创 Python是什么？如何用Python进行数据分析？终于有人说明白了_什么是 python,它如何在数据科学和大数据分析中使用 (2)
Python是数据分析利器，掌握了Python的编程基础后，就可以逐渐进入数据分析的奇妙世界。
2024-05-14 18:44:57
761
原创 2024年最新TensorFlow2 一小时学会全连接层_tensorflow2 keras全连接，如何系统全面性学习大数据开发语言
Squential (序列模型) 是各层次之间依次顺序的线性关系. 模型结构通过一个列表来制定.可以帮助我们实现全连接.
2024-05-14 10:08:47
271
原创 2024年最新TDengine：开源、高效的物联网大数据平台，2024年最新2024大数据开发笔试题
TDengine是涛思数据专为物联网、车联网、工业互联网、IT运维等设计和优化的大数据平台，广泛运用于物联网、车联网、工业互联网、IT运维等领域。它和上述的平台主要区别是，分成社区版、企业版和云服务版，其中社区版免费开源面向广大用户。北京涛思数据科技有限公司创始人陶建辉将目标瞄准物联网数据市场，专注时序空间大数据的存储、查询、分析和计算。目前公司已经获得红杉资本中国基金、经纬中国、GGV纪源资本、指数资本、永辉瑞金、明势资本、蛮子基金等多家机构的投资。
2024-05-14 10:08:11
230
原创 2024年最新Spring框架_java大数据用spring吗(1)，大数据开发面试相关文章及Github学习资料
集合框架：jdk官方提供的常用的数据结构的实现，用于存储数据的一种结构；tomcat：Servlet容器，管理Servlet实例对象的（整个生命周期的管理）容器。Bean对象：普通的Java实例对象，单纯的存放数据角度，和集合框架一样。使用集合存放对象，程序自己new，存放数据，调用对象的方法；使用Spring容器存放对象，程序不需要自己new，某些符合框架约定的方法是框架自己调用的。
2024-05-14 10:07:35
251
原创 2024年最新Spark面试题 精选 （附答案）(1)，快手大数据开发面试经验
RDD叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错，位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续地查询能够重用工作集，这极大地提升了查询速度。
2024-05-14 10:06:57
382
原创 2024年大数据最新大模型（LLMs）算法工程师的面试题_大模型开发工程师 面试问题，面试官必问的技术问题之一
系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
2024-05-14 01:29:21
512
原创 2024年大数据最新大模型入门到应用——LangChain：索引（Indexes，2024年最新已成功拿下字节、腾讯、脉脉offer
当我们需要处理长文本时，有必要将文本分割成块。虽然这听起来很简单，但这里存在很多潜在的复杂性。理想情况下，我们希望将语义相关的文本块保持在一起，但什么是"语义相关"可能取决于文本的类型。本文就展示了几种实现这一目标的方法。该文本分割器接受一个字符列表作为参数。它尝试根据第一个字符进行分块，但如果有任何分块过大，它将继续尝试下一个字符，依此类推。默认情况下，它尝试进行分割的字符是。默认推荐的文本分割器是。
2024-05-14 01:28:45
291
原创 2024年大数据最新大数据：数据合集，你想要的或许这里都有(1)，2024年最新终于彻底把握了
优易数据：由国家信息中心发起，拥有国家级信息资源的数据平台，国内领先的数据交易平台。平台有B2B、B2C两种交易模式，包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。数据堂：专注于互联网综合数据交易，提供数据交易、处理和数据API服务，包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。由于现在数据的需求很大，也催生了很多做数据交易的平台，当然，出去付费购买的数据，在这些平台，也有很多免费的数据可以获取。（2）时光网：最全的影视资料库，评分、影评数据。
2024-05-14 01:28:09
648
原创 2024年大数据最新大数据：Hadoop基础常识hive，hbase，MapReduce，Spark(2)，2024年最新看完跪了
在一个Spark应用的执行程序中，Driver和Worker是两个重要的角色。简单说，Hive提供了一种独特的SQL查询语句，使得熟悉SQL的开发者通过编写SQL语句即可访问Hadoop存储的海量数据，通过hive的SQL查询语句，开发者可以在一定程度上绕过MapReduce。Hadoop的MapReduce计算模型存在问题是: MapReduce关键过程是Shuffle(洗牌)，在整个Shuffle过程中，基于MapReduce计算引擎通常会将结果输出到硬盘上而不是直接在内存中，进行存储和容错。
2024-05-14 01:27:32
391
原创 面试笔记系列六之redis+kafka+zookeeper基础知识点整理及常见面试题_mongodb,redis,zookeeper,kafka的基本知识区别
穿透：缓存不存在，数据库不存在，高并发，少量key击穿：缓存不存在，数据库存在，高并发，少量key雪崩：缓存不存在，数据库存在，高并发，大量key。
2024-05-12 22:23:12
336
原创 面试怕被问算法？50个大厂、987页大数据、算法项目落地经验教程合集！
有怎样的技术方案沉淀?滴滴出行作为移动出行领域的一家领先的移动互联网企业，也正积极布局和利用智能语音交互相关技术，如语音识别、语音对话理解、语音合成等,以便更好的为司机和乘客提供高质量服务，具体地，包含有司机智能助手和滴滴智能客服系统等应用产品。本议题首先介绍美团智能客服的对话交互框架，然后就我们在其中意图挖掘、意图理解、情绪识别、对话管理等核心模块中用到的机器学习算法进行详细的介绍。智能客服是一种使用自然语言与用户交互的人工智能系统，通过分析用户意图,以人性化的方式与用户沟通，向用户提供客户服务。
2024-05-12 22:22:35
791
原创 面试怕被问算法？50个大厂、987页大数据、算法项目落地经验教程合集！(1)
同时,随着文本、语音、视觉等智能技术的不断深入,知识图谱在复杂知识表示、多模语义理解技术与应用等方面都面临新的挑战与机遇。有怎样的技术方案沉淀?滴滴出行作为移动出行领域的一家领先的移动互联网企业，也正积极布局和利用智能语音交互相关技术，如语音识别、语音对话理解、语音合成等,以便更好的为司机和乘客提供高质量服务，具体地，包含有司机智能助手和滴滴智能客服系统等应用产品。本议题首先介绍美团智能客服的对话交互框架，然后就我们在其中意图挖掘、意图理解、情绪识别、对话管理等核心模块中用到的机器学习算法进行详细的介绍。
2024-05-12 22:21:59
657
原创 面试官：熟悉Redis？请讲讲Redis缓存穿透、缓存击穿、缓存雪崩有什么区别_为什么redis缓存穿透与缓存雪崩的区别
key对应的数据存在，但在redis中过期，此时若有大量并发请求过来，这些请求发现缓存过期一般都会从后端DB加载数据并回设到缓存，这个时候大并发的请求可能会瞬间把后端DB压垮。通俗的说：Redis中的某个key失效了，大量的请求都在使用这个过期的key，导致无法命中Redis中的缓存数据，压力都给到了服务器查询源数据库，最终源数据库承受不了瞬时剧增的请求，然后崩溃。现象数据库访问的压力突然急剧增大Redis中并没有出现大量的key失效Redis服务器平稳运行数据库崩溃缓存击穿怎么产生？
2024-05-12 22:21:24
287
原创 批量插入千万数据到Elasticsearch之bulkProcessor_bulkprocessor使用(2)
System.out.println(“操作” + request.numberOfActions() + “条数据”);视频，并且后续会持续更新**
2024-05-12 05:12:50
243
原创 批量插入千万数据到Elasticsearch之bulkProcessor_bulkprocessor使用(1)
System.out.println(“操作” + request.numberOfActions() + “条数据”);
2024-05-12 05:12:14
395
原创 批量导出导入数据及附件文件ZIP包_导出压缩包 ,压缩包里面要包含查询的数据生成的excel 还有服务器上存储的资料文
/无法做到list多层文件夹数据。for (File temp : list) { //先去递归删除子文件夹及子文件。file.delete()) { //再删除自己本身的文件夹。//注意这里是递归调用。logger.error(“文件删除失败 : %s%n”, file);// 校验文件夹目录是否存在，不存在就创建一个目录。//将源文件写入到zip文件中。// 遍历Zip文件中的条目。// 如果条目是文件直接解压。//设置请求超时为5s。
2024-05-12 05:11:38
547
原创 批量导出导入数据及附件文件ZIP包_导出压缩包 ,压缩包里面要包含查询的数据生成的excel 还有服务器上存储的资料文(1)
某系统在不同单位使用时存在两套生产环境，他们的数据不是互通的，所以这些单位的上一级领导部门在统计数据的时候希望将A系统的数据和附件信息导出到一个压缩包里，然后把这个压缩包一键导入到B系统，这样B系统就包含了全部的数据，上级领导就能看到全部的业务信息，便于统计分析。
2024-05-12 05:11:02
264
原创 大数据最全大数据：Hadoop入门经典案例wordcount单词统计Java代码实现(1)，2024年最新大数据开发都没弄明白凭什么拿高薪
，注意，在Hadoop2.8.3，Windows 10,64位环境下，编译出的jar包里面有两个文件夹：META-INF和license，如果直接运行将导致失败。“运行成功” : “运行失败”);3，在IntelliJ IDEA中直接导出可运行的Java的jar包（具体方法见文章。// 将单词作为key，将次数1作为value。
2024-05-11 20:34:35
740
1
原创 大数据最全大数据领域相关术语总结(1)，2024年最新一个大数据开发程序员的阿里面试心得
例如，Google的BERT模型、OpenAI的GPT模型、Facebook的RoBERTa模型等都是目前最为著名的LLM大模型之一，它们使用了大量的训练数据和强大的计算资源，取得了在自然语言处理领域的重大突破。CVR 指的是广告被点击后，用户进行了期望的行为（比如购买、注册、订阅等）的次数与广告被点击的次数之间的比例，通常以百分比的形式表示。例如，在计算机视觉、音频处理、医疗健康等领域，也可以使用类似的方法，使用大量数据和强大的计算资源来训练大型模型，从而实现更加准确和高效的预测和分析。
2024-05-11 20:33:58
858
原创 大数据最全大数据面试题 —— Kafka(2)，最新大厂程序员进阶宝典
Kafka是由 Apache 开发的一个分布式的基于发布订阅模式的消息队列，主要应用于大数据的实时处理领域。
2024-05-11 20:33:22
763
原创 大数据最全大数据面试专题 -- kafka(2)，2024年最新互联网寒冬公司倒闭后
在kafka中使用幂等性来保证数据不重复的，在发送数据的时候，会给数据定义一个编号ID，当下次传输数据的时候ID+1，将数据写入的时候会记住这个编号，如果下一条数据的ID与上一个数据的ID一致，那么说明数据重复，不写入，返回ack。2、kafka是批量写入和读取的，一批批的写入数据，默认写入和读取的大小约64kb左右。在分区中的leader是通过ISR进行选举的。1、消费者是负责订阅分区中的数据，然而对于消费者组来说是负责订阅topic的。2、增加副本因子，可以提高数据的冗余，提高数据的可靠性。
2024-05-11 20:32:46
455
原创 【hive】- 使用insert into insert overwrite插入数据到静态分区、动态分区、动静态分区_hive insert into(2)
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！;insert overwrite table test_1partition(city_code=‘200’,cur_day=‘20231111’)selec
2024-05-10 22:00:43
250
原创 【hive】- 使用insert into insert overwrite插入数据到静态分区、动态分区、动静态分区_hive insert into(1)
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取from test_1_tmp t;select * from test_1;desc test_2_tmp;±-----------±-----------±---------+| col_name |
2024-05-10 22:00:07
428
原创 【Hadoop生态】HDFS的元数据管理机制_hadoop中文件的位置信息是元数据吗
HDFS元数据，按类型分，主要包括以下几个部分：1、文件、目录自身的属性信息，例如文件名，目录名，修改信息等。2、文件记录的信息的存储相关的信息，例如存储块信息，分块情况，副本个数等。3、记录HDFS的Datanode的信息，用于DataNode的管理。按形式分为内存元数据和元数据文件两种，分别存在内存和磁盘上。
2024-05-10 21:59:31
698
原创 【Hadoop生态】HDFS的元数据管理机制_hadoop中文件的位置信息是元数据吗(1)
HDFS元数据，按类型分，主要包括以下几个部分：1、文件、目录自身的属性信息，例如文件名，目录名，修改信息等。2、文件记录的信息的存储相关的信息，例如存储块信息，分块情况，副本个数等。3、记录HDFS的Datanode的信息，用于DataNode的管理。按形式分为内存元数据和元数据文件两种，分别存在内存和磁盘上。
2024-05-10 21:58:55
687
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人