- 博客(303)
- 收藏
- 关注
RSS订阅原创 BP神经网络_bp神经网络激活函数
说明公式输出层误差δL∇aL⊙σ′zL| 隐含层误差 |δlwl1Tδl1⊙σ′zl\delta| 参数变化率 |∂L∂blδl∂L∂wlδlal−1T| 参数更新 |bl←bl−α∂L∂blwl←wl−α∂L∂wl说明公式输出层误差δL∇aL⊙σ′zL| 隐含层误差 |δlwl1Tδl1⊙σ′zl。
2024-06-20 14:23:15
899
原创 Android Spider Frida - App逆向 JavaScript代码注入 基本语法以及数据类型介绍_frida js
Frida可以通过将JavaScript 脚本插入到APP的内存中来对APP的逻辑进行跟踪和监视乃至修改原程序的逻辑，实现逆向开发和分析人员想要实现的功能称之为HOOK（钩子 即通过钩子机制与钩子函数建立联系）；提示：以下是本篇文章正文内容，下面案例可供参考重载(overloading) 是在一个类里面，方法名字相同，而参数不同，返回类型可以相同也可以不同；每个重载的方法（或者构造函数）都必须有一个独一无二的参数类型列表，根据参数类型以及参数的数量调用不同的同名函数(function)；
2024-06-20 11:39:29
462
原创 RabbitMQ开启MQTT协议支持_rabbitmq 开启mqtt功能
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
2024-06-20 01:13:51
313
原创 hive解析json_hive json解析函数
说明：lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一行或者多行，lateral view在把结果组合，产生一个支持别名表的虚拟表。
2024-06-20 00:09:20
597
原创 2024年最新的大数据学习路线及职业规划指南_成为大数据工程师的职业路径
随着科技的发展，我们在网上留下的数据越来越多，大到网上购物、商品交易，小到浏览网页、微信聊天、手机自动记录日常行程等，可以说，在如今的生活里，只要你还在，你就会每时每刻产生数据，但是这些数据能称为大数据么？不，这些还不能称为大数据，那么大数据数据到底是什么呢？我的个人理解是这样的，大数据可以认为是数据的集合，我们可以从这些数据中推理出一个近似客观的规律，利用这个规律可以预测产生数据的本体下一次要发生的概率。
2024-06-19 22:57:40
1010
原创 问我大数据怎么入门，我总结了亲身体验的学习路线推荐给她【推荐收藏】_狂神大数据
到这里恭喜你把大数据的主流技术学完了，如果你还有什么不懂，可随时问我，私信我，如果C站没有回复你，可在公众号后台加我好友，备注：C站来的。希望以上能够帮到刚入门大数据的你！网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！
2024-05-16 13:06:32
413
原创 问我大数据怎么入门，我总结了亲身体验的学习路线推荐给她【推荐收藏】_狂神大数据(2)
到这里恭喜你把大数据的主流技术学完了，如果你还有什么不懂，可随时问我，私信我，如果C站没有回复你，可在公众号后台加我好友，备注：C站来的。希望以上能够帮到刚入门大数据的你！既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取系化！**
2024-05-16 13:05:59
372
原创 问我大数据怎么入门，我总结了亲身体验的学习路线推荐给她【推荐收藏】_狂神大数据(1)
大数据开发有三种语言可选，Java，Python和Scala，Scala后期是必学的，Java在开发中好比是屠龙刀，而Python是随身匕首，适合写写脚本，所以强烈推荐先学Java，这里推荐黑马的Java基础课程视频，），能从0开始学习大数据课程，了解linux、kettle、BI、mysql、从基础到实践，快速体验完整的大数据预处理+ETL+BI展示全链路过程。Hadoop学习，黑马和尚硅谷两家机构都不错，我这里由于自学的时候主要学了黑马的，便贴出黑马的链接。尚硅谷的配套资料全，学的人也多。
2024-05-16 13:05:26
319
原创 重学scala：scala函数式编程与高阶函数_定义一个数组,把其中偶数取出来,scala语言
res0: scala.collection.immutable.Map[String,List[(String, String)]] = Map(男 -> List((张三,男), (王五,男)),val b = List(“张三”->(“男”, “北京”), “李四”->(“女”, “河北”), “王五”->(“男”, “北京”))a: List[(String, String)] = List((张三,男), (李四,女), (王五,男))//定义一个没有名称的函数----匿名函数。
2024-05-16 13:04:53
346
1
原创 最新数据同步工具对比——SeaTunnel 、DataX、Sqoop(2)，厉害了
DataX是阿里巴巴开源的一个异构数据源离线同步工具，主要用于在各种异构数据源之间高效的进行数据同步，支持包括MySQL、Oracle、HDFS、Hive等在内的多种数据源。Sqoop是一款开源的工具，用于在Hadoop和关系型数据库之间高效地传输数据。它可以将数据从关系型数据库导入到Hadoop的HDFS中，也可以将数据从HDFS导出到关系型数据库。Apache Flume是一个分布式的、可靠的、高可用的服务，用于高效地收集、聚合和移动大量日志数据到集中式数据存储位置。
2024-05-16 09:24:17
304
原创 最新数据仓库面试题资料_按主题存储 数据仓库，大数据开发开发者值得深入思考的几个问题
确定量度之后，需要考虑该量度的汇总情况和不同维度下量度的聚合情况.例如在业务系统中数据最小记录到秒，而在将来分析需求中，时间只要精确到天就可以了，在ETL处理过程中，按天来汇总数据,些时数据仓库中量度的粒度就是”天”。如果不能确认将来的分析需求中是否要精确的秒，那么，我们要遵循”最小粒度原则”,在数据仓库中的事实表中保留每一秒的数据，从而在后续建立多维分析模型(CUBE)的时候,会对数据提前进行汇总，保障产生分析结果的效率。数据仓库是面向主题的,数据来源于数据库或文件，经过一定的规则转换得到，用来分析的。
2024-05-16 09:23:45
302
原创 最新数据仓库建设方案详细：数据平台建设_三库数据平台建设方案(2)，小红书大数据开发面试题目
采用分层整合，灵活配置，横向扩展，纵向贯穿的大数据平台服务能力，其计算框架、存储框架都以容器的方式，可轻松灵活的在线进行装卸，以平滑扩充大数据平台的集成能力。除此还集成了二级计算框架、通用的数据处理算法库和数据仓库，将大数据平台的数据进行清洗、加工和分析挖掘，处理后的数据可订阅，充分体现数据即服务的大数据思想。通过web管理实现节点的动态添加、删除，当存储空间或者计算资源不足时，支持向集群中添加同等配置的服务器，实现大数据平台在线动态扩容，而不需要停机处理，不影响平台正常运行。图 向集群中添加节点。
2024-05-16 09:23:12
346
原创 最新数据仓库建设方案详细：数据平台建设_三库数据平台建设方案(1)，2024年最新学习指南
大数据平台能够通过对告警信息的分析，快速定位平台部出现故障的节点，对于因故障无法继续提供服务器的节点进行标记，将平台的作业任务自动分配到其他的节点上运行，同时，大数据平台采用分布式体系结构及无单点故障设计，平台任何节点的宕机都不会影响平台的稳定运行和业务的正常使用。通过web管理实现节点的动态添加、删除，当存储空间或者计算资源不足时，支持向集群中添加同等配置的服务器，实现大数据平台在线动态扩容，而不需要停机处理，不影响平台正常运行。通过管理平台可以看到所有目前已安装的服务组件的健康状况。
2024-05-16 09:22:39
406
原创 最全Google BigQuery 创始工程师：大数据已“死”(3)，大数据开发开发面试自我介绍
所有的大数据集都是经年累月产生的。但随着时间的推移，计算的需求可能不会发生太大变化，大多数分析都是针对近期的数据进行的。很多时候，当数据仓库的客户从没有分离存储与计算的环境转移到分离的环境时，他们的存储使用量会大幅增长，但他们的计算需求往往不会改变。再举一个具体的例子，2020年～2022年，我在 SingleStore 工作，当时这是一家快速发展的公司，收入可观，而且有成为独角兽企业的潜质。他发现，他投资的最大的 B2B 公司拥有大约 1TB 的数据，而最大的 B2C 公司拥有大约 10TB 的数据。
2024-05-16 01:35:23
515
原创 最全Git的安装，理论基础与基本使用(1)，2024年最新【微信小程序】
(img-PcSVkryM-1715794468831)](img-lkSrLBh1-1715794468831)](img-wI38jG1l-1715794468832)]🍀（3）两个历史快照。
2024-05-16 01:34:50
1096
原创 最全git操作学习记录，简单易上手(1)，2024年最新京东最新大数据开发面试真题解析
将这个分支关联到远程分支上，此时如果远程分支没有muduo这一项的话会自动生成一个的。：git branch -set-upstream-to=origin/该命令会将本地仓库自动推送到远程仓库。git修改远程分支名称和回退的操作。本地创建 一个muduo的分支。
2024-05-16 01:34:17
215
原创 大数据最全设计模式基础前奏（上），我在美团大数据开发研发岗工作的那5年
类图(Class diagram)是显示了模型的静态结构，特别是模型中存在的类、类的内部结构以及它们与其他类的关系等。类图不显示暂时性的信息。类图是面向对象建模的主要组成部分。
2024-05-15 16:48:43
339
原创 大数据最全讯飞AIUI智能机器人6-----人脸识别技术_科大讯飞人脸识别(1)，2024年最新阿里P7亲自教你
/当flag为true时，result为空，表示图片中检测到了人脸，但没有匹配到人脸库中的人脸信息，当msg不为空时，msg的值表示匹配到的人脸结果（注册时提交的人脸标识）//当flag为false时，result的值表示人脸识别失败的信息（包括图片中没有检测到人脸）showToast(“人脸模型注册成功:” + mEdtAuthid.getText());showToast(“人脸注册加组成功:” + result);showToast(“人脸注册加组失败:” + result);
2024-05-15 16:48:10
436
原创 大数据最全计算机视觉项目实战-目标检测与识别_utils_paths，百度大数据开发岗一面+二面内容
blob = cv2.dnn.blobFromImages(images, 1, (224, 224), (104, 117, 123))#均值。blob = cv2.dnn.blobFromImages(images, 1, (224, 224), (104, 117, 123))#均值。习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
2024-05-15 16:47:37
293
原创 大数据最全计算机视觉项目-银行卡卡号自动识别_银行自动识别号(4)，大数据开发热修复原理
这里就有小伙伴问了，你做的这是啥啊，我们做这些得目的就是要把我们想要的区域拿出来。这里主要就是做了一个轮廓的排序操作，把1就放在1的位置上，没有进行排序是乱的。我们对轮廓进行一个排序，那么怎么排序呢，利用轮廓的一个横坐标进行排序，这里我们直接跳进myutils程序当中。对这四个地方遍历，然后再次进行图像得预处理，包括灰度，二值，轮廓，排序，然后找到4个数字中得一个一个显示出来。过滤，然后在进行一次排序。通过过滤操作我们就只剩下了这个部分，但是这里是分为四个部分得，4000，1234，5678，9010.
2024-05-15 16:47:03
345
原创 大数据最全【ClickHouse】-01(2)，帮你突破瓶颈
系统要求:ClickHouse可以在任何具有x86_64，AArch64或PowerPC64LE CPU架构的Linux，FreeBSD或Mac OS X上运行。官方预构建的二进制文件通常针对x86_64进行编译，并利用SSE 4.2指令集，因此，除非另有说明，支持它的CPU使用将成为额外的系统需求。要在不支持SSE 4.2或AArch64，PowerPC64LE架构的处理器上运行ClickHouse，您应该通过适当的配置调整从源代码构建ClickHouse。
2024-05-15 14:02:07
954
原创 大数据最全【C++保姆级入门】分支结构拓展与优化_c(1)，程序员面试题网站
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取输出输入 #2输出 #2（1）题目解析第一行：输入三个数x、y、z，这三个数不一定有序，我们设A为当中(x,y,z中)最小的，C为最大的，B为剩下的那个（非最小非最大）。）现在你手里有ABC三个数了第二行：输
2024-05-15 14:01:34
503
原创 大数据最全【Audio音频开发】音频基础知识及PCM技术详解_audio pcm，大数据开发高级
现实生活中，我们听到的声音都是时间连续的，我们称为这种信号叫模拟信号。模拟信号需要进行数字化以后才能在计算机中使用。目前我们在计算机上进行音频播放都需要依赖于音频文件。那么音频文件如何生成的呢？音频文件的生成过程是将声音信息采样、量化和编码产生的数字信号的过程，我们人耳所能听到的声音频率范围为（20Hz~20KHz），因此音频文件格式的最大带宽是20KHZ。根据奈奎斯特的理论，音频文件的采样率一般在40~50KHZ之间。奈奎斯特采样定律，又称香农采样定律。
2024-05-15 14:00:28
1045
转载 一文告诉你游戏服务器的架构到底是什么样，各服务器的职责是什么_游戏服务器架构
下图基本上是苏州这边游戏公司的服务器架构图。服务器说明：Web：web 服务器就是一个简单的tomcat服务器，连接游戏的数据库，主要负责登录、创角、充值、GM命令、运营后台操作入口，业务相对来说比 较简单，同一公司这个服务器都是相同的。Gate: 网关服，网关服是管理所有的连接，负责解析数据包、加解密、超时处理和一定逻辑处理，这样可以提前过滤掉错误包和非法数据包，转发消息到对应的服务器，比如移动消息发送到场景服，玩家的升级操作发到游戏服。逻辑也相对比较简单。
2024-05-15 05:30:58
470
1
原创 一文告诉你游戏服务器的架构到底是什么样，各服务器的职责是什么_游戏服务器架构(1)
下图基本上是苏州这边游戏公司的服务器架构图。服务器说明：Web：web 服务器就是一个简单的tomcat服务器，连接游戏的数据库，主要负责登录、创角、充值、GM命令、运营后台操作入口，业务相对来说比 较简单，同一公司这个服务器都是相同的。Gate: 网关服，网关服是管理所有的连接，负责解析数据包、加解密、超时处理和一定逻辑处理，这样可以提前过滤掉错误包和非法数据包，转发消息到对应的服务器，比如移动消息发送到场景服，玩家的升级操作发到游戏服。逻辑也相对比较简单。
2024-05-15 05:30:22
795
原创 一文了解知识图谱能做什么、本文含Jiagu自然语言处理工具试用、知识图谱实战。
jiagu.load_userdict([‘思知机器人’])text = ‘’’该研究主持者之一、波士顿大学地球与环境科学系博士陈池（音）表示，“尽管中国和印度国土面积仅占全球陆地的9%，但两国为这一绿化过程贡献超过三分之一。考虑到人口过多的国家一般存在对土地过度利用的问题，这个发现令人吃惊。NASA埃姆斯研究中心的科学家拉玛·内曼尼（Rama Nemani）说，“这一长期数据能让我们深入分析地表绿化背后的影响因素。我们一开始以为，植被增加是由于更多二氧化碳排放，导致气候更加温暖、潮湿，适宜生长。
2024-05-15 05:29:46
845
原创 一文了解知识图谱能做什么、本文含Jiagu自然语言处理工具试用、知识图谱实战。(2)
jiagu.load_userdict([‘思知机器人’])text = ‘’’该研究主持者之一、波士顿大学地球与环境科学系博士陈池（音）表示，“尽管中国和印度国土面积仅占全球陆地的9%，但两国为这一绿化过程贡献超过三分之一。考虑到人口过多的国家一般存在对土地过度利用的问题，这个发现令人吃惊。NASA埃姆斯研究中心的科学家拉玛·内曼尼（Rama Nemani）说，“这一长期数据能让我们深入分析地表绿化背后的影响因素。我们一开始以为，植被增加是由于更多二氧化碳排放，导致气候更加温暖、潮湿，适宜生长。
2024-05-15 05:29:10
1004
原创 XXE漏洞中DOCTYPE、ENTITY傻傻分不清-WEB安全基础入门—XML外部实体注入(XXE)_xxe 用eneity不行
XML外部实体注入（又称为XXE），是一种攻击者能干扰程序对XML数据处理的安全漏洞。它使攻击者能查看应用程序服务器文件系统上的文件，并与应用程序本身可以访问的任何后端或外部系统进行交互。
2024-05-14 20:50:01
637
原创 XSS-Game 通关教程，XSS-Game level1-18，XSS靶场通关教程_xss靶场level
3）第三步：弹窗测试，回车即可弹窗，自动进入下一关。4）从源码可以看到，第一关没有任何过滤。。
2024-05-14 20:49:24
899
原创 windows环境下python连接openGauss数据库_forbid remote connection with initial user
Psycopg是一种用于执行SQL语句的PythonAPI，可以为PostgreSQL、openGauss数据库提供统一访问接口，应用程序可基于它进行数据操作。Psycopg2是对libpq的封装，主要使用C语言实现，既高效又安全。它具有客户端游标和服务器端游标、异步通信和通知、支持“COPY TO/COPY FROM”功能。支持多种类型Python开箱即用，适配PostgreSQL数据类型；通过灵活的对象适配系统，可以扩展和定制适配。Psycopg2兼容Unicode和Python 3。
2024-05-14 20:48:48
598
原创 windows环境下python连接openGauss数据库_forbid remote connection with initial user(2)
Psycopg是一种用于执行SQL语句的PythonAPI，可以为PostgreSQL、openGauss数据库提供统一访问接口，应用程序可基于它进行数据操作。Psycopg2是对libpq的封装，主要使用C语言实现，既高效又安全。它具有客户端游标和服务器端游标、异步通信和通知、支持“COPY TO/COPY FROM”功能。支持多种类型Python开箱即用，适配PostgreSQL数据类型；通过灵活的对象适配系统，可以扩展和定制适配。Psycopg2兼容Unicode和Python 3。
2024-05-14 20:48:11
920
原创 2024年最新基于Leaflet的VideoOverlay视频图层叠加实战_leftlet overlay(5)，最新整理《大数据开发架构师面试题解析大全》
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！
2024-05-14 11:30:52
402
原创 2024年最新基于 HBase &； Phoenix 构建实时数仓（3）—— Phoenix 安装，2024年最新大数据开发性能优化常见问题
下表描述了四个节点上分别将会运行的相关进程。Phoenix 相对于 HBase 来说就是一个支持 SQL 的客户端软件，为能在集群环境中任何节点上都能使用 Phoenix 命令行，在所有节点上都安装。简便起见，安装部署过程中所用的命令都使用操作系统的 root 用户执行。
2024-05-14 11:30:16
338
原创 2024年最新埋点技术：“呵呵，你在网上的一举一动，都在我眼皮子底下，2024年最新阿里P8面试官都说太详细了
一般一条埋点数据需要记录：事件ID、事件名（英文名、中文解释）、事件属性（属性英文名、中文解释、属性类型）、埋点形式（前端/后端）、事件触发时机（什么时候投递这个事件）报文包含了将要发送的完整的数据信息，其长短很不一致，长度不限且可变。根据业务人员的需求，选取可以衡量需求效果的数据指标，比如页面浏览量，页面转化率，访问人数，访问频次分布等等。我们可以对一条业务流程中涉及到的各种操作进行事件埋点，用于了解该业务各操作流程的用户流失率，转化率等情况。如果统计的事件里有需要用到后端的数据，也是要进行后端埋点的。
2024-05-14 11:29:40
460
原创 2024年最新听说现在被大数据窃听了？看我20行代码就能实现通信加密。(2)，大数据开发通用流行框架大全
加密技术我们这里演示两种，分别是对称加密和非对称加密。讲解加密技术之前，我们需要假设下我们的使用场景，也是密码学常见的设定。Alice Bob是通信双方Eve是一个窃听者传递的消息是PlainText加密使用的秘钥key加密后的密文是secret message。
2024-05-14 11:29:04
362
原创 2024年对计算机专业来说学历真的重要吗？_计算机专业学历重要吗(1)，7年老大数据开发一次操蛋的面试经历
张雪峰老师连续说了三遍：我是真的相信！还举了一个老家齐齐哈尔大学的例子。我们进入社会后发现，几乎所有的大企业，都在告诉我们：学历不重要，能力更重要。但是，500强的企业只会去那些一流的大学招聘，而不会去一些二三流的大学！有些企业甚至在招聘信息上直接注明要求985、211院校毕业。理想很美好，现实却很骨感。整个节目的爆点就在张雪峰老师与马丁的互怼之间，这反应，这口才，也是没sei了 …节目播出之后，立刻引起网友热议，局面却是一边倒的站在了张雪峰老师这边。@RNQJ666：什么时候学历都是重要的？
2024-05-14 02:51:38
641
原创 2024年容器云系列之Kubernetes基础资源对象介绍_容器云资源类型(4)，2024年最新2024金九银十
Pod是可以在 Kubernetes 中创建和管理的、最小的可部署的计算单元。
2024-05-14 02:51:02
729
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人