- 博客(254)
- 收藏
- 关注
RSS订阅原创 深度学习实验：Softmax实现手写数字识别_案例1 softmax实现手写数字识别(2)
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取if name == ‘main’:# You can modify the hyerparameters by yourself.relu_cfg = {‘data_root’: ‘data’,‘max_e
2024-05-16 10:53:50
381
原创 深度学习实验：Softmax实现手写数字识别_案例1 softmax实现手写数字识别(1)
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！if name == ‘main’:# You can modify the hyerparameters by yourself.relu_cfg = {‘
2024-05-16 10:53:16
413
原创 深度学习之卷积神经网络CNN及tensorflow代码实现示例_简单卷积神经网络代码
可类似看作：隐藏层中的神经元 具有一个固定大小的感受视野去感受上一层的部分特征。在全连接神经网络中，隐藏层中的神经元的感受视野足够大乃至可以看到上一层的所有特征。在CNN的输入层中，（图片）数据输入的格式 与 全连接神经网络的输入格式（一维向量）不太一样。卷积核的大小由用户来定义，即定义的感受视野的大小；卷积核的权重矩阵的值，便是卷积神经网络的参数，为了有一个偏移项 ，卷积核可附带一个偏移项。可看出 卷积层的神经元是只与前一层的部分神经元节点相连，每一条相连的线对应一个权重 w w。
2024-05-16 10:52:43
430
原创 深度学习之卷积神经网络CNN及tensorflow代码实现示例_简单卷积神经网络代码(1)
可类似看作：隐藏层中的神经元 具有一个固定大小的感受视野去感受上一层的部分特征。在全连接神经网络中，隐藏层中的神经元的感受视野足够大乃至可以看到上一层的所有特征。在CNN的输入层中，（图片）数据输入的格式 与 全连接神经网络的输入格式（一维向量）不太一样。卷积核的大小由用户来定义，即定义的感受视野的大小；卷积核的权重矩阵的值，便是卷积神经网络的参数，为了有一个偏移项 ，卷积核可附带一个偏移项。可看出 卷积层的神经元是只与前一层的部分神经元节点相连，每一条相连的线对应一个权重 w w。
2024-05-16 10:52:09
390
原创 最全【产品新体验】CSDN，2024年最新轻松拿到了阿里大数据开发高级开发工程师的offer
点击确定创建即可创建一个空的工程文件。②安装live-server依赖在命令行窗口中进行安装安装成功的效果如下：③添加index.html页面④执行npm命令启动服务确实是可以在自己的浏览器访问啦：注：这个网络地址接口是有用户鉴权的，链接别人是访问不了的！
2024-05-16 03:05:49
1012
原创 最全【云服务器 ECS 实战】云服务器新手指南（配置+使用详解，2024年最新小白必看
谈起云计算，相信大家都不陌生，可以说它已经颠覆了我们生活中的很多应用场景，如虚拟化办公、物联网、虚拟 IDC 以及日常的生活娱乐、金融、教育等多个行业领域都享受到了来自“云”技术的红利，毫不夸张的说：“云”已经渗透到了我们日常生活中的各个领域。那么我们国内的云市场是怎样的呢？据统计，国内公有云市场营收自 2011 年起每年增长 15% 以上，各大企业也对其应用与服务进行了云架构的改造，服务能力大大提升。诸如云的弹性伸缩架构，就可以很可观的解决高负载或者定时扩容等问题。业务上云已是大势所趋。
2024-05-16 03:05:16
1813
1
原创 最全【云原生与5G】微服务加持5G核心网_面向服务的5g云原生核心网，零基础大数据开发开发
个人信条：星光不问赶路人,岁月不负有心人。个人方向：专注于5G领域，同时兼顾其他网络协议，编解码协议，C/C++，linux等，感兴趣的小伙伴可以关注我，一起交流。
2024-05-16 03:04:44
813
原创 最全【云原生】Docker介绍_docker是开发技术么，开源新作
Docker 是一个用于开发、发布和运行应用程序的开放平台。Docker 能够将应用程序与基础架构分离，以便快速交付软件。使用 Docker，您可以像管理应用程序一样管理基础架构。通过利用 Docker 快速交付、测试和部署代码的方法，您可以显著减少编写代码和在生产环境中运行之间的延迟。通俗来讲，docker是一个类似于虚拟机的容器，这个容器里面可以放应用程序，代码库，编译工具以及构建运行环境。
2024-05-16 03:04:11
678
原创 大数据最新Python大数据为啥一定要用Numpy Array(1)，大数据开发面试题2024高级
1.内存大小—Numpy数据结构占用的内存更小。2.性能—Numpy底层是用C语言实现的，比列表更快。3.运算方法—内置优化了代数运算等方法。下面分别讲解在大数据处理时，Numpy数组相对于List的优势。
2024-05-15 18:17:38
335
原创 大数据最新Python大数据-对淘宝用户的行为数据分析(3)，大数据开发软件开发基础
首先该数据是在多个文件下的CSV文件，通过递归对文件夹内所有文件进行查询，并合并了所有的指定文件，具体的操作步骤大家可以看这篇文章，里边详细的写了如何遍历所有文件夹，如何组合，如何批量的打开文件目录下的所有文件，并对多文件下的文件进行合并，本文就不再赘述数据合并的过程了，直接采用合并后的数据，大家不懂可以看我的以上两盘博客，写的很详细。
2024-05-15 18:17:05
270
原创 大数据最新Python基础知识入门（三）_x={1 3},x[3]=1,print(x)(3)，2024年最新字节跳动资深面试官亲述
字典是由大括号 {} 包裹所有元素。字典的每个元素是键值对，中间用英文冒号连接（:）如 {‘name’: ‘漫步桔田’}，其中我们把 ‘name’ 叫 键（key），’ 漫步桔田’ 叫 值（value）。元组是用英文小括号 () 把所有元素包裹起来，元组里面的每一个数据叫作元素。每个元素之间都要用 英文逗号 ( , ) 隔开。例如：(1,2,3)。元组是不可变数据类型，不可以进行“增删改”操作，但可通过拼接、切片完成“增删改”操作。
2024-05-15 18:16:32
287
原创 大数据最全大数据主要应用领域，2024年最新我把所有大数据开发框架整理成了PDF
大数据的技术给农产品信息的全面收集提供了技术基础，使农产品质量能够进行 全方位比对，增加农产品质量监测的准确性。：搭建农村综合信息服务系统 是为了帮助农业信息的快速和有效的传播， 使用全国范围实现信息资源的共享。录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**：精准农业决策是指根据各个方面的农业信息制定出一整套有可实施性的精准管理措 施。：对自然灾害监测、作物估产及生长动态监测。（ 2）典型的一些应用。二、大数据的主要应用。
2024-05-15 15:30:59
372
原创 大数据最全大数据~大数据预处理整体架构（数据清洗、数据集成、数据转换(1)，农民工看完都会了
数据处理常常涉及数据集成操作，即将来自多个数据源的数据，如数据库、数据立方、普通文件等，结合在一起并形成一个统一数据集合，以便为数据处理工作的顺利完成提供完整的数据基础。例如，若要对商场顾客按信用风险进行分类挖掘时，就可以用在同一信用风险类别（如良好）下的“顾客收入”属性的平均值，来填补所有在同一信用风险类别下“顾客收入”属性的遗漏值。例如，街道属性可以泛化到更高层次的概念，如城市、国家，数值型的属性，如年龄属性，可以映射到更高层次的概念，如年轻、中年和老年。冗余问题是数据集成中经常发生的另一个问题。
2024-05-15 15:30:23
346
原创 大数据最全大数据Spark电影评分数据分析_spark分析电影评分数据集(1)，那些年我们一起踩过算法与数据结构的坑
使用电影评分数据进行数据分析，分别使用DSL编程和SQL编程，熟悉数据处理函数及SQL使用，业务需求说明：对电影评分数据进行统分析，获取Top10电影（电影评分平均值最高，并且每个电影被评分的次数大于2000)。应用scala的stripMargin方法，在scala中stripMargin默认是“|”作为出来连接符，在多行换行的行头前面加一个“|”符号即可。其中使用SparkSQL中自带函数库functions，在org.apache.spark.sql.functions中，包含常用函。
2024-05-15 15:29:50
451
原创 大数据最全大数据Python基础之文件读写_大数据 读取文件时候的=是什么意思，2024年最新重难点整理
事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！1.Python处理的各种类型的数据，通过内置数据结构如列表、字典等在计算机内存中进行处理加工，最后必须要存入外部存储器中永久保存。文件的类型分为文本文件和二进制文件，文本由单一特定编码的字符串构成，二进制没有统一编码，需要软件进行编码和解码。有两种修改方法，一是将’\’的方向反向为’/’或者是’\’，二是在路径前加个r，意思是按原始字符处理。文件是常用的存储形式；
2024-05-15 15:29:18
307
原创 使用Amazon SageMaker构建高质量AI作画模型Stable Diffusion_sagemaker ai绘图
是一项完全托管的机器学习服务，为数据科学家、开发人员和企业提供了一种简单的方式来构建、训练和部署机器学习模型，而无需考虑底层基础设施的复杂性。提供了一整套机器学习工具，涵盖了数据标记、数据处理、模型训练、超参数调优、模型部署及持续模型监控等基本流程，也提供了自动打标签、自动机器学习、监控模型训练等高阶功能。其通过全托管的机器学习基础设施和对主流框架的支持，可以降低客户机器学习的成本。能够完全消除机器学习过程中各个步骤中繁重的工作，使得开发高质量模型变得更加轻松。用户可以选择使用。
2024-05-15 07:10:55
664
原创 使用Amazon SageMaker构建高质量AI作画模型Stable Diffusion_sagemaker ai绘图(1)
配置笔记本实例设置，在创建笔记本实例详情页中，配置笔记本实例的基本信息，包括笔记本实例名称(例如)、笔记本实例类型(选择实例类型，该类型实例搭载显卡，提供了模型所需执行浮点数计算的能力)、平台标识符()和在“其他配置”下的卷大小(推荐至少75GB配置笔记本实例权限，为笔记本实例创建一个IAM角色，用于调用包括和S3在内的服务，例如上传模型，部署模型等。在“权限和加密”下的IAM角色中，点击下拉列表，单击“创建新角色”：在配置页面中，保持默认配置，并点击“创建角色”按钮：成功创建IAM。
2024-05-15 07:10:19
1023
原创 使用 Docker 搭建 Hadoop 分布式环境_windows系统docker怎么搭建hadoop框架
直接点击报错信息中的链接，更新 Linux 内核即可，点击链接后进入如下页面下载这个升级包，并安装之后点击 Docker desktop 安装报错提示框中的Restart，就能顺利安装完成并启动了。
2024-05-15 07:09:43
832
原创 使用 Docker 搭建 Hadoop 分布式环境_windows系统docker怎么搭建hadoop框架(4)
国内从 Docker Hub 拉取镜像有时会遇到困难，此时需要配置国内镜像源进行加速Windows 安装的 Docker Desktop 配置十分简单，只需要在任务栏托盘 Docker 图标内右键菜单选择 Settings，打开配置窗口后在左侧导航菜单选择 Docker Engine，在右侧像下边一样编辑 json 文件，之后点击 Apply & Restart 保存后 Docker 就会重启并应用配置的镜像地址了。配置完成之后，在 PowerShell 使用命令，如果控制台输出如下内容，说明配置成功。
2024-05-15 07:09:07
490
1
原创 【Flink】（十三）Flink CEP Library 使用案例分析_flink library(1)
合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
2024-05-14 22:29:03
355
原创 【Flink】（二）详解 Flink 运行架构_flink的运行架构负荷分担是什么
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取具体地，如果我们将 Flink 集群部署到YARN 上，那么就会有如下的提交流程：Flink 任务提交后，Client 向 HDFS 上传 Flink 的 Jar 包和配置，之后向 Yarn ResourceManag
2024-05-14 22:28:27
635
原创 【Flink】（二）详解 Flink 运行架构_flink的运行架构负荷分担是什么(4)
需要注意的是，这里不会涉及到 CPU 的隔离，slot 目前仅仅用来隔离 task 的受管理的内存。也就是说，假设一共有 3 个 TaskManager，每一个 TaskManager 中的分配 3 个TaskSlot，也就是每个 TaskManager 可以接收 3 个 task，一共 9 个 TaskSlot，如果我们设置 parallelism.default=1，即运行程序默认的并行度为 1，9 个 TaskSlot 只用了 1个，有 8 个空闲，因此，设置合适的并行度才能提高效率。
2024-05-14 22:27:51
734
原创 【Flink】（二）详解 Flink 运行架构_flink的运行架构负荷分担是什么(3)
我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句。
2024-05-14 22:27:14
597
原创 2024年洽谈 “会话技术” 纯干货赶紧收藏吧_回话的技术(3)，2024年最新大数据开发开发者必看
用户在地址栏里输入网址，浏览各种数据，只要关闭浏览器，这就算一次会话结束。
2024-05-14 13:09:02
513
原创 2024年江苏专转本志愿填报辅导(22上岸南工程学长辅导手册)_三个月冲刺南工程
相信你们到了今天为止已经做了很大的努力和准备，可能有些都已经二轮、三轮，那些还没有一轮刚刚过完的同学要不要气馁，按照自己当前的进度来进行时间安排学习，大家都是成年人了应该有自己掌控时间的能力，最后三个月打起精神千万不要被一些机构、或者身边的人所影响，全身心的投入到上面来，不给自己留遗憾！服从志愿录取结束后，还有尚未完成“选拔计划”的接收院校（专业），那么省教育考试院就会去把最低录取控制分数线下10分（含10分）以内，且在平行志愿中填报该校（专业）的考生档案投放给这些院校来进行录取。
2024-05-14 13:08:25
815
原创 2024年江苏专转本志愿填报辅导(22上岸南工程学长辅导手册)_三个月冲刺南工程(3)
相信你们到了今天为止已经做了很大的努力和准备，可能有些都已经二轮、三轮，那些还没有一轮刚刚过完的同学要不要气馁，按照自己当前的进度来进行时间安排学习，大家都是成年人了应该有自己掌控时间的能力，最后三个月打起精神千万不要被一些机构、或者身边的人所影响，全身心的投入到上面来，不给自己留遗憾！服从志愿录取结束后，还有尚未完成“选拔计划”的接收院校（专业），那么省教育考试院就会去把最低录取控制分数线下10分（含10分）以内，且在平行志愿中填报该校（专业）的考生档案投放给这些院校来进行录取。
2024-05-14 13:07:48
669
原创 2024年最全java面试系列-JDBC常见面试题（附答案）_jdbc面试题(3)，2024年最新帮你解决95%以上的问题
当我们为了数据的一致性使用事务时，数据库系统用锁来防止别人访问事务中用到的数据。数据库通过锁来防止脏读，不可重复读(Non-Repeatable Reads)及幻读（Phantom-Read）的问题。数据库使用JDBC设置的隔离级别来决定它使用何种锁机制，我们可以通过Connection的getTransactionIsolation和setTransactionIsolation方法来获取和设置数据库的隔离级别。隔离级别事务脏读不可重复读幻读不支持不可用不可用不可用支持阻止允许。
2024-05-14 04:31:43
1006
原创 2024年最全Java面向对象三大基本特征之多态_面向对象方法中,多态指的是(5)，2024年最新程序员如何自我学习和成长
父类：Animal类子类：Cat类子类：Dog类测试：Test类。
2024-05-14 04:31:07
416
原创 2024年最全Java集合容器面试题（2024最新版）(3)，2024年最新还有人不知道什么是大数据开发X的吗
集合框架：用于存储数据的容器。集合框架是为表示和操作集合而规定的一种统一的标准的体系结构。任何集合框架都包含三大块内容：对外的接口、接口的实现和对集合运算的算法。接口：表示集合的抽象数据类型。接口允许我们操作集合时不必关注具体实现，从而达到“多态”。在面向对象编程语言中，接口通常用来形成规范。实现：集合接口的具体实现，是重用性很高的数据结构。算法：在一个实现了某个集合框架中的接口的对象身上完成某种有用的计算的方法，例如查找、排序等。
2024-05-14 04:30:31
871
原创 2024年最全java编程技术FastDFS 安装和配置_java fastdf，2024年最新费时6个月成功入职阿里
数据文件及日志启动执行程序关闭、重启脚本服务启动脚本/etc/fdfs/配置文件。
2024-05-14 04:29:54
561
原创 2024年大数据最全刷题知识回顾《二》LRU缓存详解_lru cache 牛客 哈希(2)，2024年最新你们觉得作为一名程序员最大的悲哀是什么
🎁如果大佬在准备面试，找工作，刷算法，可以使用我找实习前用的刷题神器哦💕欢迎大家：这里是CSDN，我总结知识的地方，欢迎来到我的博客，我亲爱的大佬😘牛客部分使用反馈，个人感觉还不错，帮我找到了心仪的公司，希望各位伙伴儿们通过它也能提高不少🥂🥂🥂。
2024-05-13 19:43:21
528
原创 2024年大数据最全刨析《C语言》【进阶】付费知识，面试大数据开发岗
/因为book_name是字符型的数组名，数组本身是个地址。//sizeof(数组名)-数组名表示整个数组的-计算的是整个数组的大小。//&数组名 - 数组名表示的是整个数组，取出的是整个数组的地址。struct Book b={“c语言程序设计”,55};//等同于p->price。//除此之外，所有的数组名都是数组首元素的地址。//使用库函数字符串拷贝函数。printf(“相同”)；
2024-05-13 19:42:45
256
原创 2024年大数据最全初识Hadoop(2)，36岁老码农现身说法
指以Hadoop为基础的生态圈，是一个很庞大的体系，Hadoop只是其中最重要、最基础的一部分；生态圈中的每个子系统只负责解决某一个特定的问题区域，甚至可能更小，它并不是一个全能系统，而是多个小的系统的集成。半结构化数据是结构化数据的一种形式，半结构化数据就是介于完全结构化数据和完全无结构的数据之间的数据。包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频、视频信息等等都属于非结构化数据。4、不适合文件的修改，文件只能追加在文件的末尾，不支持任意位置修改，不支持多个写入者操作。
2024-05-13 19:42:09
797
原创 2024年大数据最全初始大数据（Big Data）开发(1)，大数据开发开发面试自我介绍
主要解决的是对海量数据的存储以及海量数据的计算分析问题：历史上全人类说过的话的数量大约是5EB，个人计算机目前容量单位为TB。：由于传输数据的量是非常庞大的，所以大数据在传输速率方面是高速的。：以往的结构化数据相较于非结构化数据，非结构化数据越来越多，例如：音频，视频，地理信息等。对非结构化数据的处理能力要求较高。：对复杂的，高效价值的数据进行提纯处理。主要应用场景：物流仓储、零售（纸尿布+啤酒）、旅游、商品广告推荐（推荐算法）、保险、金融、人工智能…
2024-05-13 19:41:33
354
原创 2024年【项目精选】JAVA_JSP电子政务网（源码+视频(2)，2024年最新腾讯架构师首发
但是，虽然当前我国政府的信息化事业已经取得了初步的成效，能够依据不同的客观业务需求来实现信息系统的开发设计。但是，目前所存在的问题也是较为明显的，那就是这些信息系统彼此之间都是孤立的，难以做到协同工作，这就造成了比较严重的“信息孤岛”的现象，成为我国电子政务应用的一个巨大的障碍。JAVA、JSP电子政务网主要用于实现政府机关的政务管理，基本功能包括：前台管网展示、留言板、后台登陆、修改密码、网站公告、政府网站、领导信箱、表格下载、政务公开、便民电话、新闻动态、地区概况、留言管理等。
2024-05-13 14:09:28
510
原创 2024年【项目精选】javaEE健康管理系统（论文+开题报告(2)，2024年最新大数据尽然还能有这种操作
后台：http://localhost:8080/Healthy_manager/back_login.jsp。朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**前台：http://localhost:8080/Healthy_manager。针对糖尿病和高血压两种疾病，利用数学线性回归的方法，模拟计算出教师患病概率。管理员管理教师功能：可以增删改查教师基本信息。管理员管理体检结果：可以增删改查教师体检记录。管理员用户登录功能：通过账号登录系统。
2024-05-13 14:08:52
260
原创 2024年【详解】手撕 一维、二维、三维差分数组原理(4)，大数据开发客户端Web页面通用性能优化实践
O(m)O(m)，k次查询复杂度OknO(kn)O(kn)，即omkno(m + kn)o(m+kn)。还不如直接暴力来的快OmnkO(mn + k)O(mn+k)。有了一维差分的认识后，我们容易就能拓展到二维差分。一维是线性的，一段区间【L，R】有两个端点；二维是一个矩阵，一块区间由四个端点所围成。**问题描述\color{Turquoise}问题描述问题描述**: 在 n × n 的格子上有 m 个地毯。给出这些地毯的信息，问每个点被多少地毯覆盖。
2024-05-13 14:08:16
835
原创 2024年【算法基础】(一)基础算法 --- 二分(1)，《大数据开发面试题及解析》分享给大家
综上我们可以看出两个模板之间差别并不大，主要在于mid取值俩边界的和要不要+1，那什么时候+1呢？从上我们可以看出当模板中 if 语句判断为true时，l = mid 的时候，如果不+1，此时出现 l = r - 1 的时候，我们的mid是永远等于 l 的，就会一直进入死循环，达不到边界，+1之后mid变成r停止循环了。在这里再提及一下二分模板的实现，其实就是让左右边界确定中间值，然后对我们要找的元素进行比较，看情况通过 l 或者 r 的变化带动mid值找寻起始位置和终止位置。
2024-05-13 14:07:39
266
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人