- 博客(265)
- 收藏
- 关注
RSS订阅原创 案例篇：Python爬虫的多重领域使用_大数据时代下爬虫技术的应用图片
这是一套专讲爬虫与反爬虫攻防的实战案例，迄今为止已经帮助了超3W学员快速进阶！IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！3、数据提取之beatifulsoup与json解析工具。4、实战-手把手爬取知名餐饮龙头客源数据。5、实战-二次元视频平台弹幕评论数据获取。1、爬虫基本步骤与开发工具的使用介绍。6、企业爬虫岗位与兼职需求技术分析。3、pandas数据处理与数据聚合。1、数据分析指标体系与分析方法。
2024-05-16 10:20:43
282
原创 来自一位双非本科大二学生的？自我救赎：堕落——蜕变_堕落后自我救赎
一个好的天气总是带给人一种好的心情，同时也带来好的运气，我加入了loft团队，团队里的每个哥哥姐姐都身怀绝技，只有小魏是个小白，傻傻愣愣的，刚来还是有些害怕，不敢和大家讲话，但是大家人都很棒，很快我们就玩到了一起，一起加班、一起做项目（虽然我有点水，但是还是很快乐hhh）第一次熬夜加班是大计赛提交的前一个晚上，大家都一晚上没睡，改代码，计划书，ppt，答辩视频，每一帧画面都存在小魏的心底，整个晚上，有时安静的像在打一场没有硝烟的战争，有的时候大家有活跃的嘻嘻哈哈，这种经历，真的令人难忘！
2024-05-16 10:20:10
343
原创 来自一位双非本科大二学生的？自我救赎：堕落——蜕变_堕落后自我救赎(3)
一个好的天气总是带给人一种好的心情，同时也带来好的运气，我加入了loft团队，团队里的每个哥哥姐姐都身怀绝技，只有小魏是个小白，傻傻愣愣的，刚来还是有些害怕，不敢和大家讲话，但是大家人都很棒，很快我们就玩到了一起，一起加班、一起做项目（虽然我有点水，但是还是很快乐hhh）第一次熬夜加班是大计赛提交的前一个晚上，大家都一晚上没睡，改代码，计划书，ppt，答辩视频，每一帧画面都存在小魏的心底，整个晚上，有时安静的像在打一场没有硝烟的战争，有的时候大家有活跃的嘻嘻哈哈，这种经历，真的令人难忘！
2024-05-16 10:19:37
317
原创 来自一位双非本科大二学生的？自我救赎：堕落——蜕变_堕落后自我救赎(2)
回顾一遍课程，将注意事项和知识点整理出来，帮助和我一样有需求的伙伴们，同时也是自己的一个笔记，帮助自己复习，虽然现在写的还比较简单，看的人也比较少，希望各位大佬多带带弟弟哈哈哈。
2024-05-16 10:19:04
374
原创 最全《Redis实战篇》一、短信登录_第1关 使用redis管理登录令牌(3)，从零开始学数据结构和算法
因为LoginInterceptor是new 出来的，并没有交给Spring容器管理，所以我们不能使用Autowire或者@Resource注入，* 这里可以使用构造函数，在使用到拦截器的时候，传入需要的对象。// 4.如果存在，则保存到ThreadLocal。// 增加登录拦截器，并对不必要的请求路径排除拦截。// 4.如果存在，则保存到ThreadLocal。// 2.查询手机号对应的验证码是否一致（存在）// 2.查询手机号对应的验证码是否一致（存在）// 7.存在，则保存用户到session。
2024-05-16 02:33:23
885
原创 最全[软考高级架构] 笔记- 计算机系统+进程管理_高级架构软件笔记，三面蚂蚁金服成功拿到offer
如：需要N个资源，K个进程；K(N-1)+1 = 最少的资源数。，涉及抄袭时，私信直接删除或者改为转载~~~💬，尽我最大能力🏃♀️帮大家解决👨🏫！：共享，速度有差异，在一定情况下进行等待。以上大数据知识点，真正体系化！P(S)，V(S)：S：信号量。一个人一个物体进行操作，💯本期内容就结束了，如果。分配规则：总数-1个。以上是博主自己学习中。
2024-05-16 02:32:50
381
原创 最全[Hadoop3，设计思想解读开源框架
ok了，因为在开头链接中的教材第九节中已经配置好了hadoop102到104的两两间的免密登录（不管是普通用户还是root用户），而我们刚刚已经配置好了hadoop102/103/104/105访问hadoop105的免密登录，只差反方向的免密登录，也就是hadoop105访问hadoop102/103/104/105的免密登录，所以需要。我在完成上面6步后，web页面是这样的，我多次刷新，发现我所属hadoop102和hadoop105的datanode总是交替出现，但不同时出现，这就很奇怪了。
2024-05-16 02:31:44
534
原创 大数据最新Hive面试重点(2)，热度飙升
LOAD DATA总的来说，Hive 通过将数据存储在 HDFS 中，并通过表来组织和管理数据，实现了对大规模数据的高效读写和查询。同时，Hive 还提供了丰富的数据导入导出功能，支持多种文件格式和数据源，满足了不同场景下的数据处理需求。
2024-05-15 17:45:10
387
原创 大数据最新hive语法树分析，判断 sql语句中有没有select ，2024年最新想进BTAJ
来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**
2024-05-15 17:44:37
283
原创 大数据最新hive表通过元数据新增字段，牛皮轰轰
观察存储信息表的数据可以发现，存储信息表由sd_id作为主键，但对于同一表字段结构的分区来说，cd_id也是这张表这些分区在存储信息表中的共同主键。【注意，有些表，不同分区表字段的结构不一样，所以对应的cd_id也是不一样的】但如果为分区表新增字段时，未加cascade关键字，那么可能导致表历史分区用的是历史的字段结构，新产生的分区才用最新的字段结构。我们在字段信息表中，查找出对应cd_id的最大integer_idx值，也就是表最后一个字段的序号。将新增的字段信息插入到字段信息表中，表字段就成功加上了。
2024-05-15 17:43:31
244
原创 大数据最全【项目精选】百货中心供应链管理系统（论文+源码，大数据开发面试题整理
百货中心作为现在物流以及商业中的重要一环，为了应对新兴消费方式的冲击，其供应链模式自然也有统筹优化的必要，同时，Internet和网络技术的飞速发展也为供应链的管理提供了新的手段。国内对供应链的研究起步较晚，国内一些企业对于供应链管理的认识比较肤浅，直到1997年以后，随着各种有关供应链方面的研究和报道增多，人们对物流领域的这一新鲜事物的关注也逐渐升温，直到今天，许多国外的知名公司如IBM、SAP都能为企业的供应链管理提供一整套的解决方案，国内近些年也出现了许多解决企业供应链管理问题的公司和软件[1]。
2024-05-15 14:58:29
213
原创 大数据最全【项目精选】智慧物业管理系统_国外智能物业管理现状(3)，2024年最新这里有份超全大数据开发体系化进阶学习图谱
业先后试水互联网。另外智慧物业是智慧社区的组成部分，智慧社 区是国家智慧城市建设的重要组成部分，并且在 2020 疫情防控工作中，更可以体现出智慧社区的重要性，可以尽最大程度保证小区的安全性。2）研究目的和意义根据智慧社区的发展需要，智慧物业与人们的联系越来越紧密。希望可以利用大学四年学到的知识，开发一套智慧物业管理系统，不仅能提高物业管理人员工作效率，还能减少工作中因为人为造成 的失误、成本损失，这套智慧物业管理系统在带给人们方便快捷的。
2024-05-15 14:57:57
295
原创 大数据最全【项目精选】基于struts+hibernate的采购管理系统，2024年最新阿里巴巴二面被血虐
然而，信息是一种非物质的，有别于基本资源的新形式的资源。在传统的企业采购信息管理中，其过程往往是很复杂的，繁琐的，企业采购信息管理以企业采购信息管理为核心，在此过程中又需要经过若干道手续，因为整个过程都需要手工操作，效率十分低下，且由于他们之间关联复杂，统计和查询的方式各不相同；国外，大卫.琼斯在其著作《采购原理与管理》一书中说，采购的角色发生了变化，采购不再被认为是例行公事的或行政性的订购活动，即采购不再仅仅是订购或购买，而是具有战略作用的，关乎从原材料到使用和弃置整个过程的物料流动。
2024-05-15 14:57:24
258
原创 大数据最全【项目精选】基于Java的愤怒的小鸟游戏的设计与实现（视频+论文，2024年最新学习路线+知识点梳理
游戏风格充满乐趣和幽默，游戏设计的体现了放松的情调，乐观的风格。Super Mario Bros是任天堂游戏公司开发的，相信我们小时候都玩过这一款游戏，它几乎是所有红白机游戏中最畅销的一款，游戏风格是横版过关类型，这个游戏几乎移植到了所有已知的游戏平台，为游戏爱好者广泛而知。游戏的发展不仅带来了经济的利益，同时也极大地丰富了人类的生活，增强人们的幸福感，但游戏也存在不可避免的弊端，所以积极宣传中国传统文化，引导青少年健康游戏、快乐游戏应该是，每个游戏工作者的责任和义务。图1-1 minecraft。
2024-05-15 14:56:50
270
原创 云原生（三十四） Kubernetes篇之平台存储系统实战_rbd pvc 扩容
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！Delete the rbd volume when a PVC is deletedreclaimPolicy: DeleteallowVolumeExpan
2024-05-15 06:35:04
856
原创 云原生（三十四） Kubernetes篇之平台存储系统实战_rbd pvc 扩容(2)
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！volumeClaimTemplates:apiVersion: v1kind: Servicemetadata:name: sts-nginxnamesp
2024-05-15 06:34:28
631
原创 云原生（三十四） Kubernetes篇之平台存储系统实战_rbd pvc 扩容(1)
测试： 创建sts、修改nginx数据、删除sts、重新创建sts。他们的数据丢不丢，共享不共享。(img-vEpj9QVR-1715726010449)]STS删除，pvc不会删除，需要自己手动维护。如：10个Pod共同操作一个地方。
2024-05-15 06:33:52
275
原创 云原生【Docker架构&；Docker安装&；Docker镜像仓库】第2章_docker官方镜像仓库网速较差,我们需要设置国内镜像服务
一切应用最终都是代码组成，都是硬盘中的一个个的字节形成的。只有运行时，才会加载到内存，形成进程。而，就是把一个应用在硬盘上的文件、及其运行环境、部分系统函数库文件一起打包形成的文件包。这个文件包是只读的。呢，就是将这些文件中编写的程序、函数加载到内存中允许，形成进程，只不过要隔离起来。因此一个镜像可以启动多次，形成多个容器进程。例如你下载了一个QQ，如果我们将QQ在磁盘上的运行及其运行的操作系统依赖打包，形成QQ镜像。然后你可以启动多次，双开、甚至三开QQ，跟多个妹子聊天。
2024-05-15 06:33:16
781
原创 【Android Gradle 插件】Android Studio 工程 Gradle 构建流程 ② ( settings
dependencyResolutionManagement 脚本块 ,在 dependencyResolutionManagement 脚本块 中 定义的代码的含义是 解析依赖时 , 只能使用本脚本块中的 Maven 仓库 , 不能使用 Module 子项目中的依赖;参考之前的博客中的配置 ,
2024-05-14 21:53:08
613
原创 【Ajax入门技术】原生AJAXexpress的基本使用，进行不刷新页面获取到数据_ajax 无刷新技术
（4）在安装这个express（成功了就会有这么俩文件，和一个node _modules ）
2024-05-14 21:52:32
110
原创 【2024版】想要专升本你不得不看的全干货_吐血整理_专升本_计算机文化基础（三）_全方位专升本csdn
非匿名FTP是"尊贵的VIP大佬"，"大佬"可以有很多权限，可以上传、下载文件，也可以删除、修改、浏览文件，但是"白嫖党"只有浏览和下载的权限。，只不过该网站专门为用户提供信息"检索"服务，它使用特有的程序把因特网上的所有信息归类以帮助人们在浩如烟海的信息海洋中搜寻到自己所需要的信息。例如百度、京东、淘宝等。这种方式连接上网络，拨打电话的时候是没有网络的，这是一种比较古老的上网方式，现在拨打电话也有网络。⒉动态IP地址：例如自己家内使用的"拨号上网"，还有"家庭上网"，每次都会分配一个IP地址。
2024-05-14 21:51:56
641
原创 【2024版】想要专升本你不得不看的全干货_吐血整理_专升本_计算机文化基础（三）_全方位专升本csdn(1)
非匿名FTP是"尊贵的VIP大佬"，"大佬"可以有很多权限，可以上传、下载文件，也可以删除、修改、浏览文件，但是"白嫖党"只有浏览和下载的权限。来说，匿名FTP就是免费的，属于"白嫖党"。非匿名FTP是"尊贵的VIP大佬"，"大佬"可以有很多权限，可以上传、下载文件，也可以删除、修改、浏览文件，但是"白嫖党"只有浏览和下载的权限。，只不过该网站专门为用户提供信息"检索"服务，它使用特有的程序把因特网上的所有信息归类以帮助人们在浩如烟海的信息海洋中搜寻到自己所需要的信息。（局域网LAN可以用"橘子烂了"记）
2024-05-14 21:51:20
756
原创 2024年最新深度学习与神经网络之开宗明义 详解人工智能(1)，你们觉得作为一名程序员最大的悲哀是什么
在人工智能的各个子领域中，由于其解决的问题各不相同，所以对应的目标和使用的工具并不完全相同。在传统意义上来说，人工智能研究的目标包括感知智能、认知智能、行为智能。人工智能自成立以来尝试并放弃了许多不同的方法，包括模拟人类大脑、模拟人类解决问题、形式逻辑、大型知识数据库和模仿动物行为。(小爱、小度、Siri)、智能驾驶系统(特斯拉)、量化交易系统、自动下棋系统(AlphaGo)等能够自动形成决策或者行动的系统。在该领域占据了主导地位，事实证明还是比较成功的，帮助整个工业界和学术界解决了许多具有挑战性的问题。
2024-05-14 12:33:27
531
原创 2024年最新深度体验学习国产API工具Eolink_eolink 请求无响应(1)，2024年最新面试大数据开发卡顿
Binary（字节流、文件参数）Raw（自定义文本类型数据）Form-data（表单）
2024-05-14 12:32:51
196
原创 2024年最新深入学习Kafka之概念解析(1)，靠这份大数据开发知识点PDF成功跳槽
Kafka以一个或多个服务端组成的集群方式运行，这样可以使其分成多个数据中心或者云区域。一些来自存储层的server被称之为broker。对于 Kafka 而言， Broker 可以简单地看作一个独立的 Kafka 服务节点或 Kafka服务实例。大多数情况下也可以将 Broker看作一台 Kafka服务器，前提是这 台服务器上只部署了一个 Kafka 实例。一个或多个 Broker 组成了 一个 Kafka 集群。一般而言， 我们更习惯使用首字母小写的 broker 来表示服务代理节点。
2024-05-14 12:31:38
814
原创 2024年最全ES学习日记(一)-------单节点安装启动_es 单节点运行启动命令(3)，大数据开发零基础开发
注意:流程应该用root用户修改内容,然后chown命令重新给予es用户权限,我这里用es用户修改的配置文件,如果出现问题,直接用root用户再次赋予权限即可。创建用户组,设置es操作用户:groupadd es,向ES用户组添加用户es:useradd es -g es。root权限变更为es权限 : chown -Rf es:es /home/local/es/切换用户为es:su es,执行启动命令:./elasticsearch。问题1原因是虚拟内存数不足,修改这个文件。返回重新启动,启动成功。
2024-05-14 03:55:46
400
原创 2024年最全ELFK 分布式日志收集系统(1)，2024年最新大数据开发直播面试题
到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
2024-05-14 03:55:11
144
原创 2024年最全ElasticSearch数据迁移方法介绍_elasticsearch 数据迁移(1)，2024年最新给大家安排上
如果您在升级过程中同时停止一半或更多符合主节点条件的节点，则集群将不可用，这意味着升级不再是滚动升级。如果发生这种情况，您应该升级并重新启动所有已停止的符合主节点资格的节点，以允许集群再次形成，就像执行全集群重启升级一样。不支持在升级持续时间之后在同一集群中运行多个版本的 ES，因为无法将分片从升级的节点复制到运行旧版本的节点。但是，在升级集群中的所有节点之前，任何新功能都会被禁用或以向后兼容的模式运行。同时在升级过程中优先选择data节点，在data节点升级完成后，在对集群中master节点进行升级。
2024-05-14 03:54:35
776
原创 2024年最全Elasticsearch数据库_es数据库(3)，2024年最新我凭什么拿到了阿里、腾讯、今日头条3家大厂offer
Kibana是一个开源的分析与可视化平台，设计出来用于和一起使用的。你可以用kibana搜索、查看存放在中的数据。Kibana与的交互方式是各种不同的图表、表格、地图等，直观的展示数据，从而达到高级的数据分析与可视化的目的。Logstash和Kibana这三个技术就是我们常说的ELK技术栈，可以说这三个技术的组合是大数据领域中一个很巧妙的设计。一种很典型的MVC思想，模型持久层，视图层和控制层。Logstash担任控制层的角色，负责搜集和过滤数据。担任数据持久层的角色，负责储存数据。而我们这章的主题。
2024-05-14 03:53:59
860
原创 2024年大数据最全【数据结构】八大排序算法详解_数据结构排序算法，2024年最新我想谈谈关于大数据开发面试那些事
归并的缺点在于需要O(N)的空间复杂度，归并排序的思考更多的是解决在磁盘中的外排序问题时间复杂度为O(nlogn)空间复杂度为O(n)，因为要借助一个新数组来起到拷贝的作用归并排序是一种不稳定的排序算法。
2024-05-13 19:07:21
811
原创 2024年大数据最全【数据库】02——关系模型是什么东东_数据库模型 连线 箭头，顺利拿到OPPO公司大数据开发架构师offer
注意在外码约束中，被引用属性必须书被引用关系的主码。更广泛的约束被称为(referential integrity constraint)，它放宽了被引用属性构成被引用关系主码的要求。
2024-05-13 19:06:45
807
原创 2024年大数据最全【数学模型】层次分析_数学建模层次分析法例题及答案(5)，为什么大数据开发能最好地改变大数据开发
层次分析法（The Analytic Hierarchy Process即 AHP)是由美国运筹学家、 匹兹堡大学教授T . L. Saaty于20世纪70年代创立的一种系统分析与决策的综合 评价方法，是在充分研究了人类思维过程的基础上提出来的，它较合理地解 决了定性问题定量化的处理过程。AHP的主要特点是通过建立递阶层次结构，把人类的判断转化到若干因 素两两之间重要度的比较上，从而把难于量化的定性判断转化为可操作的重 要度的比较上面。
2024-05-13 19:06:09
582
原创 2024年大数据最全【数学模型】层次分析_数学建模层次分析法例题及答案(4)，大数据开发面试题初级
层次分析法（The Analytic Hierarchy Process即 AHP)是由美国运筹学家、 匹兹堡大学教授T . L. Saaty于20世纪70年代创立的一种系统分析与决策的综合 评价方法，是在充分研究了人类思维过程的基础上提出来的，它较合理地解 决了定性问题定量化的处理过程。AHP的主要特点是通过建立递阶层次结构，把人类的判断转化到若干因 素两两之间重要度的比较上，从而把难于量化的定性判断转化为可操作的重 要度的比较上面。
2024-05-13 19:05:32
837
原创 2024年【Git企业开发】第四节(4)，2024年最新从外包公司到今日头条offer
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走
2024-05-13 13:33:31
782
原创 2024年【Git企业开发】第四节(2)，卧薪尝胆70天内推入职阿里
法保证对于冲突问题可以正确地一次性解决掉，因为在实际的项目中，代码冲突不只一两行那么简单，有可能几十上百行，甚至更多，解决的过程中难免手误出错，导致错误的代码被合并到 master 上。
2024-05-13 13:32:55
885
原创 2024年【Flume】（五）Flume 企业开发实战，2024年大数据开发工作或许更难找
1）案例需求使用 Flume 采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。2）需求分析在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到 Flume 拓扑结构中的Multiplexing 结构，Multiplexing的原理是，根据 event 中 Header 的某个 key 的值，将不同的 event 发送到不同的 Channel中，
2024-05-13 13:32:19
752
原创 2024年【Flink SQL】Flink SQL 基础概念（一）(2)，2024大数据开发高级面试题及答案
CatalogMetaStoreaddSourcemapflatmapDataStream 和 Table（Table / SQL API 的查询结果）之间进行转换：目前1.131.131.13 版本的只有流任务支持，批任务不支持。1.141.141.14 支持批任务。接下来介绍如何创建一个。案例为 Java。在1.131.13它两虽然都继承了接口，但是支持的功能更多一些。大家可以直接去看看接口实验一下，这里就不进行详细介绍。
2024-05-13 13:31:42
658
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人