Maynor996的博客_CSDN博客-大数据面试准备（秋）,Spark,大数据技术领域博主

原创刚刚，体验了一把Bing chat很爽

Hello guys，我是`Maynor`。在周三微软发布了结合chatGpt的搜索引擎，我第一时间申请了加入waitlist，终于成为使用上Bing chat的`首批全球用户`，申请流程可以看我当时发表的博客.以下是我的Bingchat使用初体验

2023-02-12 00:27:31 82169 37

原创每天一道大厂SQL题【Day01】

大家好，我是Maynor。相信大家和我一样，都有一个大厂梦，作为一名资深大数据选手，深知SQL重要性，接下来我准备用100天时间，基于大数据岗面试中的经典题，以每日1题的形式，带你过一遍热门SQL题及恰如其分的解答。一路走来，随着问题加深，发现不会的也愈来愈多。但底气着实足了不少，相信不少朋友和我一样，日积月累才是最有效的学习方式！

2023-01-29 17:49:41 11546 25

项目目标项目1：在线教育学习如何做项目，项目中大数据工程师要负责实现的内容和流程学习数仓基础理论：建模、分层项目2：工业大数据企业中项目开发的落地：代码开发代码开发：SQL【DSL + SQL】SparkCoreSparkSQL数仓的一些实际应用：分层体系、建模实现内容目标项目业务介绍：背景、需求项目技术架构：选型、架构项目环境测试目标了解Docker的基本功能和设计为什么要用Docker？什么是Docker？路径step1：生产环境的问题。

2022-11-28 15:53:05 2290 8

原创实时即未来，大数据项目车联网之项目基石与前瞻【一】

车联网的概念介绍车联网（ Internet of Vehicles ）指按照一定的通信协议和数据交互标准，在“人-车-路-云“之间进行信息交换的网络。即首先实现汽车智能网联化，再利用各种传感技术，感知车辆状态信息，并借助无线通信网络与大数据分析技术实现交通的智能化管理。

2022-08-19 16:45:30 2017 11

原创如何使用云容器搭建基于CentOS7的Hadoop2.x伪分布式环境（CSDN开发者云平台使用初体验）

前不久CSDN联合国内顶级云厂商，共同为开发者提供稳定便宜的云服务，送了学长两张优惠券，一张云容器，一张云主机。恰好最近在学习某硅谷的SeaTunnel课程需要用到主机做实验，使用本地的还需要，有诸多不便，于是想试试服务。.........

2022-06-12 18:00:22 1228 27

原创总结的数据结构小公式

文章目录完全无向图和完全有向图公式最小生成树矩阵:完全无向图和完全有向图公式将一个具有 n 个顶点 e 条边的无向图存储在邻接矩阵中，则非零元素的个数是 2e。对于一个具有 n 个顶点 e 条边的有向图存储在邻接矩阵中，则非零元素的个数是 e。1.完全无向图：n个顶点的完全无向图的边数= n(n-1)/22.完全有向图：完全有向图的边数=n(n-1)3. 举例1：有10个顶点的无向连通图边的数量最少是（ 9 ）个，最多是（ 45 ）个4. 举例2：有10个顶点的有向连通图

2021-12-20 13:23:14 4112 3

原创我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境

由于我接的私活经常需要使用到Hadoop集群，本地启动有启动速度慢、操作麻烦和占用内存等诟病，有鉴于此何不部署云集群，选择的是Hadoop3.x的伪分布式部署方法。

2021-12-03 12:27:46 3683 17

原创 Docker篇之如何部署MySQL

MySQL部署5.1.1拉取MySQL镜像docker pull mysql查看镜像5.1.2创建MySQL容器docker run -di --name demo_mysql -p 33306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql-p 代表端口映射，格式为宿主机映射端口:容器运行端口-e 代表添加环境变量 MYSQL_ROOT_PASSWORD是root用户的登陆密码5.1.3进入MySQL容器,登陆MySQL进入mysql容器

2021-11-25 20:27:00 1413 2

原创 SpringCloud微服务之Nacos集群搭建

Nacos集群搭建1.集群结构图官方给出的Nacos集群图：其中包含3个nacos节点，然后一个负载均衡器代理3个Nacos。这里负载均衡器可以使用nginx。我们计划的集群结构：三个nacos节点的地址：节点ipportnacos1192.168.150.18845nacos2192.168.150.18846nacos3192.168.150.18847此处的IP是你自己服务的IP，不一定要按照我的来2.搭建集群搭建集群的基本步骤：

2021-11-12 10:54:38 1451 6

原创【2023年更新】1000个大数据/人工智能毕设选题推荐

正值毕业季我看到很多同学都在为自己的毕业设计发愁Maynor在网上搜集了1000个大数据的毕设选题，希望对大家有帮助～适合大数据毕业设计的项目，完全可以作为本科生当前较新的毕业设计题目选择方向。

2021-11-10 08:09:05 42078 5

原创答应粉丝的Maven仓库学习笔记,今天它来了一起来学习快速入门Maven

文章目录背景Maven第一部分1.1 什么是Maven1.2 仓库1.3 maven环境搭建1.3.1 下载1.3.2 安装1.3.3 配置：系统环境变量1.4 Maven使用1.4.1 私有仓库配置1.4.2 配置镜像（第三方仓库，私服）1.5 IDEA 配置1.5.1 IDEA 配置 maven1.5.2 新项目配置1.5.3 配置失败，重新配置1.6 IDEA 中 maven使用1.6.1 创建maven项目1.6.2 基本使用1.6.3 坐标2. Maven第二部分2.1 坐标2.1.1 什么是.

2021-10-19 16:23:36 2187 12

原创 [hadoop3.x]HDFS中的内存存储支持(七)概述

目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！

2021-10-08 16:06:43 1007 3

原创 Maynor的博客导航，大数据の蜕变之路

前段时间更新完了大数据体系的相关博文，一直没时间梳理，又转战Vue、Java、Mysql了，这次便整理一下博客，一来方便自己回顾知识二来方便博友寻找阅读。

2021-09-03 17:18:42 2573 25

原创 ✨【Java基础】每天一道基础题+面试题——Day01✨

今天是持续学习的第 29 / 100 天。如果你有想要交流的想法、技术，欢迎在评论区留言。【程序1】題目：古典问题：有一对兔子，从出生后第3个月起每个月都生一对兔子，小兔子长到第三个月后每个月又生一对兔子，假如兔子都不死，问每个月的兔子总数为多少？public static void main(String[] args) { //需要输入的月份: System.out.println("请输入的月份"); Scanner sc = new Sc.

2021-09-01 17:24:20 1022 4

原创问我大数据怎么入门，我总结了亲身体验的学习路线推荐给她【推荐收藏】

前两天有学妹私信我说,她已经上完大一,大数据专业的,只学过大数据导论,问我大数据该如何入门?我不禁感慨普通高校擅长培养算法人才,但在工程人才的培养上存在很多的问题。

2021-07-21 19:28:04 4724 48

原创 ❤️大数据开发必备:推荐7款大数据开发神器工作效率提升1000%【推荐收藏】

前言大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。第一款

2021-07-10 10:06:40 5220 53

原创大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)

操作系统概述目标：了解操作系统的作用1.1 操作系统(Operation System, OS)操作系统作为接口的示意图:没有安装操作系统的计算机, 通常被称为裸机如果想在裸机上运行自己所编写的程序, 就必须用机器语言书写程序如果计算机上安装了操作系统, 就可以在操作系统上安装支持的高级语言环境,用于高级语言开发1.2 操作系统的种类桌面操作系统服务器操作系统嵌入式操作系统移动设备操作系统1.2.1 桌面操作系统Window 系列用户群体大macOS

2021-06-26 13:19:19 2425 15

原创大数据Flink面试考题___Flink高频考点,万字超全整理(建议)

引言大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。下面为模拟面试,假如面试官考你Flink相关,你该如何回答呢?1.简单介绍一下 FlinkFlink 核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink 提供了诸多更高抽象层的 API 以便用户编写分布式任务：DataSet API，对静态数据进行批处理操作，将静态数

2021-06-23 23:22:10 3053 28

原创使用记忆法打造你的大数据组件的默认端口号记忆宫殿

文章目录引言总结引言大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。总结以上便是愿你读过之后有自己的收获,如果有收获不妨一键三连一下~...

2021-06-20 21:35:52 1897 13

原创十年项目经验面试官亲传大数据面试__大数据面试独孤九剑

> 大家好,我是**ChinaManor**,直译过来就是中国码农的意思,俺希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。面试之前，需要针对每个大数据项目，整理一套属于自己基础知识，必须熟记于心

2021-06-11 15:38:26 1785 15

原创助力工业物联网，工业大数据之其他维度：组织机构【十五】

org_employee：员工信息表【员工id、员工编码、员工名称、用户系统id】org_position：岗位信息表【岗位id、岗位编码、岗位名称、部门id】org_organization：部门信息表【部门id、部门编码、部门名称】org_empposition：员工岗位信息表【员工id、岗位id】：实现组织机构维度表的构建，得到每个工程师对应的组织机构信息。使用如下写法会好一些。

2023-06-07 09:57:28 169

原创助力工业物联网，工业大数据之工业大数据之油站维度设计【十四】

ciss_base_customer：客户信息表【客户id、客户省份名称、所属公司ID】：构建油站维度表，得到油站id、油站名称、油站所属的地理区域、所属公司、油站状态等。eos_dict_entry：字典状态明细表，记录所有具体的状态或者类别信息。ciss_base_baseinfo：客户公司信息表【公司ID、公司名称】eos_dict_type：字典状态类别表，记录所有需要使用字典标记的表。ciss_base_oilstation：油站信息表。ciss_base_areas：行政地区信息表。

2023-05-30 15:08:51 813 1

原创助力工业物联网，工业大数据之一站制造业务主题划分【十三】

目标：掌握一站制造业务维度设计实施小结实施小结

2023-05-26 15:58:50 780

原创三分钟fastgpt+laf实现chatgpt AI知识库

1. 已微信认证的公众号（需要使用到客服消息）：https://mp.weixin.qq.com/2. FastGpt账号，及知识库：https://fastgpt.run3. Laf账号: https://laf.run/

2023-05-22 11:09:20 384

原创助力工业物联网，工业大数据之数仓维度层DWS层构建【十二】

step3：通过游标来执行SQL语句：execute(String：SQL)：基于某一业务事件行为下的度量，是业务定义中不可再拆分的指标，如支付总金额。：基于原子指标添加了维度：近7天的支付总金额等。只要知道指标的计算方式，基于维度分组计算指标。ODS层与DWD层的功能与区别是什么？step1：先构建服务端的远程连接。：面向业务将业务划分主题域及主题。：明确每个业务主题对应的维度关系。星座模型：基于星型模型的演变，：明确所有原生指标与衍生指标。ODS层的需求是什么？DWD层的需求是什么？

2023-05-16 09:28:11 580 1

原创 nginx+flume网络流量日志实时数据分析实战

除了政府和公益类网站之外，大多数网站的目的都是为了产生货币收入，说白了就是赚钱。要创建出用户需要的网站就必须进行网站分析，通过分析，找出用户实际需求，构建出符合用户需求的网站。网站分析，可以帮助网站管理员、运营人员、推广人员等实时获取网站流量信息，并从流量来源、网站内容、网站访客特性等多方面提供网站分析的数据依据。从而帮助提高网站流量，提升网站用户体验，让访客更多的沉淀下来变成会员或客户，通过更少的投入获取最大化的收入。

2023-05-11 16:39:05 707

原创 10分钟拥有自己的Chatgpt网站(九)

需要有github账户，进行对开源项目进行Fork需要有[魔法]上网部署过程有什么问题，欢迎找我解决~FREE。

2023-05-09 18:41:52 570 1

原创助力工业物联网，工业大数据之DWD层构建：数据抽取分析【十一】

将ODS层中每张表的数据抽取到DWD层对应的数据表中。

2023-05-09 18:32:08 737

原创吴恩达《ChatGPT Prompt Engineering for Developers》【自用】

作者吴恩达教授欢迎来到本课程，我们将为开发人员介绍 ChatGPT 提示工程。本课程由 Isa Fulford 教授和我一起授课。Isa Fulford 是 OpenAI 的技术团队成员，曾开发过受欢迎的 ChatGPT 检索插件，并且在教授人们如何在产品中使用 LLM 或 LLM 技术方面做出了很大贡献。她还参与编写了教授人们使用 Prompt 的 OpenAI cookbook。互联网上有很多有关提示的材料，例如《30 prompts everyone has to know》之类的文章。

2023-05-07 17:06:46 585 1

转载 GPT-4逆天联网，微软Bing突然全面开放插件系统，文生图原生支持中文

虽然暂时还不知道这背后的机制是什么，但小编在经过大量尝试之后发现，只要输入「画一个总线」这个命令，Bing在生成完「a bus」之后，自动切换到正确的「中译英」模式。要知道，当初ChatGPT刚出来的时候，各种不同功能的插件就是广大用户最为期待的部分。简单来讲，就是任何时候你跟Bing的聊天内容，你之后再想问相关的东西，Bing都能想起来，只需要点击一下聊天记录就可以了。同时，微软还走向了多模态搜索，Bing能轻松文生图，让搜索结果可视化，视觉更加丰富：不光有图片、视频，甚至还有图表等等。

2023-05-05 11:11:02 242

原创助力工业物联网，工业大数据之ODS层构建：申明分区代码及测试【十】

问题5：Oracle中的字段类型如果与Hive中的类型不一致怎么办？step1：DWD层的数据库名称是什么，建库的语法是什么？：将ODS层中的每一张表创建一张对应的DWD层的表。DWD层建表：自己指定每个字段的Schema建表。step2：建表的语句是什么，哪些是动态变化的？step3：如何自动化实现每个表的分区的申明？step2：如何实现DWD层数据库的构建？：将ODS层的数据表直接加载到DWD层。问题2：表的名称名是什么，怎么获取？step4：HDFS上的路径是什么？：理解ODS层与DWD层的区别。

2023-05-04 16:14:06 1032

原创首次体验被称为ChatGpt“最强竞品”的Claude，感觉相当惊艳！(八)

而产品体验的提高将是这一进程中的关键所在。Claude可以进行更长时间的连贯对话,拥有情绪丰富的表达,更强大的推理与过滤能力,这些使其用户体验大大超过ChatGPT等聊天机器人,接近真实的人类交流。第二:claude对中英文的切换并不十分流畅,这表明claude在跨语言应用上还需要加强,特别是对不同语言的深度理解与知识迁移,这也是需要提高的关键能力。第三:claude能发表情,理解人的情绪,这点像binggpt,让其回复显得更加生动自然,这是当前大多数模型仍较为欠缺的,claude在这有较大提高。

2023-04-29 08:00:00 1686

转载 2023年含：GPT-4的可免费使用语言模型AI平台推荐

最近有不少童鞋问了有没有稳定一些的AI Chat平台。不少童鞋正好借着这波AI的春风，把自己的论文好好润色一下。这里就推荐一些博主用的比较不错的几个平台吧！排名顺序，是按照博主的熟悉程度排序吧。这里仅推荐一些关于语言模型的AI，主推一些大厂的平台，并且提供了完全免费或者部分免费服务。

2023-04-26 14:15:02 484

原创每天一道大厂SQL题【Day24】华泰证券真题实战(六)

最大回撤定义：在该客户的净值曲线中，当出现最大的净值的时点记为m1，这之后出现的净值比m1那天净值相差最大的净值记为m2，最大回撤就是(m2-m1)/m1.(注意是出现最大净值之后的最小净值，两者的差),每个中间步骤都执行打印结果，看是否符合预期，根据中间结果，进一步调整修饰SQL语句，再执行，直到接近结果表。，作为一名资深大数据选手，深知SQL重要性，接下来我准备用100天时间，基于大数据岗面试中的。参考答案适用HQL，SparkSQL，FlinkSQL，即大数据组件，其他SQL需自行修改。

2023-04-25 16:03:12 1386 8

原创如何五分钟用上AI?(七)

当别人还在质疑AI之际，我们已经开始学习ChatGPT、newbing等各种AI工具、当别人被迫开始学AI，我们已经用AI开始赚钱了，甚至已经通过AI创业了。第一步就是能用AI。专栏适合人群:你需要了解一些ChatGPT的基本功能和使用方法。并能使用ChatGPT进行操作,没有的话购买专栏后博主免费提供永久的ChatGPT访问服务!专栏售后：购买后进chatgpt赚钱玩法群交流、领资料我们经常说：早就是优势，在大趋势来临之际，我们可以选择视而不见直到潮流卷过来，我们也可以积极入局，提前探索。

2023-04-24 18:16:41 232

原创包括AutoGPT在内的chatGPT项目分享（六）

只需上传文档或添加指向您网站的链接，即可获得一个类似 ChatGPT 的聊天机器人，可以回答有关它的任何问题。然后将聊天小部件添加到您的网站。

2023-04-23 15:00:00 526

原创每天分享三个ChatGPT赚钱技巧(五)

专栏适合人群:你需要了解一些ChatGPT的基本功能和使用方法。并能使用ChatGPT进行操作,没有的话购买专栏后博主免费提供永久的ChatGPT访问服务!专栏售后：购买后进chatgpt赚钱玩法群交流、领资料当别人还在质疑AI之际，我们已经开始学习ChatGPT、newbing等各种AI工具、当别人被迫开始学AI，我们已经用。

2023-04-21 17:26:33 305 1

原创每天一道大厂SQL题【Day23】华泰证券真题实战(五)

大家好，我是Maynor。相信大家和我一样，都有一个大厂梦，作为一名资深大数据选手，深知SQL重要性，接下来我准备用100天时间，基于大数据岗面试中的经典SQL题，以每日1题的形式，带你过一遍热门SQL题并给出恰如其分的解答。一路走来，随着问题加深，发现不会的也愈来愈多。但底气着实足了不少，相信不少朋友和我一样，日积月累才是最有效的学习方式！

2023-04-21 14:27:30 1069

原创每天一道大厂SQL题【Day22】华泰证券真题实战(四)

2023-04-20 16:00:00 945

原创每天分享三个ChatGPT赚钱技巧（四）

当别人还在质疑AI之际，我们已经开始学习ChatGPT、newbing等各种AI工具、当别人被迫开始学AI，我们已经用**AI开始赚钱了**，甚至已经通过AI创业了。**我们经常说：早就是优势**，在大趋势来临之际，我们可以选择视而不见直到潮流卷过来，我们也可以积极入局，提前探索。这一切都是我们的选择

2023-04-20 08:38:54 1819 6