weixin_43605446的博客

原创 hive语法--执行计划explain用法

【代码】hive语法--执行计划explain用法。

原创 【大数据，数仓】各大数据存储/分析架构简介及对比

本质上是一个二维关系存储系统，存储结构化数据，比如某学校的学生信息表、某年级的学生成绩表等。它因为使用简单，结构化程度高，极大的促进了互联网的发展。

原创 大数据计算模式之流处理和交互式计算

总结来说，交互式计算关注于对已有数据的快速查询和分析，以支持决策和探索；而流式计算则侧重于对实时数据流的即时处理，以捕捉数据中的瞬时变化和趋势，两者在大数据处理中扮演着互补的角色。日常工作中，我们一般会先把数据存储在表，然后对表的数据进行加工、分析。既然先存储在表中，那就会涉及到时效性概念。如果我们处理以年，月为单位级别的数据处理，进行统计分析，个性化推荐，那么数据的的最新日期离当前有几个甚至上月都没有问题。

原创 大数据集群和工作中常用的Shell脚本--更新中

以三台服务器组成的集群为例-注意脚本需要授权。

原创 个人知识体系总结与构建

这些技能可能包括专业知识、沟通技巧、领导力、创新思维等方面。在总结过程中，我们需要结合自己的职业规划和兴趣爱好，选择适合自己的技能进行学习和提升。

原创 编程初学者一定要培养的9个编程习惯！能帮你少走弯路！

在学习编程的过程中，这些习惯能够增强独立解决问题的能力，提升代码质量，减少程序错误，有助于在求职时展现专业素养，并更好地融入技术社区进行协作交流。

原创 Windows PATH环境变量由页面方式变成长条状

Win10系统的Path变量显示是可以多行显示，但是误操作后会变成单行显示，变为单行显示，十分不方便，以下是讲解如何恢复多行显示。

原创 Git思维导图

原创 【计算机科学速成课】 笔记

1命名：简称ALU，Arithmetic&Logic Unit2组成：ALU有2个单元，1个算术单元和1个逻辑单元（Arithmetic Unit和Logic Unit）3作用：计算机中负责运算的组件，处理数字/逻辑运算的最基本单元。

原创 笔记本、计算机高性能设置

5、修改存储设置：设置 系统 存储 → 打开存储感知、更改新内容保存内容。2、关闭隐私设置：打开设置→隐私和安全→关闭 再找到后台应用，全部关闭。4、关闭软件自启动：设置→应用→启动→关闭不需要的自启动软件。1、关闭传递优化：打开设置→关闭从其它电脑下载。7、打开 XBox 的游戏性能。

原创 【趣味无穷】测试与开发的日常恩怨情仇

开场：在软件行业，开发工程师和测试工程师的关系就像是Tom和Jerry，永远都在互相捉弄，但又离不开对方。他们的日常交流中，经常会有一些令人忍俊不禁的笑话。下面，让我们一起看看这些行业内的"内部笑话"。

原创 职场通识:正确认识日报、周报、月报

人际沟通，向上管理，乐观开朗的性格，处世不惊的态度 ，笑看明天的哲学；强执行不拖延，长期主义 这些我想这些都是职场的通识能力。作为数据分析师来说，

原创 三剑客中的利器——Awk

Awk是一种文本处理工具，它的名字是由其三位创始人（Aho、Weinberger和Kernighan）的姓氏首字母组成的。Awk的设计初衷是用于处理结构化文本数据，它提供了强大的模式匹配和数据提取功能。Awk的工作方式是逐行扫描输入文本文件，并对每一行应用一组用户定义的规则。这些规则由模式-动作对构成，当文本行匹配某个模式时，对应的动作将被执行。Awk将输入文本自动分割成字段（默认以空格作为分隔符），可以方便地对字段进行操作和处理。

原创 Linux 操作必备 150 个命令，速度收藏～

对于 Linux 系统来说，无论是中央处理器、内存、磁盘驱动器、键盘、鼠标，还是用户等都是文件， Linux 系统管理的命令是它正常运行的核心，与之前的 DOS 命令类似。全面地获取系统的 CPU、运行队列、磁盘 I/O、分页（交换区）、内存、 CPU 中断和网络等性能数据。用于报告 Linux 中进程间通信设施的状态，显示的信息包括消息列表、共享内存和信号量的信息。tac 是 cat 的反向拼写，因此命令的功能为反向显示文件内容。查看命令帮助，命令的词典，更复杂的还有 info，但不常用。

原创 Jsonpath-数据中快速查找和提取的强大工具

JSON（JavaScript Object Notation）在现代应用程序中广泛使用，但是JSONPath是一种功能强大的查询语言，可以通过简单的表达式来快速准确地定位和提取JSON数据。本文将介绍JSONPath的基本语法和用法，并为您展示如何封装和使用JSONPath方法来处理和操作JSON数据。随着互联网和移动应用的高度发展，JSON已成为一种常见的数据交换格式。在处理JSON数据时，经常需要从复杂结构中提取特定的值或对象。

原创 分布式、集群

把一个大业务拆分成多个子业务，每个子业务都是一套独立的系统，子业务之间相互协作最终完成整体的大业务。把一套系统拆分成不同的子系统部署在不同服务器上，这叫分布式。分布式处理里必然涉及任务分解与答案归并。分布式中的某个子任务节点，可以是一个集群，该集群中的任一节点都作为一个完整的任务出现。**【集群】：**把处理同一个业务的系统部署多个节点。_把多个相同的系统部署在不同的服务器上，这叫集群。_部署在不同服务器上的相同系统必然要做“负载均衡”。集群主要是简单加机器解决问题，对于问题本身不做任何分解。

原创 我看谁还不懂 Git ！(万字长文)

标题 \ 指令**checkout/reset/revert主要作用（撤销）**撤销工作区、暂存区未提交、修改回退版本，重置工作区、暂存区撤销某一次提交撤销工作区撤销工作区、暂存区回退版本安全性只针对未提交修改，安全如回退了已push提交，不安全安全可看出reset完全可以替代checkout来执行撤销、回退操作，reset本来也是专门用来干这个事情的，可以抛弃checkout了（撤销的时候）。

原创 Git教程

Git config --global user.email “你注册码云填的邮箱”Git config --global user.name “你注册码云的名称”Git 是一个开源的分布式版本控制系统，用于敏捷高效地处理任何或小或大的项目。5、git log可以查看提交历史，查看commit_id，按q退出。(.表示所有文件，也可以指定某个文件，或者文件夹，直接写名称即可)3.在命令行中输入命令然后回车，远程仓库就复制到你本地了。将你的项目复制到刚才的本地仓库，然后提交到远程仓库。

原创 程序员：推荐五个国外高质量的技术网站，大神必备！

官网：https://stackoverflow.com/Stack Overflow是全球最受程序员欢迎的开发社区，而且也是内容最丰富的社区之一，用户可以在网站免费提交问题，浏览问题，索引相关内容。大家如果遇到程序员相关的难题，一般都可以通过这个网站解决。问答社区：Stack Overflow是一个非常大的问答社区，用户可以在上面提出各种与编程相关的问题，包括语言、框架、工具、算法等等。其他用户可以在上面回答问题，并根据回答的质量获得声望和积分。

原创 手把手教你用IntelliJ IDEA连接MySQL、PostgreSQL、MongoDB、Redis数据库

IntelliJ IDEA是由JetBrains开发的强大的集成开发环境（IDE），在Java开发人员中广受欢迎，也以其对其他编程语言和数据库的强大支持而闻名。本文介绍如何将IntelliJ IDEA连接到SQL和NoSQL数据库，包括MySQL、PostgreSQL、MongoDB和Redis，并提供相应的示例。先决条件已安装IntelliJ IDEA（需要Ultimate Edition以支持数据库）已安装Java开发工具包（JDK）

原创 程序员爱不释手的21款开发必备软件

从文本编辑器到版本控制工具，从集成开发环境到调试器，每个软件都有其独特的功能和优势。软件只是工具，关键在于使用者的技能和创造力。

原创 Pip安装

原创 Python之数据库工具类的封装代码

【代码】Python之数据库工具类的封装代码。