自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

醉与浮的博客

大数据学习,喜欢底层框架

  • 博客(38)
  • 资源 (2)
  • 收藏
  • 关注

原创 【presto权威指南】presto配置文件详解

node-scheduler.include-coordinator=false  #单机版的此处为true。需要注意,以下配置不能出现在worker节点,会导致worker启动失败。日志级别分为:DEBUG, INFO, WARN and ERROR。​presto的节点配置文件,配置一些server或者查询信息。

2024-02-20 15:51:53 462

原创 【presto权威指南】presto目录结构

包含 Presto 插件及其依赖关系,各个插件分开存放在不同的目录下。Presto 默认已经包含许多插件,你也可以添加第三方插件。Presto 允许多种可插拔的组件,如连接器、函数和安全访问控制等与其集成。存放日志信息的数据目录。Presto 服务端第一次启动时会创建此目录,它默认情况下位于安装目录下。我们推荐将其配置为安装目录之外的位置,以便在升级过程中保留这些数据。这些脚本用于启动、停止、重启、终结 Presto 进程,以及获得运行该进程的状态。此目录由用户创建并提供 Presto 必需的配置文件。

2024-02-20 15:49:20 284

原创 【presto权威指南】常用操作

home/work/presto/bin/presto --server hadoop2:8443 --catalog hive --schema defult --debug --user ‘sdfyypt_2_0_eywa_admin’ //指定用户。curl http://hadoop2:8443/v1/service/presto/general |jq -r . //检测presto coordinator中存储的worker节点信息。presto大小写不敏感。

2024-02-20 15:48:11 334

原创 【presto权威指南】presto介绍

Presto 可以查询传统的 RDBMS,如 Microsoft SQL Server、PostgreSQL、MySQL、Oracle、Teradata 和 Amazon Redshift,还可以查询 NoSQL 数据库系统,如 Apache Cassandra、Apache Kafka、MongoDB 和 Elasticsearch。Presto 是一个开源的分布式 SQL 查询引擎,它是为了高效查询不同系统和各种规模(从 GB 级到 PB 级)的数据源而从头开始设计和编写的一套系统。

2024-02-19 13:55:26 599

原创 SQL必知必会(第五版)

SQL必知必会(第五版)快速学习

2022-12-08 09:34:14 9746 2

原创 Spark共享变量

Spark共享变量

2022-11-21 16:57:35 652

原创 SparkStreaming

spark stream教程及demo

2022-11-21 16:56:14 1130

原创 epoll设计模式

epoll

2022-11-21 16:54:32 234

原创 kafka性能指南

kafka性能指南

2022-11-21 16:52:58 805

原创 SparkRDD详解

sparkrdd详解

2022-11-21 16:51:33 692

原创 Spark持久化详解

spark持久化详解

2022-11-21 16:50:58 1298

原创 血缘和宽窄依赖

spark血缘关系和款窄依赖浅析

2022-11-21 16:50:26 231

原创 SparkShuffle详解

sparkshuffle详解

2022-11-21 16:47:59 709

原创 Scala开发环境部署以及jar包提交运行

scala在idea中使用maven的开发模式

2022-11-02 09:43:18 927 1

原创 SparkSQL简明教程

SparkSQL简明教程

2022-10-31 10:04:44 949

原创 数仓全流程小例子

第一个全流程项目

2022-10-17 10:58:43 400

原创 LinuxIO总结

IO总结

2022-10-17 10:53:54 800

原创 LinuxContext

context

2022-10-17 10:53:20 183

原创 spark集群,kafka集群和zookeeper的docker集群快速搭建

安装常用集群快速命令

2022-10-17 10:50:29 469

原创 HDFS通信机制

简单介绍hdfs的通信实现原理

2022-10-17 10:46:45 745

原创 process information unavailable

出现这个说明在内存中的软件没正常关闭。我这有kafka,hadop等出现了这个情况。想要正常启动的话得去/tmp目录删除hsperfdata开头的文件。*是正则全部的意思。

2022-09-05 09:21:03 548

原创 数仓建模简明教程

数仓建模

2022-08-25 10:56:12 601

原创 Spark理论简明教程

spark理论基础

2022-08-25 10:55:10 333

原创 Log4J2简明使用教程

log4j2简明使用教程

2022-08-25 10:53:38 139

原创 kafka基础

kafka基础

2022-08-25 10:52:28 666

原创 hive窗口函数和hive基础使用

hive窗口函数

2022-08-25 10:49:45 458

原创 HBase的CURD代码API实现(示例代码)

hbase的api实例库

2022-08-25 10:36:42 413

原创 Hive的UDF与UDTF浅析,TopN案例

UDF是User-Define-Function,一般是指一个输入一个输出,UDTF是UDF变种,可一个输入多个输出。UDAF是用户聚合,可以多行输入,一个输出。需要注意的是这些函数写好之后需要在平台或者脚本里配合sql使用。...

2022-08-17 15:07:33 434

原创 最新Oracle 21c与EM配置及使用

一、Oracle 21c 的下载与安装1.1下载与安装首先从Oracle官网下载页选择合适的版本,21c在下面。(我们选择win端)解压文件夹一定不能有中文名(也就是解压的路径不能有中文的文件夹,否则安装会报错)安装的时候一直默认就可以(单独记住密码),需要注意的是。当询问是只安装数据库软件还是安实例的时候选择只创立数据库。后期我们会用专门的工具(Database Configuration Assitant)来创建数据库和修改数据库配置,需要注意的是,后期创建新数据库和修改原有的数据库都是用此

2022-03-08 13:55:09 13100 5

原创 java大作业家庭理财系统

java大作业家庭理财系统java大作业,用到了swing做界面。access和odbc做数据库部分。(mysql和sqlserver崩了还没好。。。)前端主要用swing和swt,后端用access调用sql语句。swing部分包含确认窗口的应用等技巧。...

2021-06-14 19:59:02 708 4

原创 python面向对象的继承和多态,学生数据处理

题目定义Student类,包括name、dob、age、gender和score属性,包括top3方法用来返回学生的最大的3个成绩(可重复)、sanitize方法用来将负的分数变为正的分数,负的分数可能是输入错误。声明stu_list对象组数用于存储所有的学生对象。最后输出所有的学生信息包括姓名、生日、年龄、性别、最高的3个分数。数据如下:stu1.txt 孙同学,2020-5-21,20,‘男’,77,56,77,76,92,58,-91,84,69,-91stu2.txt 赵同学,2020-11

2021-02-09 23:05:01 608

原创 python读取文件并分析单词词频

Python小作业-读取txt文件并分析单词的词频有幸百度参加了百度飞浆的python速成课点这,Molly老师三天教会了我们许多。python的基本语法。这是三天学习下来最后总结的小作业。作业内容是分析储存在一个txt文件里的英语四级卷子,分析单词的词频。整体思路:先读取文件,再清洗数据,去除所有无关数字,符号。然后把数据变成不重复数据,最后统计单词个数。`import re #引入正则库,用来处理数据为统一格式def get_artical(artical_path): #读取文件,re

2021-02-09 22:06:33 1233

原创 C语言大作业,xxx系统,链表,文件模块

老师布置的大作业之前随便写了,假期重做了一遍也就是xxx管理系统之类的东西,用了大概一天重做吧。基本上就是乞丐版。只是实现了功能。谨以参考,如有bug欢迎讨论。typedef struct drug { char name[10]; unsigned price_in; unsigned price_out; unsigned date; char factory[20]; struct drug* next;}D;#include<stdio.h>#include&lt

2021-01-08 23:03:37 159 2

原创 c++变长数组实现学生成绩最大最小平均值统计

友元函数标准输入输出重载,变长数组主要是尝新体验了一把vector,各种碰壁,尤其越界问题。时间长没写代码好多细节问题。假期多练习吧。具体细节都在注释里整体思路就是设计学生类包含姓名和成绩。输入和输出用重载。计算部分用普通函数。储存用vector,用指针传递。代码简单,注意细节即可。#include<iostream>#include <string>#include<vector>using namespace std;class Student

2021-01-08 22:52:04 574

原创 vs2019配置OpenCV4.30(win10)

vs2019配置OpenCV4.30新的任务是学习OpenCV,第一步当然是配置环境。社区里虽然有各种教程,但作为小白的我依然遇到了许多问题。决定总结一下, 避免和我一样的小白踩雷。并且也算是最新的一版本的教程。vs2019宇宙最强IDE没的说,安装就阔以,此处给出社区版在线安装器vs2019,下载好选择你需要的扩展即可。如果和我一样是c语言的话按下图即可。之后要注册账号那些后续步骤。(后...

2020-04-27 20:03:39 1619 5

原创 C语言指针基础剖析

C语言指针基础剖析c语言里有个很重要的部分,没错。是指针,c语言除了让我们hello world之外还有个指针可以使用。具体啥作用就不bb了,一堆嘞。网上关于指针的讲解也不少,我也是一萌新没有那些大佬那么深刻的见解。所以也就不说啥了。我根据自己对指针的理解写了一段。新入门还有点蒙的同学可以康康。或许有帮助。#include <stdio.h>int main(){ int ...

2020-03-14 20:13:40 189 1

原创 计算输入的字母,数字,其他符号的个数

代码展示#include <stdio.h>int main(){ int s=0,z=0,q = 0; int sr; while ((sr = getchar()) != '\n') { if (sr <= 57 && sr>=48) { s++; } else if (sr >= 65 && s...

2019-11-06 21:44:02 414 3

原创 for循环计算最大值,希望有大佬解答一下数据自己拆分的原因

这是for循环的常练习获得分数然后循环对比,没啥说的。需要注意循环次数要理清思路。一共n-1次,第一个数只要和其余的书对比就可以。#include <stdio.h>int main(){ int n, s, max, i = 1; printf_s("number:"); scanf_s("%d", &n); printf_s("分:"); scanf_s(...

2019-10-27 13:32:24 299 3

C语言经典算法实例.pdf

这是ACM的一些入门算法。含有问题和解析两部分。有代码解析。也有思路。是一个不可多得的良心文档。适合大一想练手的同学。

2020-02-21

c语言实战例子.zip

这是C语言的练习代码。例子从最基础开始,直到大型项目。前部分基础例子有简单英文注释。后面大型实例是中文注释。分享给有需要的盆友们。

2020-02-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除