自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

qq_46439199的博客

  • 博客(38)
  • 收藏
  • 关注
排序：
按最后发布时间
按访问量
RSS订阅

原创 Spark离线开发指南(详细版)

API：2.1.2–获取分区数API：API：sparkcontext.textFile(参数1，参数2)参数1：必填，文件路径支持本地，支持HDFS，也支持一些比如S3协议参数2：可选，表示最小分区数量注意：参数2话语权不足，spark有自己的判断，在它的允许的范围内，参数2才有效果，超出spark允许的范围，参数2就失效读取本地文件：参数2的用法：读取HDFS文件：wholeTextFileAPI：返回结果为二元组的形式展示, 前一个值是文件路径, 后一个值为文件内容分类：转换算子：动

2024-06-25 17:05:19 771

原创 python高频面试题

python高频面试题

2023-08-26 17:33:13 409

原创 SparkML机器学习

SparkML机器学习

2023-08-26 17:31:07 811

原创 hive优化

桶可以提高join 的效率，桶可以保证相同key 的数据都分在了一个桶里，这个时候我们关联的时候不需要去扫描整个表的数据，只需要扫描对应桶里的数据(因为key 相同的一定在一个桶里)，smb的设计是为了解决大表和大表之间的join的，核心思想就是大表化成小表，然后map side join 解决是典型的分而治之的思想。我们知道Hive的底层要转MR任务来执行, 而MR程序的计算速度是非常慢的, 如果执行的是简单的HiveSQL, 没必要转MR程序, 直接执行即可.

2023-06-21 17:36:35 685

原创 JAVA网络爬虫基础

JAVA网络爬虫基础

2022-12-13 17:37:20 1531 1

原创 Hive数据操控、查询语言（DML、DQL）

Hive数据操控、查询语言（DML、DQL）

2022-11-25 10:36:45 1176

原创 Hive数据定义语言DDL

Hive数据定义语言DDL

2022-11-25 10:33:37 1541

原创 Hive入门基础理论

Hive入门基础理论

2022-11-25 10:30:21 245

原创 数据仓库基础

数据仓库基础

2022-11-25 10:27:28 814

原创 Zookeeper基础理论

Zookeeper基础理论

2022-11-25 10:25:18 186

原创 MapReduce高级编程（计数器、mysql读写、join、工作流）

MapReduce高级编程（计数器、mysql读写、join、工作流）

2022-11-18 20:46:02 1161

原创 MapReduce基础编程（自定义序列化、自定义分区、自定义排序、自定义分组）

MapReduce基础编程（自定义序列化、自定义分区、自定义排序、自定义分组）

2022-11-18 20:43:16 1312

原创 MapReduce入门编程及源码详解

MapReduce基础编程（源码篇）

2022-11-16 21:40:06 2056

原创 HDFS基础编程--JavaApi

HDFS基础编程--JavaApi

2022-11-16 21:37:33 1734

原创 YARN监控管理与资源管理

YARN监控管理与资源管理

2022-11-14 22:10:23 1857

原创 YARN框架概述与集群部署

YARN框架概述与集群部署

2022-11-14 22:03:28 1994

原创 MapReduce基础编程（概念篇）

MapReduce基础编程（概念篇）

2022-11-14 22:00:29 1154

原创 MapReduce基础理论

MapReduce基础理论

2022-11-14 21:57:55 670

原创 HDFS高级-数据安全和隐私保护

HDFS高级-数据安全和隐私保护

2022-11-12 09:32:20 760 1

原创 HDFS高级-架构原理

HDFS高级-架构原理

2022-11-12 09:28:31 871

原创 HDFS高级-集群管理和运维

HDFS高级-集群管理和运维

2022-11-10 19:09:56 1008

原创 HDFS高级--数据存储与管理

HDFS高级--数据存储与管理

2022-11-10 19:04:24 1049

原创 hadoop--HDFS基础（适合初学者）

hadoop--HDFS基础（适合初学者）

2022-11-10 17:54:42 914

原创 mysql基础--jdbc、pymysql增删改查、登录验证

mysql基础--jdbc、pymysql增删改查、登录验证

2022-11-06 10:36:54 281

原创 MySQL--触发器、索引、存储引擎、事务、锁机制、日志、优化

MySQL--触发器、索引、存储引擎、事务、锁机制、日志、优化

2022-11-06 10:32:41 773

原创 mysql基础--存储过程

mysql基础--存储过程

2022-11-03 11:37:43 1998

原创 mysql基础--视图

mysql基础--视图

2022-11-02 15:54:27 489

原创 MySQL基础--函数

MySQL基础--函数

2022-11-02 15:09:19 447

原创 mysql基础操作(详细版)--增删改查

mysql基础操作(详细版)--增删改查

2022-10-24 17:08:14 1273

原创 mysql基础--jdbc查询表，将表添加到list中，并遍历

mysql基础--jdbc查询表，将表添加到list中，并遍历

2022-10-21 13:45:23 810

原创 java基础--反射

java基础--反射

2022-10-19 15:53:17 94

原创 Java基础学习--网络编程

Java基础学习--网络编程

2022-10-18 10:51:21 248

原创 java基础学习--多线程、线程安全、线程进阶、线程池、生产者消费者模式

java基础学习--多线程、线程安全、线程进阶、线程池、生产者消费者模式

2022-10-17 18:15:08 1329

原创 java基础学习--异常、File类、IO流

java基础学习--异常、File类、IO流

2022-10-15 22:30:17 349

原创 MySQL安装包安装--连接datagrip

DataGrip连接mysql

2022-10-14 20:34:11 477

原创 java基础--内部类、集合、lambda

java基础--内部类、集合、lambda

2022-10-13 21:45:51 378

原创 java基础学习--javaApi

java基础学习--javaApi

2022-10-11 18:41:08 298

原创 JAVA基础学习--面向对象

JAVA基础学习--面向对象

2022-10-05 22:52:18 183

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除