cz学java-CSDN博客

原创 Spark选择题小看一手

1. Which of the following data sources can be accessed by Spark?Spark可以访问以下哪些数据源？HiveHDFSCassandraAll of these2. With which of the following modes Apache Spark can run?Apache Spark可以使用以下哪种模式运行？YarnStandaloneMesosAll of these以下哪项称为driverSparkContextSparkCon

2022-06-29 13:30:58 812

原创 Spark复习大纲，有需要的小伙伴可以点个赞找我私信

REVIEWCOVER: chapt1-chapt6QUESTION TYPE:选择，填空，简答，阅读程序（写结果），编程题（代码补全）Chap1Hadoop 生态系统的组件Hadoop除了有两大核心组件HDFS 和MapReduce之外，还包括yarn、hbase、hive、pig、mahout、zookeeper、sqoop、flume、Apache Ambari等功能组件。hadoop生态系统包含哪些组件（hadoop大数据平台常用组件）(3)① HDFS：hadoop分布式文件系统，可以运行在大型的

2022-06-01 18:01:40 488 6

原创 Scala面向对象编程

Scala是一门面向对象编程语言，Scala中的一切变量都是对象，一切操作都是方法调用。继承是面向对象编程语言实现代码复用的关键特性，是从特殊到一般的过程。多态是在继承的基础上实现的一种语言特性，它指的是允许不同类的对象对同一消息做出响应，即同一消息可以根据发送对象的不同而采用多种不同的行为方式。本实训项目的主要内容是基于Scala语言实现面向对象编程，并设置了两个关卡在线考察大家的编程能力。第1关：继承Scala语言通过extends关键字来实现类间的继承。Scala 不允许类从多个父

2022-05-29 19:43:01 522

原创 HBase常用Shell命令，cz帮你复习HBase的基本使用

HBase最基本最常用的Shell命令，看了不吃亏，更加巩固基础

2022-05-28 14:06:52 462

原创 HDFS和MapReduce综合实训

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，可以在不了解分布式底层细节的情况下，开发分布式程序，以满足在低性能的集群上实现对高容错，高并发的大数据集的高速运算和存储的需要。Hadoop支持超大文件（可达PB级），能够检测和快速应对硬件故障、支持流式数据访问、同时在简化的一致性模型的基础上保证了高容错性。因而被大规模部署在分布式系统中，应用十分广泛。本实训的主要目标是让大家学习Hadoop的基本概念如MapReduce、HDFS等，并掌握Hadoop的基本操作，主要包括MapRedu

2022-05-27 22:48:50 2385

原创 java数组综合小练习，看看你全会了吗？不懂的话cz来教你

这题的考点有：倒序输出，查找最大值和它的下标，查找数字……代码：public class AllExercise01 { public static void main(String[] args) { int[] arr = new int[10]; for (int i = 0; i < arr.length; i++) { arr[i] = (int) (Math.random() * 100) + 1; ...

2022-05-27 19:50:34 93

原创 java中数组冒泡排序和数组添加的混合练习，cz教你玩转数组

这是一题十分典型的数组练习题，这题主要的考点是程序员对数组添加和数组冒泡排序的熟练掌握程度，简单分析看看，就写三个点：1.Scanner接收读者输入的数据；2.把新数据插入到旧数组中；3.开始冒泡排序；代码：import java.util.Scanner;//导入Scanner的包public class BubbleSortExerccise02 { public static void main(String[]args){ Scanner mySca...

2022-05-27 09:08:31 98

原创 java之杨辉三角练习，cz教你分析练习

public class YangHuiTriangle { public static void main(String[] args) { int[][] arr = new int[10][]; for (int i = 0; i < arr.length; i++) {//遍历每一个元素 arr[i] = new int[i + 1];//给每层数组创建new空间 for (int j = 0...

2022-05-26 21:23:33 169

原创 idea中关于二维数组的使用及其细节，cz教你玩转二维数组

经典题目要求代码及其分析public class TwoDimensionalArray01 { public static void main(String[] args) { int[][] arr = new int[3][];//创建一个二维数组 for (int i = 0; i < arr.length; i++) {//遍历arr每一个一维数组 //给每一个一维数组开new空间 ..

2022-05-26 20:30:16 1401

原创大数据从入门到实战 - 第2章分布式文件系统HDFS，cz教你玩转HDFS

第1关：HDFS的基本操作：为了完成本关任务你需要了解的知识有：1.HDFS的设计，2.HDFS常用命令。HDFS的设计分布式文件系统客户：帮我保存一下这几天的数据。程序猿：好嘞，有多大呢？客户：1T。程序猿：好没问题，买个硬盘就搞定了。一个月后...客户：帮我保存下这几个月的数据。程序猿：好嘞，这次有多大呢？客户：1024T。程序猿：哇，这么大吗？没有这么大的硬盘买呀，而且好像也没听过一台计算机可以存放1024T的数据。程序猿：哦，对了我可以部署...

2022-05-26 19:12:18 3088 1

原创大数据从入门到实战 - 第3章 MapReduce基础实战，cz教你MapReduce实战操作

第1关：成绩统计：为了完成本关任务，你需要掌握：1.什么是MapReduce，2.如何使用MapReduce进行运算。什么是MapReduceMapReduce是一种可用于数据处理的编程模型，我们现在设想一个场景，你接到一个任务，任务是：挖掘分析我国气象中心近年来的数据日志，该数据日志大小有3T,让你分析计算出每一年的最高气温，如果你现在只有一台计算机，如何处理呢？我想你应该会读取这些数据，并且将读取到的数据与目前的最大气温值进行比较。比较完所有的数据之后就可以得出最高气温了。不过以我们的经验都

2022-05-26 18:55:05 6207 1

原创 MongoDB实验——数据库基本操作初.cz教你如何敲代码

第1关：创建数据库：本关评测是在Linux环境下进行的，MongoDB的安装与配置测评系统均已默认完成。为了完成本关任务，你需要掌握：1.如何连接数据库，2.如何创建数据库。连接数据库MongoDB安装完成后，可以通过pgrep mongo -l命令来查看是否已经启动。在操作数据库之前，需要连接它，连接本地数据库服务器，输入命令：mongo。其中连接的警告可以不用管，只要最下方出现>符号，说明连接成功。创建数据库连接上MongoDB之后就可以进行数据库的操作了，

2022-05-26 17:01:42 3957

原创 Spark算子综合案例 - Scala篇，cz带你学spark

第1关：WordCount - 词频统计：请仔细阅读右侧代码，根据方法内的提示，在Begin - End区域内进行代码补充，具体任务如下：对文本文件内的每个单词都统计出其出现的次数。按照每个单词出现次数的数量，降序排序。文本文件内容如下：hello java hello python java hello python python hello flink scala scala scala scala scala 说明：单词与单词之间以空格进行分割测试说明

2022-05-26 16:36:16 2122

原创 SparkSQL数据源代码分析

Spark SQL支持通过DataFrame接口对各种数据源进行操作。DataFrame 可以使用关系转换进行操作，也可以用于创建临时视图。将DataFrame注册为临时视图允许您对其数据运行SQL查询。本实训介绍使用Spark数据源加载和保存数据的一般方法，然后介绍可用于内置数据源的特定选项。第1关：SparkSQL加载和保存：DataFrameReader用于从外部存储系统（例如文件系统，键值存储等）加载数据集的接口。使用SparkSession.read来访问它。DataFrameRe

2022-05-26 11:30:22 1359 1

转载为什么我的文章没人看？自我反思

第一，没有考虑到文章是写给谁的。很多时候都是在自嗨，虽然写作自由，但是在自嗨的同时也要了解市场、受众群体，利用读者思维，写这一篇文章给谁看，我自己愿意看吗？看了之后能带来什么价值？不论是情绪的还是实用的。第二，文章完全没有感情。文章没有情绪、触点，是无法调动读者情绪，读起来就会平平无奇，毫无波澜。就像狄德罗说的那句：没有感情这个品质，任何笔调也不可能打动人心。可能是最开始的一些文章将我想要分享的情绪写完了，越写到后期越感觉身边的日常小事都写过了，所以就开始读书学习，写读书笔记、学习心得，偶尔心血来潮

2022-05-25 18:00:52 173