- 博客(24)
- 收藏
- 关注
RSS订阅原创 (超详细) Spark环境搭建（Local模式、 StandAlone模式、Spark On Yarn模式）
Spark环境搭建JunLeon——go big or go home目录Spark环境搭建一、环境准备1、软件准备2、Hadoop集群搭建3、Anaconda环境搭建二、Spark Local模式搭建1、Spark下载、上传和解压2、配置环境变量3、配置Spark配置文件4、测试5、补充：spark-shell、spark-submit三、Spark Standone模式搭建1、Hadoop集群与Spark集群节点规划2、三台虚拟机分别安
2022-03-21 01:37:10
30613
2
原创 （超详细）Scala变量和数据类型（scala-2.12.15、IDEA2021.1.3）
Scala变量和数据类型JunLeon——go big or go home目录Scala变量和数据类型一、Scala注释及代码规范1、Scala注释2、代码规范二、Scala变量1、变量与常量2、标识符的命名规范3、字符串的输出4、键盘输入三、Scala数据类型1、Scala数据类型2、整数类型3、浮点数类型4、字符类型5、布尔类型-Boolean6、Unit类型、Null类型和Nothing类型（重点）7、类型转换
2022-01-22 18:58:10
1227
1
原创 （超详细）Scala环境搭建（scala-2.12.15、IDEA2021.1.3）
Scala环境搭建（scala-2.12.15、IDEA2021.1.3）JunLeon——go big or go home目录Scala环境搭建（scala-2.12.15、IDEA2021.1.3）一、Scala概述1、什么是Scala？2、Scala发展史3、Scala与Java的关系二、Scala环境搭建1、环境准备2、Scala安装与配置环境变量3、验证Scala三、编写第一个Scala程序1、使用IDEA创建maven工程2、.
2022-01-22 10:59:45
10414
2
原创 （超详细）2022年最新版java 8（ jdk1.8u321）安装教程
2022年最新版java 8（ jdk1.8u321）下载及安装JunLeon——go big or go home目录2022年最新版java 8（ jdk1.8u321）下载及安装一、环境准备jdk下载二、jdk安装三、配置环境变量1、配置Java 8的环境变量2、验证是否安装成功一、环境准备jdk下载截止2022年1月，官方出的jdk1.8目前已更新到8u321的版本。下载官网：Java Downloads | Oracle下载版本：jdk
2022-01-21 17:01:27
197672
81
原创 （超详细）数据转换工具Sqoop的实战
数据转换工具Sqoop的安装与实战操作JunLeon——go big or go home目录数据转换工具Sqoop的安装与实战操作一、Sqoop的概述1、什么是Sqoop？2、Sqoop的功能与特性二、Sqoop的环境搭建1、环境准备2、安装配置3、sqoop测试三、Sqoop实战1、Sqoop命令及参数2、Sqoop数据导入3、Sqoop数据导出4、问题解决前言：随着Hadoop大数据平台的广泛应用，用户将数据集在...
2021-12-26 20:51:28
2686
6
原创 （超详细）大数据技术之Hive的实战
数据仓库Hive的安装与使用JunLeon——go big or go home目录数据仓库Hive的安装与使用一、Hive的概述1、什么是Hive？2、Hive的应用场景3、Hive的特性4、Hive与传统数据仓库的区别二、Hive的架构与数据存储1、Hive的架构原理1） Hive架构2）HCatalog3）WebHCat2、Hive的数据存储模型1）Hive的分区和分桶2）Hive的托管表和外部表三、Hive的安装使用1、环.
2021-12-26 20:10:49
14266
2
原创 （超详细）MapReduce工作原理及基础编程
MapReduce编程基础JunLeon——go big or go home前言：Google于2003年在SOSP上发表了《The Google File System》，于2004年在OSDI上发表了《MapReduce: Simplified Data Processing on Large Clusters》，于2006年在OSDI上发表了《Bigtable: A Distributed Storage System for Structured Data》。这三篇论文...
2021-11-11 11:03:25
34115
5
原创 （超详细）HDFS常用命令及HDFS API基础编程
HDFS常用命令及基础编程JunLeon——go big or go home前言： Hadoop 分布式文件系统 (HDFS) 是一种分布式文件系统，旨在运行在商品硬件上。它与现有的分布式文件系统有很多相似之处。但是与其他分布式文件系统的区别是显着的。HDFS 具有高度容错性，旨在部署在低成本硬件上。HDFS 提供对应用程序数据的高吞吐量访问，适用具有大型数据集的应用程序。HDFS 放宽了一些 POSIX 要求，以启用对文件系统数据的流式访问。HDFS 最初是作为 Apac...
2021-10-28 10:25:39
8520
6
原创 （超详细）Python+PyCharm的安装步骤及PyCharm的使用（含快捷键）
JunLeon——go big or go home前言“人生苦短，快用Python！”Python作为众多编程语言之一，是学习者比较容易上手的一门语言，有着简单、易学、好用等特点一、Python的安装（1）环境准备python是一门跨平台的语言，如Windows、Linux、MacOS等平台都能完美兼容，以下只对Windows平台安装做详细介绍。Windows PCpython3.6.4python官方下载：Python Releases for Wind..
2021-10-11 11:51:42
194829
174
原创 （超详细）基于Zookeeper的Hadoop HA集群的搭建
基于Zookeeper的Hadoop HA集群的搭建JunLeon——go big or go home前言：高可用（high availability，HA）指的是若当前工作中的机器宕机了，系统会自动处理异常，并将工作无缝地转移到其他备用机器上，以保证服务的高可靠性与可用性。Hadoop HA是hadoop2.0后新添加的特性，包括NameNode HA和ResourceManager HA。NameNode HA采用双Na...
2021-10-10 20:57:16
8989
1
原创 1.5万字搞定 Hadoop集群（从单机模式到分布式）的安装与部署（超详细）
Hadoop集群的安装与部署（从单机模式到分布式）JunLeon——go big or go home前言：Hadoop这门知识的学习，需要具备Linux基础、Java基础。Hadoop是一个开发和运行处理大规模数据的平台，是Appach的一个用Java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算，具有可靠、高效、可伸缩的特点。Hadoop的核心组件是HDFS和MapReduce，hadoop2.0还包括YARN。HDFS（Hadoop .
2021-09-30 11:11:41
6214
1
原创 大数据学习——Hadoop集群完全分布式的搭建（超详细）
Hadoop集群完全分布式的搭建JunLeon——go big or go home目录Hadoop集群完全分布式的搭建1、分布式集群的网络和节点规划（1）网络规划（2）节点规划2、分布式集群的环境准备（1）克隆虚拟机（2）网络配置、修改主机名、配置网络映射3、设置SSH无密码登录节点4、安装配置Hadoop集群（配置文件时均在hadoop的主目录下操作）（2）配置分布式集群环境（6个配置文件）（3）分发Hadoop集群安装目录及文件（4）启动和停
2021-09-27 12:21:34
44487
21
原创 大数据学习——Hadoop集群伪分布模式的搭建（超详细）
Hadoop集群伪分布模式的搭建JunLeon——go big or go home目录Hadoop集群伪分布模式的搭建1、配置免密登录2、HDFS的配置、启动与停止（配置文件均在hadoop的主目录下操作）（1）配置hadoop-env.sh（2）配置core-site.xml（3）配置hdfs-site.xml（4）格式化HDFS3、YARN的配置、启动与停止（配置文件均在hadoop的主目录下操作）4、同时启动或停止HDFS和YARN4、We..
2021-09-27 11:40:37
7956
3
原创 大数据学习——Hadoop单机模式的搭建（超详细）
Hadoop单机模式的搭建JunLeon——go big or go home前言：Hadoop集群有三种运行模式，即单机模式，伪分布模式、分布式模式。单机模式：只有一个JVM进程数，只运行在一台机器上（作测试用）；伪分布模式：有多个JVM进程数，运行在同一台机器上；分布式（完全分布式）模式：多个JVM进程数，运行在三台或三台以上的机器上。说明：以下进入Hadoop单机模式的搭建，是在root用户下进行，如果在普通用户下，要注意权限、环境变量等，记得使用sudo命令...
2021-09-27 11:08:23
10901
4
原创 Linux学习——Linux常用文件和目录管理命令（超详细）
Linux常用文件和目录管理命令JunLeon——go big or go home前言：Linux系统文件和目录管理是必须学会的命令，在Linux系统目录中/tmp目录是用来存放临时文件的目录，以下命令的操作均在该目录进行，以免同学们删除了一些不必要的文件。目录Linux常用文件和目录管理命令一、 目录操作命令：切换目录：cd查看目录：ls 和 pwd目录操作【增、删、改、查】二、 文件操作命令：文件操作【增，删，改，查】创建链接文件：ln一、 目录操作
2021-09-23 00:12:53
11866
原创 Linux学习——Linux常用命令（超详细）
JunLeon——go big or go home目录关机和重启命令ls命令cd命令data命令ifconfig命令tar命令grep命令service命令关机和重启命令关机命令shutdown -h now #立刻关机 shutdown -h 5 #5分钟后关机poweroff #立刻关机 init 0 #立即关机重启命令shutdown -r n...
2021-09-22 23:57:07
719
原创 Linux学习——Linux中无法使用ifconfg命令？简单两步教你搞定……
JunLeon——go big or go home前言： 有同学在安装好ContOS7或8后，在进行网络配置，发现ifconfig命令不能使用，根本原因是因为没有安装或缺失相关的包。一、ifconfig命令ifconfig 命令常被用于配置和显示Linux内核中网络接口的网络参数。ifconfig命令的使用语法： ifconfig [选项参数]参数 add<地址>：设置网络设备IPv6的ip地址； d...
2021-09-22 21:45:33
1432
原创 Linux学习——vi编辑器的使用（内附快捷键的使用）（超详细）
vi编辑器的使用（内附快捷键的使用）（超详细）JunLeon——go big or go home前言：vi编辑器是Linux系统下标准的编辑器。那么简单的理解，就像是Windows下的记事本。补充：vim是vi的升级版，代码补完、编译及错误跳转等方便编程的功能特别丰富，在程序员中被广泛使用。一、vi 命令的使用命令格式： vi 文件名示例： vi a.txt注意：直接输入vi，可以查看vi的版本等信息，还可以直接编辑，但是退出时需要加上文件名，例如 :wq a.tx
2021-09-22 01:06:06
39673
原创 Linux学习——那些我们网络配置遇到过的问题？ping不通百度？XShell连接不上？（超详细）
那些我们网络配置遇到过的问题？ping不通百度？XShell连接不上？（超详细）JunLeon——go big or go home前言：很多同学在学习Linux时会遇到各种各样的问题，特别是在网络配置的时候，总是会出现配置ping不通的问题，以下我罗列几个常见的问题及解决办法，希望能帮助小伙伴解决问题！一、Linux网络配置可能涉及的几个文件1、网络配置文件/etc/sysconfig/network-scripts/ifcfg-eth0这是配置网络信息的文件，IP地址等
2021-09-22 00:02:48
4350
原创 Linux学习——linux网络配置、修改主机名、网络映射、远程连接工具XShell的使用（超详细）
linux网络配置、修改主机名、网络映射、远程连接工具XShell的使用JunLeon——go big or go home一、网路配置1、配置网卡信息文件 --> /etc/sysconfig/network-scripts/ifcfg-eth0（CentOS7和8里面是ifcfg-ens33）使用vi命令打开此文件 vi /etc/sysconfig/network-scripts/ifcfg-eth0如果是CentOS 7，打开文件如图：2、文件内各.
2021-09-19 23:42:36
6634
2
原创 Linux学习——VMware+CentOS6、7的安装（超详细）
VMware+CentOS6的安装JunLeon——go big or go home一、软件环境准备Windows PC一台VMware 15 Pro安装包CentOS 6.5镜像或者CentOS 7镜像二、VMWare下载安装1、VMware下载（VMware 15 Pro，内附激活码）官方下载：https://customerconnect.vmware.com/cn/downloads/info/slug/desktop_end_user_computing/v
2021-09-19 20:05:53
1462
2
原创 Linux学习——初识Linux（超详细）
初识LinuxJunLeon——go big or go home前言：Linux这门操作系统语言是必不可少的一门语言，是一门基础语言。知识学习包括：Linux命令、Linux shell、高级shell脚本编程等。一、Linux概述1、什么是Linux？Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。作为一门计算机操作系统，不同于Windows，界面简单、功能强大、稳定安全，常被企业用
2021-09-19 19:21:56
2783
原创 Java学习之路——初识Java
Java语言概述JunLeon——go big or go home什么是程序?程序：计算机执行某些操作或解决某个问题而编写的一系列有序指令的集合。Java历史Java历史重大事件1990 sun公司启动绿色计划1992 创建oak（橡树）语言 -> Java1994 gosling参加硅谷大会演示Java功能，震惊世界1995 sun正式发布Java第一个版本2009 甲骨文公司宣布收购sun公司 2001 发布Java7 2014 发布Java8
2021-09-16 16:42:34
339
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人