Panda°-CSDN博客

原创 ArrayList源码解读

文章目录**ArrayList源码解读****方法解析****增加:add(),addAll()****扩容****获取元素（索引）****删除：remove()****修改:set()****自己实现一个简单的ArrayList****总结**ArrayList源码解读public class ArrayList<E> extends AbstractList<E> implements List<E>, RandomAccess, Cloneabl

2021-12-23 00:23:04 766

原创 Spark SQL与HBase集成

文章目录一、Spark SQL与HBase集成1.把hbase，hive，mysql相关jar包拷贝到spark的jars目录下2.启动hbae各节点3.查看hive中的表4.启动spark-shell获取表一、Spark SQL与HBase集成Spark SQL与HBase集成，其核心就是Spark Sql通过hive外部表来获取HBase的表数据。1.把hbase，hive，mysql相关jar包拷贝到spark的jars目录下我使用的是spark2.2.0，根据这些包版本都是基于spa

2021-05-04 13:45:45 1037 1

原创 Spark SQL与MySQL集成

文章目录前言一、Spark SQL与MySQL集成1.打开mysql2.打开spark-shell前言在与mysql建立联系前，自己需要准备一些数据，关于如何安装mysql参考前面文章。一、Spark SQL与MySQL集成1.打开mysqlmysql -uroot -p123456查看里面的我们要获取的表2.打开spark-shellval jdbcDF = spark.read .format("jdbc") .option("url", "jdbc:

2021-05-04 11:33:37 563

原创 Spark SQL与Hive集成

文章目录前言一、Spark SQL与Hive集成(spark-shell)1.第一步2.第二步3.第三步4.启动服务1.启动hadoop各个结点和mysql2.启动hive中的metastore5.测试1.准备数据2.创建数据库3.创建表4.加载数据5.通过spark-shell查看数据6.将数据写入MySQL1.创建数据库2.将spark sql分析hive中的数据写入到mysql中二.Spark SQL 与Hive集成(spark-sql)三、Spark SQL之ThirftServer和beeline

2021-05-03 22:40:00 1003

原创 Spark几种运行模式的配置与测试

文章目录前言一、Spark Standalone集群模式配置与运行1.Standalone的架构图2.配置slaves文件3.配置spark-env.sh文件3.启动测试Spark on YARN 集群模式配置与运行总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、Spark Standalone集群模式配置与运行1.Sta

2021-05-02 21:00:37 345

原创萌新篇 —从零开始搭建自己的大数据环境-----spark编译

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、spark简介二、Spark2.2编译1.下载maven2.配置maven环境遍量3.配置resolv.com4.下载spark2.2.0并编译5.进入界面总结前言本来是不想写这篇博客的，但是我找了好久都是直接使用spark的，没有编译spark的，所以还是觉得写一

2021-04-27 23:06:53 86

原创萌新篇 —从零开始搭建自己的大数据环境-----hue篇

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、hue简介二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考

2021-04-21 23:20:18 648 3

原创萌新篇 —从零开始搭建自己的大数据环境-----hive篇

萌新篇 —从零开始搭建自己的大数据环境文章目录萌新篇 —从零开始搭建自己的大数据环境前言一、hive简介二、hive的优点3、配置hive1.hive-env.sh.template和hive-log4j.properties.template修改名称2.hive-env.sh配置3.hive-log4j.properties配置4、在hdfs创建hive目录5、启动4、Hive与MySQL集成1、在conf文件中是创建hive-site.xml，填入2、设置用户的链接3、启动测试5、Hive与hbase

2021-04-17 22:49:43 977 1

原创 mysql离线安装

离线安装mysql前言首先下载安装包，并上传到linux，事先创好目录mysql目录，解压之后放置这里。1、下载地址https://mirrors.huaweicloud.com/mysql/Downloads/MySQL-5.5/2、删除已安装的mysql服务rpm -qa |grep mysql |xargs -n 1 rpm -e --nodepswhereis mysql |xargs -n 1 rm -rfwhereis mysqld |xargs -n 1 rm -rfr

2021-04-17 12:20:30 267

原创萌新篇 —从零开始搭建自己的大数据环境---kafka篇

萌新篇 —从零开始搭建自己的大数据环境萌新篇 —从零开始搭建自己的大数据环境文章目录萌新篇 —从零开始搭建自己的大数据环境前言一、kafka简介二、Kafka配置1.下载地址2.server.properties文件参数3.server.properties配置4.producer.properties配置5.启动服务注意总结前言我事先创建好了opt文件，该文件里包含data，modules，software，tools，一般我把安装包存放在sofeware解压生成在modules。可以按照我

2021-04-09 00:27:48 431

原创从零开始搭建自己的大数据环境---hbase篇

萌新篇 —从零开始搭建自己的大数据环境文章目录萌新篇 —从零开始搭建自己的大数据环境前言一、Hbase简介二、Hbase特点三、Hbase数据模型四、HBase分布式集群的相关配置1.下载地址2.hbase-env.sh配置3.hbase-site.xml配置4.regionservers配置5.Master-Backup配置（多台机器可以配置）6.启动服务6.基本命令总结前言我事先创建好了opt文件，该文件里包含data，modules，software，tools，一般我把安装包存放在sofe

2021-04-06 23:37:37 561

原创从零开始搭建自己的大数据环境---zookeeper篇

萌新篇 —从零开始搭建自己的大数据环境文章目录前言一、zookeeper简介二、分布式集群配置及参数介绍1.下载地址2.解压3.关于zoo.cfg文件参数讲解4.配置zoo.cfg5.启动服务6.基本命令总结前言我事先创建好了opt文件，该文件里包含data，modules，software，tools，一般我把安装包存放在sofeware解压生成在modules。可以按照我这个方式去做，后期以便文件好找。java环境自行先安装建议使用1.8版本的，这里我就不示范了。过程使用的软件Notep

2021-04-05 14:55:34 1607 7

原创从零开始搭建自己的大数据环境

萌新篇 —从零开始搭建自己的大数据环境萌新一枚，初步步入大数据专业，记录学习的历程。hadoop简介Hadoop是一个用Java编写的Apache开源框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Hadoop框架工作的应用程序在跨计算机集群提供分布式存储和计算的环境中工作。Hadoop旨在从单个服务器扩展到数千个机器，每个都提供本地计算和存储。Hadoop框架包括以下四个模块：Hadoop Common: 这些是其他Hadoop模块所需的Java库和实用程序。这些库提供文件系统和操

2021-04-04 12:33:11 3918 12

qq_52137951的博客