- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 【Spark】No.3 Spark shell
一Spark shell 1 spark shell 简介 Spark shell 的原理是把每一行 Scala 代码编译成类，最终交由 Spark 执行 2 启动 spark shell （概念） 进入 Spark 安装目录后执行 spark-shell --master master 就可以提交Spark 任务 3Master 的地址可以有如下几种设置方式 3.1 local[N] 使用 N 条 Worker 线程在本地运行 3.2spark://host:port 在 Sp...
2020-11-09 16:23:45
414
原创 【Spark】 No.1 Spark 一些需要知道的概念
一 Spark是什么 Apache Spark 是一个快速的，多用途的集群计算系统,，相对于 Hadoop MapReduce 将中间结果保存在磁盘中，Spark 使用了内存保存中间结果,，能在数据尚未写入硬盘时在内存中进行运算 Spark 只是一个计算框架，不像 Hadoop 一样包含了分布式文件系统和完备的调度系统，如果要使用 Spark,，需要搭载其它的文件系统和更成熟的调度系统 二 Spark的特点 1 速度快 Spark 的在内存时的运行速度是 Hadoop MapReduce 的...
2020-11-05 17:25:19
432
4
原创 【Hadoop】 No.3 Hdfs详解
大数据概念 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产 大数据的特点 （1）Volume大量 （2）Velocity高速 （3）Variety多样 （4）Value低价值密度 大数据能做什么 （1）商品推荐 淘宝 京东 猜你喜欢 （2）探索价值 数据挖掘 案例 啤酒尿不湿 沃尔玛一家分店的营销...
2020-09-07 17:19:05
813
原创 【Hadoop】 No.2 搭建大数据分布式集群
前言 上一篇我们已经将大数据集群的三台虚拟机搭建完成 接下来我们要对虚拟机进行相关设置已满足我们集群需求 通过xmanager连接到我们的虚拟机
2020-09-03 17:11:33
377
原创 【Hadoop】 No.1 在vmware上安装Ceontos7
概念 Hadoop简介 1.Hadoop是apache旗下的一套开源软件平台 2.Hadoop提供的功能,利用服务区集群,根据用户的定义业务逻辑对海量数据进行分布式处理 3.Hadoop三大核心组件 Hdfs(分布式文件系统) mapreduce(分布式计算系统) yarn(硬件资源调度)狭义上讲 Hadoop就是一个软件 包括 hdfs,mapreduce,yarn广义上讲 Hadoop是一个生态系统 包括 hive,hue,flume,sqoop,kafka,spark...等等 说了一堆专业名...
2020-09-03 09:51:12
529
原创 【Linux】 通过 Xmanager 连接到Linux 虚拟机上
一 获取xmanager 我们可以在官网上下载最新版本的 xmanager 官网地址 我这里也提供了一款比较老版本的 xmanager 自用感觉很不错百度网盘链接提取码 v8m7 自行解压里面已有机器码 二 创建会话 创建基本连接属性 1 点击黄色 ＋ 号 打开会话窗口 2 点击新建按钮 打开新建会话属性 3 输入名称 （这个名称最好与你的机器host域名匹配） 4 输入主机IP地址 5 点击确定按钮完成设置 第四步的IP地址如何查看 进入自己的 vmware 虚...
2020-11-06 10:52:45
2029
原创 【Linux】使用EditPlus编辑Linux上的文件
正常情况下我们都在Linux使用 vim 编辑 对于新手来说很容易编辑出错 接下来教大家一个小技巧直接在 windows 电脑上编辑Linux的文件 1. 下载EditPlus 下载地址 2. 正常安装 editPlus 即可 然后在百度上搜一个注册码注册 3. 打开EditPlus 点击左上角 File -- FTP -- FTP Settings... 4. 出现如下图 点击 Add 5. 如下图 所示配置 6. 点击上图中 Advanced Options.....
2020-10-19 16:16:28
1070
原创 【Java】 Java中间件之Redis 搭建单机版Redis
前言 前几天一大牛同事问了我几个关于Redis的问题，吭哧瘪肚的半天讲不出来，自认为Redis用的很6 但回答结果却很悲惨，所以翻阅了大量资料对Redis进行一次深入的了解，在此记录 希望对Redis迷茫的你有帮助 搭建单机版Redis 我的套路是先看到效果咱们再细说原理 首先我们创建一个干净的虚拟机 如何在vmware上安装centos我在大数据篇已经做了详细的讲解 ① 在 /usr/local 目录下创建一个apps文件夹 cd /usr/local mkdir apps ② .
2020-10-19 15:38:54
574
原创 【Java】基础增强之注解
什么是注解 同 class 和 interface 一样 注解属于一种类型 它在Java1.5版本中开始引入的概念 注解的定义 注解通过 @interface 关键字进行定义 它的形式跟接口类似 （ IEAD创建注解如下图 ） 元注解 元注解是可以注解到注解上的注解 很绕口 简单的理解就是 在我们自定义注解上使用的Java API注解 元注解有@Retention ，@Document ，@Target ，@Inherited ，@Repeatable （1）@Retention ...
2020-09-22 13:00:44
396
原创 【Java】基础增强之反射
什么是反射 官方描述 Java反射机制是在运行状态中 对任意一个类 都能够知道这个类的属性和方法 对任意一个对象都能够调用它的任意一个方法和属性 这种动态获取的信息以及动态调用对象的方法得功能称为Java语言的反射机制 我的理解 强行窥探隐私 并对你洗脑 让你按照我的命令做事 反射的原理 （1）Java文件保存到本地硬盘 生成 .java 文件 （2）编译java文件生成 .class 文件 （3）使用Jvm将class文件通过类加载器加载到内存中 （4）class文件在内存中使用...
2020-09-04 11:09:04
455
原创 【Java】 解读Spring AOP 实现原理 模拟 Spring 代理工厂代码实现
说到Spring作为Java程序员大家都了解，每天都在用，但你真的知道它的底层实现原理吗？今天我们就来探讨一下Spring AOP的底层实现原理 概念 什么是AOP (这里我只截取有用部分不码太概念的东西) AOP Aspect Oriented Programming 的缩写 意为面向切面编程 可以在不修改源码的前提下,对程序进行增强 Spring框架的AOP底层实现 1.Spring框架的AOP技术底层也是采用的代理技术,代理方式提供了两种 2.JDK的动态代理 必须是面向接口的
2020-09-02 13:44:40
467
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人