- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 【Spark】No.3 Spark shell
一Spark shell1 spark shell 简介Spark shell 的原理是把每一行 Scala 代码编译成类，最终交由 Spark 执行2 启动 spark shell （概念）进入 Spark 安装目录后执行 spark-shell --master master 就可以提交Spark 任务3Master 的地址可以有如下几种设置方式3.1 local[N]使用 N 条 Worker 线程在本地运行3.2spark://host:port在 Sp...
2020-11-09 16:23:45
279
原创 【Spark】 No.1 Spark 一些需要知道的概念
一 Spark是什么Apache Spark 是一个快速的，多用途的集群计算系统,，相对于 Hadoop MapReduce 将中间结果保存在磁盘中，Spark 使用了内存保存中间结果,，能在数据尚未写入硬盘时在内存中进行运算Spark 只是一个计算框架，不像 Hadoop 一样包含了分布式文件系统和完备的调度系统，如果要使用 Spark,，需要搭载其它的文件系统和更成熟的调度系统二 Spark的特点1 速度快Spark 的在内存时的运行速度是 Hadoop MapReduce 的...
2020-11-05 17:25:19
296
4
原创 【Hadoop】 No.3 Hdfs详解
大数据概念 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产大数据的特点（1）Volume大量（2）Velocity高速（3）Variety多样（4）Value低价值密度大数据能做什么（1）商品推荐 淘宝 京东 猜你喜欢（2）探索价值 数据挖掘案例 啤酒尿不湿沃尔玛一家分店的营销...
2020-09-07 17:19:05
682
原创 【Hadoop】 No.2 搭建大数据分布式集群
前言上一篇我们已经将大数据集群的三台虚拟机搭建完成 接下来我们要对虚拟机进行相关设置已满足我们集群需求通过xmanager连接到我们的虚拟机
2020-09-03 17:11:33
281
原创 【Hadoop】 No.1 在vmware上安装Ceontos7
概念 Hadoop简介1.Hadoop是apache旗下的一套开源软件平台2.Hadoop提供的功能,利用服务区集群,根据用户的定义业务逻辑对海量数据进行分布式处理3.Hadoop三大核心组件 Hdfs(分布式文件系统) mapreduce(分布式计算系统) yarn(硬件资源调度)狭义上讲Hadoop就是一个软件 包括 hdfs,mapreduce,yarn广义上讲Hadoop是一个生态系统 包括 hive,hue,flume,sqoop,kafka,spark...等等说了一堆专业名...
2020-09-03 09:51:12
398
原创 【Linux】 通过 Xmanager 连接到Linux 虚拟机上
一 获取xmanager我们可以在官网上下载最新版本的 xmanager 官网地址我这里也提供了一款比较老版本的 xmanager 自用感觉很不错百度网盘链接提取码 v8m7 自行解压里面已有机器码二 创建会话创建基本连接属性1 点击黄色 ＋ 号 打开会话窗口2 点击新建按钮 打开新建会话属性3 输入名称 （这个名称最好与你的机器host域名匹配）4 输入主机IP地址5 点击确定按钮完成设置第四步的IP地址如何查看进入自己的 vmware 虚...
2020-11-06 10:52:45
1493
原创 【Linux】使用EditPlus编辑Linux上的文件
正常情况下我们都在Linux使用 vim 编辑 对于新手来说很容易编辑出错 接下来教大家一个小技巧直接在 windows 电脑上编辑Linux的文件1. 下载EditPlus 下载地址2. 正常安装 editPlus 即可 然后在百度上搜一个注册码注册3. 打开EditPlus 点击左上角 File -- FTP -- FTP Settings...4. 出现如下图 点击 Add5. 如下图 所示配置6. 点击上图中 Advanced Options.....
2020-10-19 16:16:28
793
原创 【Java】 Java中间件之Redis 搭建单机版Redis
前言前几天一大牛同事问了我几个关于Redis的问题，吭哧瘪肚的半天讲不出来，自认为Redis用的很6 但回答结果却很悲惨，所以翻阅了大量资料对Redis进行一次深入的了解，在此记录 希望对Redis迷茫的你有帮助搭建单机版Redis我的套路是先看到效果咱们再细说原理首先我们创建一个干净的虚拟机如何在vmware上安装centos我在大数据篇已经做了详细的讲解① 在 /usr/local 目录下创建一个apps文件夹cd /usr/localmkdir apps② .
2020-10-19 15:38:54
435
原创 【Java】基础增强之注解
什么是注解同 class 和 interface 一样 注解属于一种类型 它在Java1.5版本中开始引入的概念注解的定义注解通过 @interface 关键字进行定义 它的形式跟接口类似 （ IEAD创建注解如下图 ）元注解元注解是可以注解到注解上的注解很绕口 简单的理解就是 在我们自定义注解上使用的Java API注解元注解有@Retention ，@Document ，@Target ，@Inherited ，@Repeatable（1）@Retention...
2020-09-22 13:00:44
288
原创 【Java】基础增强之反射
什么是反射官方描述Java反射机制是在运行状态中 对任意一个类 都能够知道这个类的属性和方法 对任意一个对象都能够调用它的任意一个方法和属性这种动态获取的信息以及动态调用对象的方法得功能称为Java语言的反射机制我的理解强行窥探隐私 并对你洗脑 让你按照我的命令做事反射的原理（1）Java文件保存到本地硬盘 生成 .java 文件（2）编译java文件生成 .class 文件（3）使用Jvm将class文件通过类加载器加载到内存中（4）class文件在内存中使用...
2020-09-04 11:09:04
291
原创 【Java】 解读Spring AOP 实现原理 模拟 Spring 代理工厂代码实现
说到Spring作为Java程序员大家都了解，每天都在用，但你真的知道它的底层实现原理吗？今天我们就来探讨一下Spring AOP的底层实现原理概念 什么是AOP (这里我只截取有用部分不码太概念的东西)AOP Aspect Oriented Programming 的缩写 意为面向切面编程可以在不修改源码的前提下,对程序进行增强Spring框架的AOP底层实现1.Spring框架的AOP技术底层也是采用的代理技术,代理方式提供了两种2.JDK的动态代理 必须是面向接口的
2020-09-02 13:44:40
359
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人