![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习总结
baiyabai
这个作者很懒,什么都没留下…
展开
-
Linux基础知识 一
Linux一、什么是Linux?二、linux产生背景三、Linux的优点四、Linux系统架构五、 虚拟机软件六、文件系统和目录结构1、文件系统2、目录结构2、1常见目录七、终端和常见命令1、终端2、常见命令2.1.帮助手册查看2.2磁盘管理2.2.1 cd: 实现目录切换2.2.2 pwd: 打印当前所在目录2.2.3 ls:展示目录内容(文件,目录)2.2.4 du:查看文件或者目录磁盘占用...原创 2019-06-13 21:48:21 · 232 阅读 · 0 评论 -
Scala总结之基础练习和面向对象
Scala总结二之基础练习和面向对象一. scala基础练习1.1. 字符串转换为数字1.2. 使用scala完成选择排序1.3. 使用scala完成二分查找二. scala面向对象2.1. 类的基本操作2.1.1. 类的创建与对象的构造2.1.2. 成员变量的封装getter和setter2.1.3. case class模拟javabean2.1.4. scala类的构造器2.1.5. 嵌套类...原创 2019-06-22 10:24:11 · 598 阅读 · 0 评论 -
Spark 总结 一
spark 总结一一、Spark 简介RDD的解释二、Spark的核心概念2.1 名词解释2.1.1 ClusterManager2.2.2 Worker2.2.3 Driver2.2.4 Executor2.2.5 SparkContext2.2.6 RDD2.2.7 DAG Scheduler2.2.8 TaskScheduler2.2.9 Stage2.2.10 Task2.2.11 Tra...原创 2019-06-21 19:54:54 · 443 阅读 · 0 评论 -
Scala的快速排序
Scala 快排 /** * 快速排序 * 9,8,7,1,2,3,4,5,6 * 折半进行排序,每次都是基于一个基准元素mark进行比较, * 把小于基准元素mark的放置到左侧,大于mark放置到右侧。 * 通过这一次转换,我们就能够找到mark在本集合中的恰当的位置。 * */ object QuickSort { def main(args: Ar...原创 2019-06-17 20:07:20 · 1281 阅读 · 0 评论 -
java单例模式、Scala单例模式
单例java的两种单例模式Scala的单例模式 java的两种单例模式 /** * 单例 * * 一个类只能创建一个对象, * 定义的步骤: * 恶汉式: * 1、私有构造器 * 2、提供一个public的static的返回值为本类引用的方法 * 3、为了给第2步中提供实例,创建一个private的s...原创 2019-06-17 09:02:25 · 1078 阅读 · 0 评论 -
Hadoop的介绍
Hadoop介绍一、hadoop的产生背景:二、hadoop解决的问题三、hadoop 是什么?1. 组成模块:1.1 包含模块(代码结构):1.2 功能分 模块:四、hadoop的组成:1. hdfs: 分布式存储2. mapreduce3. yarn 一、hadoop的产生背景: 1.google 搜索引擎的 海量的网页数据如何存储的问题? 海量网页数据如何计算? 海量网页数据快速查询? 解决...原创 2019-06-14 20:22:34 · 176 阅读 · 0 评论 -
什么是大数据?
大数据介绍一、大数据的简概念二、大数据的特点:三、大数据的价值四、大数据中的几个核心概念1. 集群2. 分布式2.1 分布式存储2.2 分布式数据库2.3 分布式计算3. 负载均衡五、数据的处理流程1. 数据采集(数据来源)1.1 业务数据 自己的数据1.2 爬虫1.3 数据买卖2. 数据的处理:2.1 缺失字段的数据2.2 敏感数据 一、大数据的简概念 顾名思义,大数据就是 概念大而复杂的数据...原创 2019-06-14 19:58:10 · 255 阅读 · 0 评论 -
Linux基础知识 二
Linux基础知识二一、用户和组1.什么是用户和组2.用户的分类3.查看用户4.操作用户5.组分类6.查看组7.组操作二、配置sudoer权限1.修改权限文件 vim /etc/sudoers2.操作三、文件权限1.文件类型和权限2.修改权限3.修改文件所属权(root下)四、打包和压缩1.压缩2.打包3.打包并压缩4.解包并解压缩七、httpd1.查看后台进程2.访问服务器3.资源目录4.额外...原创 2019-06-13 22:52:34 · 251 阅读 · 0 评论 -
WordCount
各种WordCountjava1.2.Scalaspark1.2.3. java 1. public static void main(String[] args) { //step01 SparkConf conf = new SparkConf(); conf.setMaster("local[*]"); conf....原创 2019-06-22 10:50:04 · 184 阅读 · 0 评论