自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 收藏
  • 关注

原创 大数据-Redis基础

redis维基百科 Redis是一个使用ANSI C编写的开源、支持网络、基于内存、可选持久性的键值对存储数据库(非关系型数据库)。 redis的特性 ① 远程: 分为客户端,服务端.可以分别部署到不同的机器上,通多自定义协议进行传输交互,平时说的redis通常指的是redis的服务端 ② 基于内存: 所有数据结构存在内存中,所有操作非常高效 ③ 非关系型数据库: 本质是数据库,存储数据,区别于mysql redis的应用场景 ① 缓存: 当系统的接口数据比较慢的时候, ...

2020-07-31 11:11:36 22

原创 力扣: 合并区间 (scala)

题目描述 给出一个区间的集合,请合并所有重叠的区间。 示例 1: 输入: [[1,3],[2,6],[8,10],[15,18]] 输出: [[1,6],[8,10],[15,18]] 解释: 区间 [1,3] 和 [2,6] 重叠, 将它们合并为 [1,6]. 示例 2: 输入: [[1,4],[4,5]] 输出: [[1,5]] 解释: 区间 [1,4] 和 [4,5] 可被视为重叠区间。 来源:力扣(LeetCode) 链接:https://leetcode-cn.com/problems.

2020-07-30 14:35:43 52

原创 大数据-hadoop之MR

MapReduce维基百科 MR是一个分布式运算框架,主要分为Map和reduce两个阶段,map负责把一个任务分解成多个任务,reduce负责把分解后多个任务的处理结果汇总 优缺点 ① 易编程,简单的实现一些接口,就可以完成一个分布式程序,可以分布到大量机器上运行. ② 易扩展, 当计算力不够的时候,可以通过简单的增加机器来扩展计算能力 ③ 高容错, 当一个机器挂了,可以把上面的计算任务转移到另一个节点上,不至于任务失败 ④ 大数据量, 可以实现上千台服务器集群并发工作,提供数据处理能力 缺点..

2020-07-29 14:27:49 83

原创 力扣: 寻找数组中心索引java+scala

给定一个整数类型的数组 nums,请编写一个能够返回数组 “中心索引” 的方法。 我们是这样定义数组 中心索引 的:数组中心索引的左侧所有元素相加的和等于右侧所有元素相加的和。 如果数组不存在中心索引,那么我们应该返回 -1。如果数组有多个中心索引,那么我们应该返回最靠近左边的那一个。 示例 1: 输入: nums = [1, 7, 3, 6, 5, 6] 输出:3 解释: 索引 3 (nums[3] = 6) 的左侧数之和 (1 + 7 + 3 = 11),与右侧数之和 (5 + 6 = 11) 相等。

2020-07-28 17:00:36 82

原创 大数据-hadoop之HDFS

HDFS百度百科 HDFS是个分布式文件系统,用来存储文件,通过目录树定位文件,由多台服务器联合实现HDFS的功能,适合一次写入多次读出的场景,不支持文件修改. HDFS的优缺点 3.1 优点 3.1.1 高容错性 数据保存多个副本,提高容错性,某个副本丢失后,会自动恢复 3.1.2 大数据处理 能够处理数据量达到GB,TB,PB级别的数据,能够处理百万规模的文件量 3.1.3 成本低 可以搭建在廉价的机器上,通过多副本机制,提高可靠性 3.2 缺点 3.2.1 不适合低延时的数据访问,比如毫秒级的存储数.

2020-07-27 09:50:40 299

原创 大数据-Hadoop概念

Apache_Hadoop维基百科 hadoop官网链接 hadoop的优点 3.1 高可靠 hadoop维护了多个数据副本,当存储故障或计算故障时,不会导致数据丢失 3.2 高扩展 可以很方便的扩展节点 3.3 高效率 在MapReduce的思想下,hadoop是并行工作的,加快任务处理速度 3.4 高容错性 失败的任务重新分配执行 hadoop的组成 hadoop 1.x MapReduce + HDFS + Common hadoop 2.x MapReduce + Yarn + HDFS + .

2020-07-24 14:23:44 41

原创 Linux.2- shell命令(部分)

1. shell概述 shell是一个命令行解释器,接收用户操作指令,然后调用操作系统内核. shell还是一个功能丰富的编程语言 2. shell解析器 cat /etc/shells 有 sh bash 等 3. 入门操作 写shell脚本, 文件首行 #!/bin/bash 指定解析器 脚本的执行 sh + 绝对或相对路径 如果赋予了脚本可执行权限,则可以直接使用相对路径和绝对路径执行脚本文件 4. 变量 系统变量直接 $JAVA_HOME 显示当前shell变量: set $# 显示脚本输

2020-07-24 13:24:07 41

转载 Linux.1-常用命令(详细)

**Linux的维基百科** 常用的几个 top 查看内存 df -h 查看磁盘存储情况 iotop 查看磁盘IO读写(yum install iotop安装) iotop -o 直接查看比较高的磁盘读写程序 netstat -tunlp | grep 端口号 查看端口占用情况 uptime 查看报告系统运行时长及平均负载 ps -aux 查看进程 详细命令 系统信息 arch 显示机器的处理器架构 uname -m 显示机器的处理器架构 uname -r 显示正在使用的内核版本 dmideco..

2020-07-24 09:28:00 133

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除