码农拉扎尔-CSDN博客

原创 Redis学习总结

概述什么是RedisRedis(Remote Dictionary Server) 是一个使用 C 语言编写的，开源的（BSD许可）高性能非关系型（NoSQL）的键值对数据库。Redis 可以存储键和五种不同类型的值之间的映射。键的类型只能为字符串，值支持五种数据类型：字符串、列表、集合、散列表、有序集合。Redis的应用场景总结一计数器可以对 String 进行自增自减运算，从而实...

2020-04-23 18:17:16 135

原创 Zookeeper相关知识总结

1.1Zookeeper介绍Zookeeper是分布式应用程序的协调服务框架，是Hadoop的重要组件。ZK要解决的问题：1.分布式环境下的数据一致性。2.分布式环境下的统一命名服务3.分布式环境下的配置管理4.分布式环境下的分布式锁5.集群管理问题zookeeper数据结构节点的类型:1.普通节点:创建后一直存在2.临时节点:注册节点的连接断掉,则临时节点消失3.普通顺序...

2020-04-22 20:26:18 239

收集日志flume架构:![在这里插入图片描述](https://img-blog.csdnimg.cn/20200419120844847.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwODYzMzYw,size_16...

2020-04-19 12:09:28 187

原创 Spark学习总结

分布式快速的计算框架,离线与实时都可以spark之所以快,是由于尽量减少了shuffle过程RDD:分布式弹性数据集分布式:rdd可以分区,每个区在不同节点弹性:分区数量可以自由设置容错:父子的依赖关系,子rdd数据丢失,可以通过父rdd找回RDD的操作:变换操作:懒机制,不会立即触发执行操作:立即触发DAG:有向无环图记录了RDD之间的依赖关系RDD的依赖关系:...

2020-04-18 19:33:17 349

原创算法day02-找重复数字

package com.leetcode;问题描述/***找出数组中重复的数字。**在一个长度为 n 的数组 nums 里的所有数字都在 0～n-1 的范围内。数组中某些数字是重复的，但不知道有几个数字重复了，也不知道每个数字重复了几次。请找出数组中任意一个重复的数字。示例 1：输入：[2, 3, 1, 0, 2, 5, 3]输出：2 或 3*/代码实现及思路p...

2020-04-16 11:23:59 138

原创算法day01-反转字符数组

package com.leetcode;题目描述/**编写一个函数，其作用是将输入的字符串反转过来。输入字符串以字符数组 char[] 的形式给出。不要给另外的数组分配额外的空间，你必须原地修改输入数组、使用 O(1) 的额外空间解决这一问题。你可以假设数组中的所有字符都是 ASCII 码表中的可打印字符。示例 1：输入：[“h”,“e”,“l”,“l”,“o”]输...

2020-04-15 11:42:06 125

原创算法day01-最长子序和

package com.leetcode;题目描述/**给定一个整数数组 nums ，找到一个具有最大和的连续子数组（子数组最少包含一个元素），返回其最大和。示例:输入: [-2,1,-3,4,-1,2,1,-5,4],输出: 6解释: 连续子数组 [4,-1,2,1] 的和最大，为 6。*/public class MaxSubArray {public int m...

2020-04-15 11:39:29 120

原创 HBase学习心得（续）

1.为什么hbase可以很快：从逻辑结构上来说：表按照行键进行了排序，所以查询时可以很快定位数据按照行键切分为多个HRegion，分布在多个RegionServer中，查询大量数据时，多个RegionServer可以一起工作，从而提高速度从物理结构上来说：HRegion是存活在RegionServer的内存中的，读写会非常的高效还有HFile的支持保证大量的数据可以持久化的保存数据最...

2019-11-29 09:44:34 819

原创 HBase学习心得

一、HBase概述HBASE是Apache提供的基于Hadoop的、分布式的、可扩展的、能够存储大量数据的非关系型数据库（1）是一种 NoSQL，非关系型的数据库，不符合关系型数据库的范式（2）适合存储：半结构化、非结构化的数据（3）适合存储稀疏的数据，空的数据不占用空间（4）面向列(族)进行存储（5）提供实时增删改查的能力是一种真正的数据库（6）可以存储海量数据性能也很强...

2019-11-29 09:37:48 2604

原创 spark学习心得

一、spark特点1.离线批处理（利用内核）2.交互式査询3.实时计算4.算法建模二、Spark核心数据结构-RDD（弹性分布式数据集）初学时，你可以把RDD看做是一种特殊的集合类型，比如Array或List 但是RDD这种集合类型比较特殊：①RDD有分区机制②RDD有容错机制，即RDD数据丢失可以恢复分区：分区机制的目的是可以分布式（并行）的处理一个集合的数据，所以可以极大...

2019-11-26 19:07:39 2797

原创 Scala练习题

1.针对下列Java循环编写一个Scala版本:for(int i=10;i>=0;i–)System.out.println(i);2.一个空的块表达式{}的值是什么？类型是什么？3.编写一个函数countdown(n:Int)，打印从n到0的数字4.编写函数计算x的n次方,其中n是整数，要考虑等n是0，正数，负数这几种情况。比如当x=2时，此函数要算出 24，23，20，2(...

2019-11-21 19:08:14 340

原创大数据学习心得day01

大数据学习心得今天学习大数据中关于消息队列的技术kafka（卡福卡）， Kafka是发布订阅模式的消息队列 Kafka是由LinkedIn(领英)开发的消息发布系统，后来贡献给了Apache。今天学会了神魔呢？1.Producer：生产者。产生数据放入Kafka2.Consumer：消费者。从Kafka中拿取数据3.broker：经纪人。在Kafka集群中，每一个Kafka节...

2019-11-20 19:41:26 249

qq_40863360的博客