- 博客(28)
- 收藏
- 关注
RSS订阅原创 hadoop_NameNode、ResourceManager高可用原理
因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问，同时 Hadoop 生态系统中依赖于 HDFS 的各个组件，包括 MapReduce、Hive、Pig 以及 HBase 等也都无法正常工作，并且重新启动 NameNode 和进行数据恢复的过程也会比较耗时。当 active NameNode 执行了修改命名空间的操作时，它会定期的将执行的操作记录在editLog中，standby 会一直监听 JNS上的editlog的变化。
2023-03-27 10:41:34
603
原创 java多线程_生产者-消费者模式和线程间的通信(wait、notify)
hello，这里旨在向大家介绍和。整体的思路是：1、探讨一下什么是生产者-消费者模式。2、线程不安全的生产者-消费者模式的实现。3、线程安全的生产者-消费者模式的实现。4、wait()和notify()的原理和使用。5、使用wait()和notify()对生产者-消费者模式进行优化。
2023-03-15 10:09:54
240
原创 java基础_内部类
内部类介绍JAVA中可以将一个类定义到另外一个类的内部，这个就是内部类。内部类是一种非常有用的机制。它允许你把一些逻辑相关的类组织到一起。虽然内部类看起来像一种代码隐藏机制：将代码置于其它类的内部。但是，内部类远远不止如此，它了解外围的类，并且能与之通信。使用内部内可以帮助你写出更加优雅的代码(尽管往往并不是这样)。我们需要了解的是，内部类和组合完全是两种不同的概念；组合是为了增强代码的复用性，而内部类则是一种隐藏机制。为什么需要内部类？一个很重要的原因是：java是不允许有多继承的，但是每个内部
2023-03-15 00:04:30
237
原创 java所线程_内置锁02_内置锁和对象结构
在JDK1.6版本中内置锁总共有4种状态：无锁、偏向锁、轻量级锁、重量级锁，这些状态随着竞争情况逐渐升级。重量级锁会让其它申请的线程进入阻塞状态，是通过Monitor对象来实现的，而Monitor 对象内部则是通过调用操作系统的互斥锁(Mutex Lock)来实现的。轻量级锁存在的目的是尽可能不动用操作系统层面的互斥锁，因为使用操作系统提供的互斥锁必须要有用户态和内核态的切换，这个是比较消耗性能的。偏向线程再次获取锁的时候，只需要判断偏向线程是否是当前线程，就可以访问同步代码，大大节省了锁环节的时间。
2023-03-12 13:51:20
108
原创 python_函数
匿名函数1、匿名函数不需要def关键词定义；2、匿名函数没有函数名；3、在python中使用lambda关键词声明匿名函数；匿名函数格式：lambda 参数列表：表达式匿名函数作为变量# -*- coding: utf-8 -*-'''将匿名函数赋值给变量，通过变量名调用匿名函数'''sum = lambda x,y:x+yprint(sum(10,20)) # 输出结果：30匿名函数作为函数参数'''匿名函数作为普通函数的参数'''def x_y_com
2020-08-18 11:15:38
88
原创 Python扩展库_Pandas
什么是Pandas？处理高级数据结构、用于数据分析的Python库。Pandas的特点基于Numpy 构建的一种工具；基础数据类型是DataFrame;数据预处理使用info查看空值import pandas as pddemo1 = pd.read_csv('DataDemo1.csv',encoding='utf-8')demo1.info()使用isnull查看空值import pandas as pddemo1 = pd.read_csv('DataDemo1.
2020-08-13 16:40:38
363
原创 Kafka_Kafka原理
什么是kafka如上图，我们常用的通信方式有点对点通信、代理通信；点对点通信适合用户量小的场景；代理通信适合用户量大的场景。kafka就是一个代理通信的组件。kafka的特性、使用场景kafka的特性高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒。可扩展性：kafka集群支持热扩展持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）高并发：支持数千个客户端同时读写kaf
2020-06-18 22:08:03
346
原创 Kafka_知识汇总
Kafka原理 知识点 描述 什么是kafka kafka其实就是一个消息代理组件 kafka的特性、使用场景 kafka的架构 1、生产者； 2、消费者； 3、broker; 4、zookeeper; zookeeper的作用 存储元数据 消息存储 主题、分区、副本、kafka的存储方式、容错机制、副本复制模式、集群分片分配算法、分区平衡、日志清...
2020-06-18 20:36:39
78
原创 Python_数据类型
Dictionary定义# 字典的定义user = {"name":"小明", "age":20, "gender":"male", "program":"python"}print(user)-- 运行结果如下{'name': '小明', 'age': 20, 'gender': 'male', 'program': 'python'}查询# 字典的检索name = user["name"]print(name)新增# 向字
2020-06-18 12:56:00
180
原创 Python_知识图谱
数据类型 技术点 描述 Dictionary 1、等价于java中的Map; 2、字典的定义、查询、新增、修改、删除、遍历；
2020-06-18 11:23:01
351
原创 oracle学习笔记：分析函数
分析函数是Oracle专门用于解决复杂报表统计需求的功能强大的函数，它可以在数据中进行分组然后计算基于组的某种统计值，并且每一组的每一行都可以返回一个统计值。分析函数和聚合函数的不同之处是什么？
2017-12-01 09:31:16
413
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人