猿侠令狐冲
码龄11年
求更新 关注
提问 私信
  • 博客:110,043
    110,043
    总访问量
  • 47
    原创
  • 76
    粉丝
  • 83
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:上海市
加入CSDN时间: 2013-11-05

个人简介:阳光 善良

博客简介:

欲问君有几多愁的博客

查看详细资料
个人成就
  • 获得95次点赞
  • 内容获得21次评论
  • 获得357次收藏
创作历程
  • 10篇
    2021年
  • 4篇
    2020年
  • 1篇
    2019年
  • 8篇
    2018年
  • 30篇
    2017年
成就勋章
TA的专栏
  • 面试
    8篇
  • juc
    8篇
  • kudu
    1篇
  • yarn
    1篇
  • hdfs
    1篇
  • linux
    5篇
  • oracle-数据库
    5篇
  • mysql
    3篇
  • c++
    11篇
  • STL
    3篇
  • TCP/IP
    2篇
  • 面试题
    1篇
  • Zookeeper
    1篇
  • HDFS源码
    7篇
  • hadoop
    4篇

TA关注的专栏 6

TA关注的收藏夹 0

TA关注的社区 4

TA参与的活动 0

  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

面试必备系列JUC(8)-- hashmap和concurrenthashmap详解

文章目录前言一、HashMapjava7 HashMapjava8 HashMap为什么HashMap是线程不安全的?ConcurrentHashMapJava7 ConcurrentHashMapJava8 ConcurrentHashMap面试总结前言宁中则乃是华山派掌门人君子剑岳不群的妻子,而君子剑岳不群却又历来以“伪君子”而著称,这可以说是最大的讽刺了。但是华山女侠宁中则,倒是实实在在的能担得起“女侠”二字。 一、HashMap令狐冲:师娘,最近我去猪猪厂面试了,面试官在一面考察基.
原创
发布博客 2021.10.09 ·
570 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

面试必备系列JUC(7)-- AQS和reentrantlock详解

文章目录前言一、AQS的江湖地位1.1 什么是AQS?1.2 AQS基本原理二、ReentrantLock2.1 概述2.2 核心数据结构和思想2.3 可重入锁的理解常考问题前言冲虚道长是武当派的掌门,武功高强,精通武当太极剑法,无人能敌。在任我行最佩服的三个半人中,冲虚道长属那半个。任我行武功高强,性情高傲,能得到他的认可也是不容易的事,把冲虚道长列为半个,可见任我行对冲虚道长也有不服,但是却又不得不认可他。一、AQS的江湖地位1.1 什么是AQS?令狐冲:道长,今日我前来是为了相求AQS.
原创
发布博客 2021.09.14 ·
535 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

不可不知的KeepAlive科普

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一、什么是keepAlive?二、TCP之KeepAlive详解2.1 为什么需要KeepAlive?2.2 如何开启KeepAlive?2.3 keepAlive的局限性HTTP之Keep-Alive详解3.1 http为什么需要Keep-Alive?前言近日,我的朋友广叔来和我讨论keepalive的相关知识,由于他最近项目上要用,但是他呀又不太了解,所以我就给他讲解了一番,keepalive其实用的也挺多的,在此记录
原创
发布博客 2021.09.09 ·
1734 阅读 ·
3 点赞 ·
0 评论 ·
11 收藏

面试必备系列JUC(6)--八锁详解

文章目录前言一、锁总述1.1. 乐观锁 VS 悲观锁2.读入数据总结前言最近有读者在后台私信,让我讲讲java里常见的锁,第一次被读者提要求,还是很高兴的,查阅了一些资料,尽量将常见的锁的概念讲的清清楚楚,希望读者读后,能对8锁有个清晰的认知!今天给大家介绍我一个很有趣的好友,秃头,干瘦,可能喜欢女生的广叔!!长相略微显老(认识五年了,颜值一直在40岁上下)提示:以下是本篇文章正文内容,下面案例可供参考一、锁总述广叔:令狐兄,你知道java中常见的锁吗?令狐冲:当然知道,话说当年java
原创
发布博客 2021.09.06 ·
697 阅读 ·
2 点赞 ·
0 评论 ·
14 收藏

面试必备系列JUC(5)--锁升级锁优化

文章目录前言一、什么是java锁优化升级?二、锁如何升级2.1 锁的四种状态2.2 synchronized在java对象头中的存储2.3 Monitor2.4 锁的升级过程2.4.1 偏向锁2.4.2 轻量级锁(自旋锁)2.4.3 重量级锁面试必问前言在金庸先生的笑傲江湖里,风清扬也好,令狐冲也罢,其实是传统武侠世界谢幕的挽歌,是信仰自由与个性的武侠精神熄灭前残留的一点火星,它在昏沉压抑的江湖中看起来是那么显眼,不是因为它真的明亮,而是这个世界实在已经太黑暗了。 一、什么是java锁优
原创
发布博客 2021.08.29 ·
450 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

面试必备系列JUC(4) -- synchronized超详解

文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、pandas是什么?示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码如下(示例):import numpy as npimport
原创
发布博客 2021.08.24 ·
230 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

面试必备系列JUC(3) -- CAS超详解

面试必备系列JUC(3) -- CAS超详解 文章目录前言一、什么是CAS?二、如何使用CAS1.原子包atomic2.CAS缺点3.常考的面试题前言在JDK 早期版本中,Java是靠synchronized关键字保证线程间数据同步的,同样也带来了一系列问题:(1)在多线程竞争下,加锁、释放锁会产生上下文切换和调度耗时。(2)当一个线程持有锁事,其它所有需要此锁的线程必须挂起等待。(3)优先级高的线程和优先级低的线程无法区分。虽然,volatile是一个潜在的解决方案,但是volat..
原创
发布博客 2021.08.20 ·
305 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

面试必备系列JUC(2) -- java内存模型(JMM)超详解

带你了解最详细的JMM内存模型,让你面试无忧,咱们一起加油!
原创
发布博客 2021.08.18 ·
507 阅读 ·
0 点赞 ·
1 评论 ·
3 收藏

面试必备系列JUC(1)--volitale 超详解

田伯光:令狐兄,近日我翻阅JUC书籍的时候,对于volitale关键字颇有些心得,不知今日可否探讨一二?令狐冲:田兄太客气了,那今日我们便在此处比划比划。田兄先说下你对volitale的理解吧。田伯光:volatile是Java juc(java.util.concurrent)提供的一种轻量级的同步机制。相比于synchronized(synchronized通常称为重量级锁,之后的文章会有讲述),volatile更轻量级,因为它不会引起线程上下文的切换和调度。并且使用volitale关键字,可以保证
原创
发布博客 2021.08.17 ·
564 阅读 ·
1 点赞 ·
2 评论 ·
4 收藏

C++使用过程中容易忽略的小细节

说明:此篇文献是读者在阅读《c++primer plus》中抓取的容易忽略的小知识点,如有不当之处,敬请指正。 1、运算符sizeof 可对类型名和变量名使用sizeof运算符。对类型名如(如int)使用sizeof运算符时,应将名称放到括号中;但是对于变量名(int a;中的a)使用该运算符时,括号时可选的(可有,亦可无)。 2.如果知道变量的初始值应该是什么,则应该对它进行初始化,将变量
原创
发布博客 2021.01.21 ·
180 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

hadoop源码编译的编译脚本文件

编译脚本如下:#!/bin/bashmvn package -Pdist,native,nexus -DskipTests=true -Dmaven.javadoc.skip=true -Dtar -Dcontainer-executor.conf.dir=/etc/hadoop/ -Drequire.snappy -Dbundle.snappy -Dsnappy.lib=/opt/develop/snappy/lib -Dsnappy.prefix=/opt/develop/snappy -Dre
原创
发布博客 2020.11.05 ·
250 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

hadoop使用LinuxContainerExecutor后使用root用户提交任务报错--源码修改

问题描述在hadoop3.2.1的版本中,配置cgroup对yarn的cpu资源进行隔离之后,发现,使用root用户在yarn上提交任务时,无法提交成功,并会报错:Runing as root is not allowed!最后将这些错误在源码中搜索发现以下内容:/** * Is the user a real user account? * Checks: * 1. Not root * 2. UID is above the minimum configured. * 3
原创
发布博客 2020.09.03 ·
930 阅读 ·
2 点赞 ·
1 评论 ·
0 收藏

大数据平台中kudu的地位和价值(为什么会有kudu)

kudu是什么kudu和Hbase类似也是一个分布式数据库,据官方给它的定位是提供”fast analytics on fast data”(在更新更及时的数据上做更快的分析)。据说Cloudera曾经想直接通过修改HBase来支持kudu现在的功能,但是Kudu的数据模型和磁盘存储都与Hbase不同,改造会非常大,所以Cloudera决定干脆开发一个全新的存储系统。kudu 为什么重要随着现在大数据平台的不断创新和发展,无论是在企业内部还是开源网站上,新的组件产品的发布都让人应接不暇,大家对此都
原创
发布博客 2020.08.24 ·
3789 阅读 ·
5 点赞 ·
0 评论 ·
14 收藏

Hadoop 链接数过高导致的问题

Hadoop 链接数过高导致的问题运行时候报异常could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this operation.根据报错的意思来看,有1个datanode正在运行,而且...
原创
发布博客 2020.03.30 ·
1755 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

HDFS常见的问题和处理方法积累

Hadoop常见问题与解决办法问题1:reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限问题描述:问题剖析:解决方案:问题2:Too many fetch-failures问题描述:问题剖析:解决方案:问题3:处理MR速度特别的慢问题描述:问题剖析:解决方案:问题4:能够启动datanode,但无法访问,也无法结束问题描述:问题剖析:解决方案:问题5:节点断联问题描述:...
翻译
发布博客 2019.08.14 ·
7408 阅读 ·
2 点赞 ·
0 评论 ·
32 收藏

HDFS客户端写操作与输出流详解

客户端在执行文件写操作前,首先需要调用DistributedFileSystem.create()创建一个空的HDFS文件,然后create()方法会调用DFSClient.create()方法创建DFSOutputStream对象,并将这个对象包装成HDFSDataOutputStreams输出流,这样客户端就可以在输出流HDFSDataOutputStream对象上调用write方法执行写操作...
原创
发布博客 2018.03.17 ·
1864 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

HDFS客户端读操作的详细过程

在HDFS客户端实现中,最重要也是最复杂的一部分就是文件的读写操作。打开文件 当客户端读取一个HDFS文件时,首先会调用DistributedFileSystem.open()方法打开这个文件,open方法首先会调用DFSCklient.open()方法创建HDFS文件对应的DFSInputStream输入流对象,然后构建一个HDFSDataInputSream对象包装DFSInputStr...
原创
发布博客 2018.03.17 ·
1645 阅读 ·
1 点赞 ·
0 评论 ·
2 收藏

DataXceiver写数据的过程详解

在上篇文章中,已经介绍了DataXceiver读取数据的详细过程。这篇文章就讲解一下流式接口向数据节点写数据的操作,DataTransferProtocol.write()方法给出了写操作的接口定义,操作码是80,DataXceiver.writeblock()则真正实现了DataTransferProtocol.writeblock()方法。 我们知道,HDFS使用数据流管道来写数据,DFSC...
原创
发布博客 2018.03.15 ·
951 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

详解DataXceiver读数据的流程和零拷贝数据传输

我们知道DataXceiverServer主要用于监听并接收流式接口请求,然后建立并启动DataXceiver对象。DataXceiver是Receiver的子类,DataTransferProtocol真正的响应操作都是在DataXceiver类中实现的。 流式接口中最重要的一个部分就是客户端从数据节点上读取数据块,DataTransferProtocol.readBlock()给出了读取操作...
原创
发布博客 2018.03.15 ·
960 阅读 ·
1 点赞 ·
0 评论 ·
2 收藏

HDFS1.X架构和HDFS2.X架构

HDFS1.X的架构从逻辑空间上可以分为两层。 Namespace 和 Block Storage Service;   其中,Namespace 层面包含目录、文件以及块的信息,支持对Namespace相关文件系统的操作,如增加、删除、修改以及文件和目录的展示;   而Block Storage Service层面又包含两个部分:   ①Block Management(块管理)维护集群...
原创
发布博客 2018.03.13 ·
1793 阅读 ·
0 点赞 ·
0 评论 ·
4 收藏
加载更多