Linux
文章平均质量分 72
菜丸子
极致
展开
-
【操作系统之哲学导论】其它
一 fetch task开启fetch task如果没有函数和排序就不会触发mapreduce把hive.fetch.task.conversion设置成more二 本地模式大多数的Hadoop Job是需要Hadoop提供的完整的可扩展性来处理大数据集的。不过,有时Hive的输入数据量是非常小的。在这种情况下,为查询触发执行任务时消耗可能会比实际job的执行时间要多的多。对于大多数这种情...原创 2019-02-12 17:31:00 · 215 阅读 · 0 评论 -
【鸟哥Linux私房菜】Linux文件、目录与磁盘格式
一 概述call、apply、bind的作用是改变函数运行时this的指向。二 this1.方法调用模式当一个函数被保存为对象的一个方法时,,如果调用表达式包含一个提取属性的动作,那么它就是被当做一个方法来调用,此时的this被绑定到这个对象。 var a = 1 var obj1 = { a:2, fn:function(){ conso...原创 2019-06-21 14:56:46 · 194 阅读 · 0 评论 -
【Linux】特殊权限位
一、什么是 GuavaGuava工程包含了若干被Google的 Java项目广泛依赖 的核心库,例如:集合 [collections] 、缓存 [caching] 、原生类型支持 [primitives support] 、并发库 [concurrency libraries] 、通用注解 [common annotations] 、字符串处理 [string processing] 、I/O...原创 2017-02-27 11:00:19 · 331 阅读 · 0 评论 -
【Linux】系统级IO
课程目标:hbase存储模式hbase数据表解析hbase存储设计hbase数据存取解析一存储模式行式存储和列式存储以行位单位,底层每一行存储在一起。以列为单位,第一列存储完之后存第二列。行式存储:行式存储维护大量索引,随机读效率高。最大的特点对事务支持好。列式存储将每一列数据聚合在一起,利用列的相似性原理,便于压缩。查找不同列可以使用并行查询行式存储:表与表之间关联,且...原创 2019-01-28 23:11:22 · 164 阅读 · 0 评论 -
【Linux】网络优化
一 函数默认值// Beforefunction decimal(num, fix) { fix = fix === void(0) ? 2 : fix; return +num.toFixed(fix);}// Afterfunction decimal(num, fix = 2) { return +num.toFixed(fix);}ES6我们可以在...原创 2019-06-12 22:47:13 · 360 阅读 · 0 评论 -
tomcat-CVE-2017-12615
一 deque使用deque在队列两端添加(append)或弹出(pop)元素的算法复杂度大约是O(1),但是对于list对象改变列表长度和数据位置的操作例如 pop(0)和insert(0, v)操作的复杂度高达O(n)。# iterable和maxlen可以没有deque(iterable, maxlen)1.双端队列⑴ append 右添加⑵ appendleft 左添加⑶...原创 2019-07-07 18:17:53 · 148 阅读 · 0 评论 -
【Linux】火焰图
火焰图可以展示出CPU的调用栈颜色没有任何意义x轴不代表时间,同一个父调用就会从左到右以字母序排列y轴就是调用栈,每一层都是一个函数,下面是父函数一个正常的火焰图是山峰,而异常是平顶山...原创 2017-07-28 23:42:04 · 270 阅读 · 0 评论 -
【操作系统之哲学导论】文件原理篇
开源搜索引擎,采用JAVA编写,提供restful api,支持横向扩展和PB级搜索。场景:海量搜索,每天有海量日志,比如几百TB,可以用ES站内搜索引擎数据仓库,可以存储PB级别的结构化和非结构化数据ES版本1.x .2x 5.x尽量选择最新的安装:json结构head插件安装,可以提供web界面ES集群安装索引:含有相同属性的文档集合,相当于sql中的一个数据库类型:...原创 2019-02-11 23:25:09 · 291 阅读 · 0 评论 -
【操作系统之哲学导论】内存原理篇
一 基础知识hive提供了一个Hive查询语言的SQL方言,来查询存储在hadoop集群中的数据。hive可以将大多数的查询转换为mapreduce任务(job)hive最适合静态数据分析,不需要快速响应给出结果,而且数据本身不会频繁变化。hive不支持记录级别的更新。不支持事务,延时比较严重。hive替代品pig不是基于SQL的,是一种数据流语言,而不是一种查询语言。pig常用于ET...原创 2019-02-08 23:58:55 · 341 阅读 · 0 评论 -
【操作系统之哲学导论】进程/线程管理篇
hadoop的功能和优势1.开源2.分布式存储3.分布式计算核心hdfs 分布式文件系统mapreduce 并行处理框架可以PB级数据处理。优势1.高扩展2.低成本3.成熟的生态圈hadoop生态系统和版本比如hive ,降低hadoop门槛。hbase放弃事务特性。实时的。hdfs:block:所有文件切分成相同大小的块(默认64MB)namenode:存放文件...原创 2019-02-04 10:02:26 · 331 阅读 · 0 评论 -
【网络基础】图解HTTP
一 pairRDD键值对RDD又叫做pairRDD,通常用来进行聚合运算二 创建pairRDD原创 2019-01-13 19:53:20 · 195 阅读 · 0 评论 -
【Linux】文件系统
一 概述在Python中,所有以“__”双下划线包起来的方法,都统称为“Magic Method”,中文称『魔术方法』,例如类的初始化方法。二 常用的魔术方法1. _init_()初始化方法,最常用的2. _new_()在初始化方法之前执行,返回该类的一个实例3._del_()对象销毁前执行4._repr_()用来自定义对象的输出模式5._iter_()、_next_()一...原创 2019-07-06 12:53:31 · 381 阅读 · 0 评论 -
【unix】unix环境高级编程
一 创建⑴线程命名规则nioEventLoop-1-XX -1指的是线程池 -XX在group中的loop创建并保存线程执行器创建mpscQueue异步任务队列创建线程选择器,循环nioEventLoop数组二 启动1.服务端启动绑定端口2.新连接接入三 执行一个普通任务队列一个定时任务队列任务聚合时会把定时任务队列拉去到普通任务队列,保证串行无锁化四 亮点⑴⑵ha...原创 2019-10-02 23:27:55 · 1374 阅读 · 0 评论 -
【Linux】TOP
平常开发中有可能需要实现在项目启动后执行的功能,SpringBoot实现方案就是启动类实现CommandLineRunner接口,实现功能的代码放在实现的run方法中。 public static void main(String[] args) { SpringApplication.run(CIMServerApplication.class, args); LOGGER...原创 2019-06-24 21:37:22 · 227 阅读 · 0 评论 -
【JAVA】lsof
一 常见定位方案普通流默认,从上而下,行内元素水平排列,行满换行,块级元素渲染成一个新行。浮动先按普通流位置出现,然后根据浮动方向偏移。绝对定位元素具体位置由绝对定位坐标组成。二 BFC1. 什么是BFCBFC 即 Block Formatting Contexts (块级格式化上下文),属于普通流。可以把 BFC 理解为一个封闭的大箱子,箱子内部的元素无论如何翻江倒海,都...原创 2019-06-21 18:25:19 · 680 阅读 · 0 评论 -
【网络】安全基础概念
1.概述最常用的磁盘IO性能观测工具。它的指标来自于 /proc/diskstats2.使用方式主要option-d 显示磁盘使用情况-k 以 KB 为单位显示-m 以 M 为单位显示-x 显示详细信息[work(caibin)@bjdhj-63-189 ~]$ iostat -d -x 1 Linux 3.10.0-327.el7.x86_64 (bjdhj-63-189.5...原创 2020-01-04 22:30:37 · 119 阅读 · 0 评论 -
【Linux】磁盘
1.磁盘分类⑴机械硬盘(HDD)机械磁盘主要由盘片和读写磁头组成,数据就存储在盘片的环状磁道中。在读写数据前,需要移动读写磁头,定位到数据所在的磁道,然后才能访问数据,最小读写单位是扇区,一般大小为 512 字节⑵固态硬盘(SSD)固态磁盘不需要磁道寻址。性能高,最小读写单位是页,通常大小是 4KB、8KB 等。机械硬盘连续8个扇区或者固态硬盘一个单独的页组成一个逻辑块(管理数据的最小单...原创 2020-01-04 22:11:12 · 144 阅读 · 0 评论 -
【操作系统导论】虚拟化CPU
一、什么是File类用来抽象的表示文件或文件夹,这个File不一定存在。代表着java和资源的一个关联二、路径1. 拼接路径的方式第一种拼接方式:直接用/来分割第二种拼接方式:用File.separator2. 绝对路径和相对路径绝对路径:完整的文件路径相对路径:相对于项目的路径/*** * @author bincai * @email 1355869831@qq.com...原创 2018-10-05 00:29:02 · 278 阅读 · 0 评论 -
【Linux】pidstat
1.概述一般无需安装。用于监控全部或指定进程的cpu、内存、线程、设备IO等系统资源的占用情况。pidstat首次运行时显示自系统启动开始的各项统计信息,之后运行pidstat将显示自上次运行该命令以后的统计信息2.主要用法pidstat [ 选项 ] [ <时间间隔> ] [ <次数> ]3.和top的区别可以区分出用户态和内核态...原创 2020-01-04 00:34:14 · 224 阅读 · 0 评论 -
【Linux】Linux性能优化
事件,是整个模型的处理对象,当产生或触发(fire)一个事件时,该事件会沿着ChannelPipeline处理链依次被处理。原创 2019-08-24 22:43:24 · 379 阅读 · 0 评论 -
【数据分析46讲】基础篇
表示被注释的ChannelHandler是否能添加到多个ChannelPipeline中”all”表示ChannelHandler是无状态的,可被多个ChannelPipeline共享,”one”表示ChannelHandler只作用于单个ChannelPipeline中。ChannelPipelineCoverage只是个注释而已,并没有实际的检查作用。对于ChannelHandle...原创 2019-08-24 22:49:39 · 418 阅读 · 0 评论 -
【SHELL】基础
shell变量是弱类型,默认字符串,如果要做运算,要声明为数字型1.declare命令变量类型声明如果不声明,默认都是字符串型declare [+/-][选项] 变量名-i 声明为整形-p 显示声明的类型-a 数组 基本不用,不讲-x 环境变量,可以取代export,export执行的就是declare -x-r 只读属性,不能换值和删除,换属性都不行了,千万不要用把变量声明...原创 2019-01-07 23:23:25 · 162 阅读 · 0 评论 -
SHELL编程---EXCEPT(自动交互)
一、主要功能实现自动交互的功能二、安装Tcl编程工具三、安装EXCEPT注意 --前面有空格四、工作原理原创 2018-03-09 23:30:43 · 4063 阅读 · 0 评论 -
【Linux】VIM
文章目录1.vbundle⑴安装⑵安装EasyAlign1.vbundle⑴安装git clone https://github.com/gmarik/vundle.git会在 ~/.vim/下生成vundlevi ~/.vimrc把github上的配置文件贴上安装插件时运行:vim +PluginInstall +qall移除插件:进入vim,输入:PluginClean⑵安...原创 2019-08-23 23:34:28 · 382 阅读 · 0 评论 -
【Linux】命令
一 概述1.vuex是做什么的管理共享状态现在有两个页面 A 和 B,还有以下两个要求:要求它们都能对 count 进行操控。要求 A 修改了 count 后,B 要第一时间知道,B 修改后,A 也要第一时间知道。把数据源 count 剥离开来,用一个全局变量或者全局单例的模式进行管理,这样不就在任何页面都可以很容易的取到这个状态了。就是 Vuex 的工作。2.安装vuex具体看官...原创 2019-06-08 16:37:10 · 7776 阅读 · 2 评论 -
【Linux】系统优化
文章目录1.安装chrome无法启动1.安装chrome无法启动[0807/144244.712736:FATAL:nss_util.cc(627)] NSS_VersionCheck("3.26") failed. NSS >= 3.26 is requiredPlease upgrade to the latest NSS, and if you still get this er...原创 2019-07-12 20:38:23 · 260 阅读 · 0 评论 -
【Linux】基础
1.进程三种状态运行态 (Running) : 占有CPU,并在CPU上运行就绪态 (Ready): 已经具备运行条件,但由于没有空闲CPU,而暂时不能运行等待态 (Waiting/Blocked): 因等待某一事件而暂时不能运行:如等待读盘结果2.交换分区在内存小于2G的情况下,交换分区应为内存的2倍,超过2G的话,交换分区为物理内存加上2G3.文件权限⑴首先我们看一张图44...原创 2019-07-12 19:24:11 · 417 阅读 · 0 评论