Null的博客

原创 Linux软件包管理相关知识

软件包管理-简介一般来说著名的 Linux 系统基本上分两大类：RedHat 系列：Redhat、Centos、Fedora 等 Debian 系列：Debian、Ubuntu 等Dpkg (Debian系)：Ubuntu RPM (Red Hat系)：CentOS、FedoraRedHat 系列常见的安装包格式 rpm 包，安装rpm包的命令是“rpm -参数” 包管...

原创 Linux SELinux

 SELinux（Security Enhanced Linux）系统资源都是通过进程来读取更改的，为了保证系统资源的安全，传统的Linux使用用户、文件权限的概念来限制资源的访问，通过对比进程的发起用户和文件权限以此来保证系统资源的安全，这是一种自由访问控制方式（DAC）；但是随着系统资源安全性要求提高，出现了在Linux下的一种安全强化机制（SELinux），该机制为进程和文件加入了除...

原创 Kafka 源代码分析之LogSegment

这里分析kafka LogSegment源代码通过一步步分析LogManager,Log源代码之后就会发现,最终的log操作都在LogSegment上实现.LogSegment负责分片的读写恢复刷新删除等动作都在这里实现.LogSegment代码同样在源代码目录log下.LogSegment是一个日志分片的操作最小单元.直接作用与messages之上.负责实体消息的读写追加等等.LogS...

原创 MapReduce的整个详细过程

原创 Hive、Hbase、mysql区别

Hive和HBase的区别Hive是为了简化编写MapReduce程序而生的，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要Hive这样的用戶编程接口。Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑，就是些表的定义等，也就是表的元数据。使用SQL实现Hive是因为SQL大家都熟悉...

原创 spark比MapReduce快的原因是什么？（比较完整）

1、spark是基于内存进行数据处理的，MapReduce是基于磁盘进行数据处理的MapReduce的设设计：中间结果保存在文件中，提高了可靠性，减少了内存占用。但是牺牲了性能。Spark的设计：数据在内存中进行交换，要快一些，但是内存这个东西，可靠性不如磁盘。所以性能方面比MapReduce要好。DAG计算模型在迭代计算上还是比MapReduce的效率更高2、spark中具有DAG有...

原创 八大排序算法的Python实现

八大排序算法1、插入排序描述插入排序的基本操作就是将一个数据插入到已经排好序的有序数据中，从而得到一个新的、个数加一的有序数据，算法适用于少量数据的排序，时间复杂度为O(n^2)。是稳定的排序方法。插入算法把要排序的数组分成两部分：第一部分包含了这个数组的所有元素，但将最后一个元素除外（让数组多一个空间才有插入的位置），而第二部分就只包含这一个元素（即待插入元素）。在第一部分排序完成后...

原创 大数据相关开源项目汇总

调度与管理服务**Azkaban **是一款基于Java编写的任务调度系统任务调度，来自LinkedIn公司，用于管理他们的Hadoop批处理工作流。Azkaban根据工作的依赖性进行排序，提供友好的Web用户界面来维护和跟踪用户的工作流程。**YARN **是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapReduce框架的性...

原创 docker容器技术之系统资源限制及验正（八）

前一篇文章：docker容器技术之私有registry（七）测试：限制内存：限制cpu：          

原创 linux wget 命令用法详解(附实例说明)

Linux wget是一个下载文件的工具，它用在命令行下。对于Linux用户是必不可少的工具，尤其对于网络管理员，经常要下载一些软件或从远程服务器恢复备份到本地服务器。如果我们使用虚拟主机，处理这样的事务我们只能先从远程服务器下载到我们电脑磁盘，然后再用ftp工具上传到服务器。这样既浪费时间又浪费精力，那不没办法的事。而到了Linux VPS，它则可以直接下载到服务器而不用经过上传这一步。wget...

原创 Linux lftp命令和ftp命令用法解析与示例

首先我们来说说 lftplftp是一个文件客户端程序，它支持ftp、SETP、HTTP和FTPs等多种文件传输协议。lftp支持tab自动补全，记不得命令双击tab键，就可以看到可能的选项了。1. 语法和常用参数lftp(选项)(参数)#参数为要访问的站点的ip地址或者域名。-f：指定lftp指令要执行的脚本文件；-c：执行指定的命令后退出；--help：显示帮助信息；-...