- 博客(32)
- 收藏
- 关注
RSS订阅转载 第11期面授mongodb教学大纲（课程已讲）
一、NoSQL理论基础 1.1 什么是NoSQL? 1.1.1 NoSQL普遍采用的技术 1.1.2 NoSQL的优势和劣势 1.1.3 NewSQL及其常见的实现 1.2 分布式系统面临的问题 1.2.1 CAP理论及实例验正 1.2.2 BASE机制 1.3 一致性模型...
2019-09-15 18:35:33
245
转载 Xen虚拟化之一：Xen环境组件详解
Xen是一个开放源代码虚拟机监视器(Virtual Machine Monitor，简称为VMM)，由剑桥大学开发，它致力于实现在单个计算机上运行多达128个有完全功能的操作系统。Xen通过一种叫做半虚拟化(paravirtualization)的技术获得高效能的表现（较少的效能损失，典型的情...
2019-09-15 18:35:21
1860
转载 自动化运维专题之zabbix课程内容大纲
一、监控系统概述 1.1 网络监控概述 1.2 SNMP协议概述 1.2.1 SNMP协议框架 1.2.2 SNMP协议基本工作原理 1.3 监控系统实现目标 1.3.1 数据收集 1.3.2 数据存储 1.3.3 数据分析及展示 1.3.4 报警 1.4 监控系统的实...
2019-09-15 18:35:16
352
转载 Hadoop系列之六：分布式文件系统HDFS
1、MapReduce与分布式文件系统 前面的讨论中，我们已经得知，Hadoop中实现的MapReduce是一个编程模型和运行框架，它能够通过JobTracker接收客户提交的作业而后将其分割为多个任务后并行运行在多个TaskTracker上。而问题是，这些TaskTracker如何高效获...
2019-09-15 18:35:09
166
转载 Hadoop系列之四：MapReduce进阶
1、mapper和reducer MapReduce对数据的处理分为两个阶段：map阶段和reduce阶段，这两个阶段分别由用户开发的map函数和reduce函数完成，在MapReduce运行环境中运行时，它们也分别被称为mapper和reducer。 键值对(key-value ...
2019-09-15 18:35:05
315
转载 自动化运维专题之puppet课程内容大纲
第一部分 puppet基础 一、puppet概述 1.1 puppet功能简介 1.2 puppet项目说明 二、puppet基础原理 2.1 puppet基础概念 2.1.1 资源 2.1.2 资源清单 2.1.3 类 2.1.4 模块 2.1.5 catalog...
2019-09-15 18:35:01
167
转载 Hadoop系列之八：Hadoop集群
1、合并MapReduce集群与HDFS集群 在调度运行一个作业时，将map任务等直接运行于要处理的数据所存储的HDFS的数据节点上，可避免大量的数据传输，实现数据处理的本地性，进而大大提高整个过程的完成效率，这也正是Hadoop集群的部署方式。如下图所示。 在一个小于50个节点的小规...
2019-09-15 18:34:57
209
转载 Hadoop系列之五：MapReduce进阶(2)
1、MapReduce作业、集群及其逻辑架构 前文已经描述，MapReduce是一个编程框架，它为程序员提供了一种快速开发海量数据处理程序的编程环境，并能够让基于这种机制开发出的处理程序以稳定、容错的方式并行运行于由大量商用硬件组成的集群上。同时，MapRed...
2019-09-15 18:34:53
139
转载 Hadoop系列之二：大数据、大数据处理模型及MapReduce
1、大数据(big data) 什么是大数据？wikipedia上面给出了这样的定义： In information technology, big data is a collection of data sets so large and complex that it become...
2019-09-15 18:34:49
533
转载 关于Hadoop系列文章
Hadoop整个系列文章还要涉及到以下话题： 1、HDFS命令行接口的使用； 2、完全分布式Hadoop； 3、Hadoop硬件选型； 4、Hadoop调优； 5、Hadoop调度方法、常用参数、调优； 6、Hadoop集群维护(增减节点等)； 7、Hadoop安全：基于Kerberos认证...
2019-09-15 18:34:45
292
转载 Hadoop系列之三：函数式编程语言和MapReduce
1、MapReduce和大数据问题 海量数据并行处理的核心思想无非是将一个较大的问题进行“分割包围、逐个歼灭”。然而其难点和关键点在于如何将一个大的问题分分割成多个可以分别在不同的CPU上或不同的主机上进行处理的独立小问题，而且这些独立进行处理的小问题所产生的中间结果又...
2019-09-15 18:34:41
162
转载 Hadoop系列之七：分布式文件系统HDFS(2)
1、访问HDFS文件系统 HDFS是工作于用户空间的文件系统，它的树状文件系统是独立的，不能像传统上工作于内核空间的文件系统一样挂载至当前操作系统的目录树上对HDFS进行访问，传统上实现文件或目录管理的命令如ls、cat等此处也无法正常使用。对HDFS文件系统上的文件进行访问，需要通过HDF...
2019-09-15 18:34:37
106
转载 Linux运维人员成长之路学习书籍推荐（未完整，有待补充）
在此前的公开课中，有期望从事Linux运维的童鞋希望推荐一些学习书籍，在此先罗列一些我们在成长之路上曾经读到过并觉得不错的书籍，推荐给有需要者。 公开课：Linux运维岗位知识结构发展路线 入门书： 《鸟哥的私房菜（基础篇）》 《鸟哥的私房菜（服务篇）》 《Linux命令行与...
2019-09-15 18:34:28
206
转载 Hadoop系列之九：Hadoop集群伪分布式模式的实现详解
1、Hadoop依赖软件 Hadoop基于Java语言开发，因此其运行严重依赖于JDK(Java Development Kit)，并且Hadoop的许多功能依赖于Java 6及以后的版本才提供的特性。Hadoop可以良好地运行于经过测试的各JDK，如Sun JDK、OpenJD...
2019-09-15 18:34:24
496
转载 Hadoop系列之十：Hadoop配置文件及常用配置参数详解(未完成)
1、Hadoop的配置文件 hadoop-env.sh: 用于定义hadoop运行环境相关的配置信息，比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的位置等； ...
2019-09-15 18:34:21
367
转载 马哥Linux线下活动和学员风采
马哥Linux每期会野外拓展训练、线下活动，我们不仅有训练营式的充实学习，也有轻松愉快的野外拓展训练。在马哥教育，你不仅仅只是学到只是技术！！ 课堂一角： 野外拓展 线下交流 学员参...
2019-09-15 18:34:17
105
转载 SSL，TLS协议与OpenSSL "心血"heartbleed漏洞之伤
一声惊雷，今天爆出了一个关于SSL协议的惊天大漏洞，在用完各种poc工具后，我们不妨来深入了解下这个高危漏洞的机理。 不管你是用网上公布的检测网站还是各个QQ群疯传的poc 脚本，知其然还要知其所以然，让我们知道漏洞形成的条件，以及漏洞产生的原理，如何修复这个惊天大漏洞。 ...
2019-09-15 18:34:13
747
转载 为Python安装第三方模块
转载请注明出处：http://mageedu.blog.51cto.com，谢谢！ 一、基本安装 Python Distribution Utilities(Distutils)在Python 2.0时引入，其极大地方便了对第三方模块的管理。通常，模块作者提供的模块可能会以不同的形...
2019-09-15 18:34:09
151
转载 IT人，给你一片天，你真的敢要么
案例一： 你是否厌倦了你现在的工作，你是不是不想再坚持下去了，感觉每天都在做重复的工作，感觉手上的那些工作对你来说既不能增长你的能力又不能给你增加工资。那点技术一点含金量都没有，你现在的处境简直是糟糕透了。。。。 案例二： 你是否眼红别人一个个...
2019-09-15 18:33:45
304
转载 ELK 日志分析实例
网海过客 www.chinasa.net ELK 日志分析实例 一、ELK-web日志分析 二、ELK-MySQL 慢查询日志分析 三、ELK-SSH登陆日志分析 四、ELK-vsftpd 日志分析 一、ELK-web日志分析 通过logstash grok正则将web日志...
2016-06-18 15:44:00
471
转载 Elasticsearch教程-从入门到精通
各位运维同行朋友们，大家好，非常高兴能有这么个机会与大家一起交流一些技术问题。此前的各位分享达人们在技术领域或管理领域均有十分精彩的分享，他们带给我们的是多个领域中研究或实践的最前沿知识。这使我本人获益良多，首先要郑重感谢他们。 开始之前，本人首先做一下自我介绍。 马永亮，...
2016-01-11 22:41:00
119
转载 linux运维实战练习-2015年11月8日-11月17日课程作业（练习）安排
注：本次作业适用于中级班、高级班和套餐班。I.作业（练习）内容： 一、iptables类作业 前提：INPUT和OUTPUT默认策略为DROP； 1、限制本地主机的web服务器在周一不允许访问；新请求的速率不能超过100个每秒；web服务器包含了admin字符串的页面不允许访...
2016-01-11 22:38:00
142
转载 linux运维实战练习案例-2015年12月20日-12月31日（第一次）
一、实战案例(练习)内容假如你学习完Linux，想找一份儿Linux相关的运维工作，某天你接到一家公司给出的邀请，你来到该公司面试，面试前，运维主管给你出了一些简单的笔试题，题目如下：1、创建一个10G的文件系统，类型为ext4，要求开机可自动挂载至单独数据/data目录；2、显示...
2016-01-11 22:37:00
111
转载 Linux运维实战训练――学员优秀作业评选
8月27日正则表达式的作业，学员们都积极保质保量完成，马哥和51CTO学院经过层层筛选，最终评选出了5位学员的优秀作业。口头表扬不实际，当然要来点给力的！此次评选为优秀作业的小伙伴每人可获得两项奖品： 1.萌萌的51CTO学院大号吉祥物（40厘米）；（见附图一） 2.超实...
2016-01-11 22:36:00
177
转载 新一期Linux运维课程已经多角度引入CentOS 7
下面是课堂上讲述配置CentOS 7的PXE安装环境时的截图：下面是实验DNS主从时的截图：本文出自 “马哥Linux培训” 博客，请务必保留此出处http://mageedu.blog.51cto.com/4265610/1532946 ...
2016-01-11 22:22:00
69
转载 Python的数据模型
一、对象、值和类型对象是Python对于数据的抽象，Python中的所有数据均通过对象或对象间的关系进行表示。每个对象都有其标识符(identity)、类型和值，其中标识符和类型是不可变的，而有些对象的值可以改变。可以把对象的标识想像为对象在内存的中起始地址，因此，一旦对象创建后，其标...
2016-01-11 22:14:00
117
转载 Hadoop系列之一：大数据存储及处理平台产生的背景
传统的关系型数据库中的表通常由一个或多个字段组成，每个字段都预先定义了其可存储数据的格式及约束等，这类的数据就是结构化数据(structured data)。一个设计良好的数据库在其schema中定义这些格式或约束，并由相应的RDBMS为这些提供实现保证。相应地，非结构化数据(unstruct...
2016-01-11 21:50:00
141
转载 MySQL 5.5 服务器变量详解(二)
innodb_adaptive_flushing={ON|OFF} 设定是否允许MySQL服务器根据工作负载动态调整刷写InnoDB buffer pool中的脏页的速率。动态调整刷写速率的目的在于避免出现IO活动尖峰。默认值为ON。作用范围为全局级别，可用于选项文件，属动态变量。 ...
2016-01-11 21:48:00
99
转载 MySQL性能优化之一：提高MySQL并发能力的思路
1、使用行级别锁，避免表级别或页级别锁尽量使用支持行级别锁的存储引擎，如InnoDB；只在读操作显著多于写作的场景中(如数据仓库类的应用）使用表级别锁的存储引擎，如MyISAM;。2、降低热巨锁(hot gaint lock)出现的可能性以尽可能避免全局互斥量临界区(仅允许单一线...
2016-01-11 21:39:00
207
转载 关系型数据库的性能扩展思路及NoSQL产品的选取标准
一、关系型数据库面对数据访问的压力，通常采取的解决方案步骤（以MySQL为例）1、主从复制，实现读写分离或分布读；2、读请求比较多，可添加缓存服务器，如Memcached，以提升读性能；但此时得手动维护数据的一致性；3、写请求较多的场景，可简单进行向上扩展，使用性能更强的服务器以应付更多...
2016-01-11 21:38:00
222
转载 MySQL 5.5 服务器变量详解(一)
autocommit={0|1}设定MySQL事务是否自动提交，1表示立即提交，0表示需要显式提交。作用范围为全局或会话，可用于配置文件中(但在5.5.8之前的版本中不可用于配置文件)，属于动态变量。automatic_sp_privileges={0|1}设定MySQL服务器是...
2016-01-11 21:35:00
99
转载 使用Xtrabackup进行MySQL备份
一、安装 1、简介 Xtrabackup是由percona提供的mysql数据库备份工具，据官方介绍，这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具。特点： (1)备份过程快速、可靠； (2)备份过程不会打断正在执行的事务； (3)能够基于...
2016-01-11 21:27:00
71
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人