hadoop性能调优

一、 Hadoop概述 随着企业要处理的数据量越来越大,MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现,由于其良好的扩展性和容错性,已得到越来越广泛的应用。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)...

2019-07-04 17:27:04

阅读数 36

评论数 0

并行、分布式、集群、云计算 关系

1. 并行计算(Parallel Computing)     并行计算或称平行计算是相对于串行计算来说的。并行计算(Parallel Computing)是指同时使用多种计算资源解决计算问题的过程。为执行并行计算,计算资源应包括一台配有多处理机(并行处理)的计算机、一个与网络相连的计算机专有编...

2019-05-05 16:03:56

阅读数 30

评论数 0

SSO 单点登录

1. 摘要 ( 注意:请仔细看下摘要,留心此文是否是您的菜,若浪费宝贵时间,深感歉意!!!) SSO这一概念由来已久,网络上对应不同场景的成熟SSO解决方案比比皆是,从简单到复杂,各式各样应有尽有!开源的有OpenSSO、CAS ,微软的AD SSO,及基于kerberos 的SSO等等……这...

2019-01-03 16:56:44

阅读数 86

评论数 0

大数据平台建设

分布式系统基础架构Hadoop author: time:2018-12-12 分布式系统基础架构Hadoop Hadoop详细介绍 Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存...

2018-12-12 09:24:57

阅读数 611

评论数 1

json长这个样

.前言     JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。 易于人阅读和编写。同时也易于机器解析和生成。 它基于JavaScript Programming Language, Standard ECMA-262 3rd Edition - D...

2018-08-20 10:46:52

阅读数 315

评论数 1

yum无连接外网的安装实现

希望对大家有用,各位有更好的方法,也希望给分享下前言:在centos上,使用yum安装软件很方便,比如安装gcc,java等, 但是在没有网络的情况下呢?我之前就碰到过这么一个问题,在一个没有外网的环境内,我需要安装GCC等工具, 然后有人推荐我先去其他电脑下载对应的rpm包,然后在拷贝过去安装。...

2018-06-13 11:37:36

阅读数 2491

评论数 0

星际传说中的IPFS原理

大约1亿万年前,浩瀚的宇宙中。。。。。。。前言:    1943年,IBM董事长托马斯.沃森笃定地告诉人们:“我想,5台主机足以满足整个世界市场。”后来,随着个人电脑市场的兴起,人们将这句话当做一句笑话。但是,在云计算进入大众视野的时候,又开始盛传一句话:“全世界只需要5台电脑,Google一台,...

2018-06-13 10:34:57

阅读数 576

评论数 0

IPFS(星际文件系统)

吃青菜的Filecoin马蜂机和吃肉的IPFS希望读者一步到位,多花点时间,读完这篇文章,看懂了,以后关于IPFS的文章便能一笑置之。IPFS是什么?它是一个协议也是一个网络,已经运行了2年半,并非虚无缥缈的空气。它像比特币网络一样,并没有发明什么新技术,他只是将很多种技术(P2P网络技术、Bit...

2018-06-13 09:59:45

阅读数 1565

评论数 1

linux启动过程

本文记录下linux系统的启动过程,分析下每一步都做了什么。一、linux系统的启动过程  1.加载BIOS,上电自检。因为BIOS中包含了CPU的相关信息、设备启动顺序信息、硬盘信息、内存信息、时钟信息、PnP特性     等。通过BIOS的设置,计算机就知道去读取哪个硬件设备了。  2.读取M...

2018-06-01 11:48:37

阅读数 444

评论数 0

linux下查看硬盘信息、硬盘分区、格式化、挂载、及swap分区

df 命令参看硬盘信息-T选项, 查看文件系统类型centos6文件系统是ext4,因为设计较早,对于现今动辄上T的海量数据处理,性能较低。centos7文件系统是xfs,适用于海量数据。这两种文件系统都是日志文件系统。使用该文件系统的磁盘,空间包括两部分:日志空间和存储空间。写入的数据是先暂存在...

2018-05-25 16:10:05

阅读数 5471

评论数 2

p2p简介

转自、转自、转自一、P2P实现的原理1.1 基本概念首先先介绍一些基本概念,NAT(Network Address Translators),网络地址转换:  网络地址转换是在IP地址日益缺乏的情况下产生的,它的主要目的就是为了能够地址重用。  NAT从历史发展上分为两大类:      基本的NA...

2018-03-16 13:43:33

阅读数 1342

评论数 0

视频分辨率、码流、帧率、带宽、存储空间

帧速率跟清晰度是没有关系的。码流率和清晰度是有关系的,码流率越大清晰度越大。帧速率(画面的实时性、流畅性):是指每秒钟刷新的图片的帧数,也可以理解为图形处理器每秒钟能够刷新几次。对视频内容而言,帧速率指每秒所显示的静止帧格数。要生成平滑连贯的动画效果,帧速率一般不小于8;而电影的帧速率为24fps...

2018-03-16 13:39:06

阅读数 3733

评论数 0

keepalived的工作原理及配置说明

keepalived是什么 keepalived是集群管理中保证集群高可用的一个服务软件,其功能类似于heartbeat,用来防止单点故障。 keepalived工作原理 keepalived是以VRRP协议为实现基础的,VRRP全称Virtual Router Redundancy Pro...

2017-10-11 21:46:49

阅读数 273

评论数 0

mysql 主从复制原理

Mysql的 Replication 是一个异步的复制过程,从一个 Mysql instace(我们称之为 Master)复制到另一个 Mysql instance(我们称之 Slave)。在 Master 与 Slave 之间的实现整个复制过程主要由三个线程来完成,其中两个线程(Sql线程和IO...

2017-09-20 12:00:08

阅读数 322

评论数 0

使用TinyXML读写xml文件

1、TinyXML    引用网上的原话:TinyXML是目前非常流行的一款基于DOM模型的XML解析器,简单易用且小巧 玲珑,非常适合存储简单数据,配置文件,对象序列化等数据量不是很大的操作。支持对XML的读取和修改,不直接支持XPath,需要借助另一个相关的类库TinyXPath...

2017-09-05 23:21:11

阅读数 3962

评论数 0

MySQL5.7密码list中password变了为authentication_string

新安装的MySQL5.7,登录时提示密码错误,安装的时候并没有更改密码,后来通过免密码登录的方式更改密码,输入update mysql.user  set password=password('root') where user='root'时提示ERROR 1054 (42S22): Unkno...

2017-07-11 22:26:15

阅读数 12324

评论数 1

mysql5.7号称永久解决了复制延迟问题的并行复制

[MySQL] 号称永久解决了复制延迟问题的并行复制,MySQL5.7 一、缘由:   某天看到主从复制延时的告警有点频繁,就想着是不是彻底可以解决一下。   一般主从复制,有三个线程参与,都是单线程:Binlog Dump(主) ----->IO Thread (从) -----...

2017-07-10 22:43:15

阅读数 573

评论数 0

linux中mysql用到my.cnf

建立主从关系时用到的my.cnf 主 [root@ha33 ~]# more /etc/my.cnf [mysqld] server_id=3 #服务器ID,不能相同 relay_log_purge=0 log-bin=binlog #开启二进制日志,二进制日志名为:binlog.000n log...

2017-07-06 14:10:15

阅读数 6019

评论数 0

show slave status \G 分析

MySQL同步功能由3个线程(master上1个,slave上2个)来实现。 执行 DE>START SLAVEDE> 语句后,slave就创建一个I/O线程。I/O线程连接到master上,并请求master发送二进制日志中的语句。master创建一个线程来把日志的内容发送到slav...

2017-06-23 17:01:12

阅读数 412

评论数 0

shell编程——if语句 if -z -n -f -eq -ne -lt

shell编程中条件表达式的使用   if  条件 then  Command else  Command fi                              别忘了这个结尾 If语句忘了结尾fi test.sh: line 1...

2017-06-20 22:56:07

阅读数 230

评论数 0

提示
确定要删除当前文章?
取消 删除