- 博客(16)
- 资源 (4)
- 收藏
- 关注
原创 MySQL入门第一课:在windows上安装mysql-8.0.27-winx64
https://github.com/Hackeruncle/MySQL/blob/master/MySQL%205.6.23%20Install.txt1.Download[root@sht-sgmhadoopnn-01 ~]# cd /usr/local#选择win7的mysql软件包[root@sht-sgmhadoopnn-01 local]# rz2.Check isnot...
2017-12-31 16:51:13 755
原创 详解hadoop1.x和hadoop2.x的区别及补充hadoop3.x新特性
hadoop1.x和hadoop2.x的主要区别在于: 1、hadoop1.x没有提供架构中主节点namenode及jobtrack的高可用及负载均机制。而在hadoop2.x中有。 2、第二个区别就体现在mapreduce的架构设计上,hadoop1.x中mapreduce兼具计算和资源调度两个作用, 而在hadoop2.x中则将mapreduce中的资源调度功能...
2017-12-24 22:31:37 3835
转载 【调优经典】YARN and MapReduce的内存优化配置详解
在Hadoop2.x中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container。使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求, 然后YARN会通过分配Container来给每个应用提供处理能力,...
2017-12-24 17:01:12 410
转载 【调优经典】Yarn的Memory和CPU调优配置详解
Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用。YARN作为一个资源调度器,应该考虑到集群里面每一台机子的计算资源,然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位,具有一定的内存以及CPU资源。在YARN集群中,平衡内存、CPU、磁盘的资源的很重要的,根据经...
2017-12-24 16:56:46 1615
原创 所有HDFS磁盘数据存储不均情况的终极处理方案
一、多节点存储不均1、现有多节点存储不均:1、先设置带宽 hdfs dfs -setBalancerBandwith 字节数2、然后执行脚本start-balancer.sh -threshold n 或者 hdfs balancer -threshold n说明: 第1步: 设置的带宽为datanode间平衡数据时消耗的最大带宽,默认值为10...
2017-12-23 21:38:50 1268
转载 Hadoop yarn任务调度策略介绍
本文将介绍HadoopYARN提供的三种任务调度策略:FIFO Scheduler,Capacity Scheduler 和 Fair Scheduler。1、FIFO Scheduler 顾名思义,这就是先进先出(first in, first out)调度策略,所有的application将按照提交的顺序来执行,这些 application 都放在一个队列里,只有在...
2017-12-22 22:12:40 689
原创 Postfix配置QQ邮箱发邮件
配置QQ邮箱发邮件1、这里使用了QQ邮箱的SMTP,需要做以下配置2、qq邮箱通过生成授权码来设置密码 3、关闭服务器的sendmail服务,开启postfix服务4、创建证书文件 root@zydatahadoop001 rundeck]# mkdir -p /root/.certs/[root@zydatahadoop001 rundeck]# echo -n | openssl s_clie...
2017-12-20 10:12:46 6839
原创 大数据相关组件概述
大数据相关组件概述1、大数据开发和运维 开发: java、scala hive/spark 运维: shell+CDH平台2、大数据组件: 数据抽取收集: SQOOP1/2、Flume 消息中间件: MQ、Kafka 存储: HDFS(分布式文件系统)、HBase(实时列式数据库)、Hive(离线数据库)、Kudu 计...
2017-12-19 20:23:07 2446
原创 调度工具Rundeck安装使用
调度工具rundeck1、常用的调度工具:crontab、azkaban、rundeck、xxl_job2、部署rundeck(先部署好满足版本要求的java) a.下载:rundeck.org--------Download Rundeck-------Rundeck Core(免费,功能弱一些)------Rundeck-launcher-*.jar b.将jar上传到linux的...
2017-12-19 19:22:26 2156
原创 深入剖析HDFS架构设计
HDFS架构设计1、HDFS的三个进程 NameNode:接受客户端请求、管理hdfs、维护文件元信息和操作日志 DataNode:存储数据块和数据块校验和、通过水平复制使文件冗余度满足要求 SecondaryNameNode:对文件元信息(fsimage文件)和操作日志(edits文件)进行合并2、block大小和副本数b...
2017-12-19 11:20:40 918
原创 Hadoop伪分布搭建
hadoop伪分布模式配置1、配置好网络,关闭iptables,关闭selinux。配置网络参考:Linux配置静态ip访问外网关闭防火墙: service iptables stop chkconfig iptables off关闭selinux: setenforce 0 vi /etc/selinux/config SELI...
2017-12-16 23:28:59 764
原创 Hadoop-2.8.1源码编译【附相关软件】
hadoop源码编译的理由为什么要编译? 答:hadoop提供了很多组件的本地实现,来解决由于性能原因或者某些java类库的缺失造成的问题。 而这些组件保存在hadoop的本地库里,编译hadoop即是构建本地库的过程。 说人话就是,为经过编译的hadoop功能不完善,比如hadoop要支持压缩,就必须编译。1、准备工作1、cd /opt/sou...
2017-12-16 16:37:25 385
原创 MySQL基础
大数据预备课程之mysql基础一、数据库1、概念 a.主要分为两大类:关系型数据库和非关系型数据库 b.所谓的关系型数据库就是指基于二维表的关系模型,即行和列所建立的数据库。常用的关系型数据库有Orcale、 MySQL、PostgreSQL。 c.非关系型数据库就是指列式数据库。常用的非关系型数据库有HBase、Redis...
2017-12-11 18:37:44 388 1
原创 Linux配置静态ip访问外网
linux配置静态ip访问外网1、关闭windows的防火墙,开启windows的两个服务:VMware DCHP service 和VMware NAT service.2、关闭虚拟机防火墙3、关闭selinux. 临时关闭:setenforce 0(重启失效) 永久关闭...
2017-12-10 16:26:06 7189
原创 Linux克隆
linux克隆需求: 将rzdatahadoop001复制出一台rzdatahadoop002,使rzdatahadoop002独立运行且能访问外部网络1-1、找到rzdatahadoop001的虚拟机安装目录,将该目录内所有文件复制到rzdatahadoop002的安装目录下。1-2、将rzdatahadoop002中复制而来的.lck文件全部删除。...
2017-12-10 15:21:40 582
原创 Linux常用命令二
Linux常用命令二1、用户和用户组用户:使用操作系统的人用户组:具有相同权限的一组用户 /etc/passwd 存储用户登录信息/etc/group 存储用户组信息useradd 用户名 添加一个用户userdel 用户名 删除一个用户groupadd 用户组名 添加一...
2017-12-03 20:45:15 342
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人