![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据库
文章平均质量分 69
Jonechhc
这个作者很懒,什么都没留下…
展开
-
uber的配置
一、日志聚集相关配置参数(发送各个节点)1、概念:日志聚集是YARN提供的日志中央化管理功能,它能将运行完成的Container/任务日志上传到HDFS上,从而减轻NodeManager负载,且提供一个中央化存储和分析机制。默认情况下,Container/任务日志存在在各个NodeManager上,如果启用日志聚集功能需要额外的配置。2、参数配置说明:(1) yar原创 2017-11-30 16:16:09 · 604 阅读 · 0 评论 -
map-side-join /Reduce-side-join
一、Mapreduce-join概念Mapreduce-join分为两种:实例:祖孙三代的关系连接(1)、map-side-join 即在map端进行join,会在map端读取所有数据并进行join过滤。 【Map-side-join】Map-side-join思想:分布式缓存文件,读到内存中.Map-side-join实用场景:在那些需要处理的表中,存在一个非常大的表原创 2017-11-30 16:19:53 · 2224 阅读 · 0 评论 -
Linux介绍
Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。Linux操作系统诞生于1991年10 月5 日(这是第一次正式向外公布时间)。Linux原创 2017-11-30 15:45:13 · 508 阅读 · 0 评论 -
Hadoop
hadoop笔记 - hadoop/bin 存放常用命令,如hadoop,hdfs等。 - Hadoop/data 存放本地hdfs系统的信息 - hadoop/etc 目录下有一个hadoop目录,主要存放hadoop生态系统的配置文件 - hadoop/include 对外提供的编程头文件,主要是使用C++编写mapredurce程序是使用 -原创 2017-11-30 15:50:49 · 427 阅读 · 0 评论 -
ntp时间笔记
一、NTP时间服务器原理:使用环境:当一个计算机群体需要需要进行时间的严格同步,即可使用NTP服务器。NTP通信协议原理:1.首先主机server启动NTP。2. client客户端会向NTP服务器发送请求调整时间的message。3.然后NTP server会送出当前的标准时间给client4.client接受来自server的时间后,会根据这个信息来调整自己的时间。这样原创 2017-11-30 15:53:07 · 341 阅读 · 0 评论 -
hadoop面试题整理
1. 描述下Shuffle过程中分区?2.简单描述MapReduce不合适对哪些场景的使用?3. 简述Combiner 和partition的作用(1).combine分为map端和reduce端,作用是把同一个key的键值对合并在一起,可以自定义的。combine函数把一个map函数产生的对(多个key,value)合并成一个新的.将新的作为输入到reduce原创 2017-11-30 16:04:58 · 620 阅读 · 0 评论 -
shell
--------------------------shell script部分------------------------一、什么是shellshell是c程序写一门脚本语言,它主要承担是用户和linux系统使用的桥梁。shell编程指两方面,一个是对shell程序进行编程。一个是使用shell进行编程。二、shell有那些解释器?/bin/bash/bin/原创 2017-11-30 16:06:44 · 568 阅读 · 0 评论 -
zk的搭建
集群模式使用多台机器,确保每台机器的配置文件中都写上下列配置创建新文件vi /home/hadoop/zookeeper-3.4.7/conf/zoo.cfg多台机器中每台机器的配置文件内容都相同,内容如下:tickTime=2000initLimit=10syncLimit=5#在指定的目录下创建 一个zkmyid文件夹dataDir=/home/ha原创 2017-11-30 16:09:32 · 385 阅读 · 0 评论 -
zk配置参数说明
参数名 说明tickTime ZK中的一个时间单元。ZK中所有时间都是以这个时间单元为基础,进行整数倍配置的。例如,session的最小超时时间是2*tickTime。initLimit乘以2 初始化 Follower在启动过程中,会从Leader同步所有最新数据,然后确定自己能够对外服务的起始状态。Leader允许F在 initLimit 时间内完成这个工作。通常情况下,我们不用太在原创 2017-11-30 16:13:39 · 3563 阅读 · 0 评论 -
Linux下安装MySQL
Linux下安装MySQL (rmp --help)基本步骤:上传软件->检查当前Linux环境是否已经安装,如发现系统自带的,先卸载->安装—>验证.1、检查是否安装mysql:查询所有安装过的软件:rpm -qa检查是否安装mysqlrpm -qa|grep mysql 或者 rpm -qa | grep -i mysql卸载自带的mysql卸载软件:rpm -原创 2017-11-30 16:21:28 · 304 阅读 · 0 评论