Jonechhc-CSDN博客

原创 Linux下安装MySQL

Linux下安装MySQL (rmp --help)基本步骤:上传软件->检查当前Linux环境是否已经安装，如发现系统自带的，先卸载->安装—>验证.1、检查是否安装mysql:查询所有安装过的软件：rpm -qa检查是否安装mysqlrpm -qa|grep mysql 或者 rpm -qa | grep -i mysql卸载自带的mysql卸载软件：rpm -

2017-11-30 16:21:28 294

原创 map-side-join /Reduce-side-join

一、Mapreduce-join概念Mapreduce-join分为两种：实例：祖孙三代的关系连接(1)、map-side-join 即在map端进行join，会在map端读取所有数据并进行join过滤。【Map-side-join】Map-side-join思想：分布式缓存文件，读到内存中.Map-side-join实用场景:在那些需要处理的表中，存在一个非常大的表

2017-11-30 16:19:53 2197

原创 uber的配置

一、日志聚集相关配置参数(发送各个节点)1、概念：日志聚集是YARN提供的日志中央化管理功能，它能将运行完成的Container/任务日志上传到HDFS上，从而减轻NodeManager负载，且提供一个中央化存储和分析机制。默认情况下，Container/任务日志存在在各个NodeManager上，如果启用日志聚集功能需要额外的配置。2、参数配置说明：（1） yar

2017-11-30 16:16:09 594

原创 zk配置参数说明

参数名说明tickTime ZK中的一个时间单元。ZK中所有时间都是以这个时间单元为基础，进行整数倍配置的。例如，session的最小超时时间是2*tickTime。initLimit乘以2 初始化 Follower在启动过程中，会从Leader同步所有最新数据，然后确定自己能够对外服务的起始状态。Leader允许F在 initLimit 时间内完成这个工作。通常情况下，我们不用太在

2017-11-30 16:13:39 3524

原创 zk的搭建

集群模式使用多台机器，确保每台机器的配置文件中都写上下列配置创建新文件vi /home/hadoop/zookeeper-3.4.7/conf/zoo.cfg多台机器中每台机器的配置文件内容都相同，内容如下：tickTime=2000initLimit=10syncLimit=5#在指定的目录下创建一个zkmyid文件夹dataDir=/home/ha

2017-11-30 16:09:32 367

原创 shell

--------------------------shell script部分------------------------一、什么是shellshell是c程序写一门脚本语言，它主要承担是用户和linux系统使用的桥梁。shell编程指两方面，一个是对shell程序进行编程。一个是使用shell进行编程。二、shell有那些解释器？/bin/bash/bin/

2017-11-30 16:06:44 433

原创 hadoop面试题整理

1. 描述下Shuffle过程中分区？2.简单描述MapReduce不合适对哪些场景的使用？3. 简述Combiner 和partition的作用(1).combine分为map端和reduce端，作用是把同一个key的键值对合并在一起，可以自定义的。combine函数把一个map函数产生的对（多个key,value）合并成一个新的.将新的作为输入到reduce

2017-11-30 16:04:58 597

原创 ntp时间笔记

一、NTP时间服务器原理：使用环境：当一个计算机群体需要需要进行时间的严格同步，即可使用NTP服务器。NTP通信协议原理：1.首先主机server启动NTP。2. client客户端会向NTP服务器发送请求调整时间的message。3.然后NTP server会送出当前的标准时间给client4.client接受来自server的时间后，会根据这个信息来调整自己的时间。这样

2017-11-30 15:53:07 332

原创 Hadoop

hadoop笔记 - hadoop/bin 存放常用命令，如hadoop,hdfs等。 - Hadoop/data 存放本地hdfs系统的信息 - hadoop/etc 目录下有一个hadoop目录，主要存放hadoop生态系统的配置文件 - hadoop/include 对外提供的编程头文件，主要是使用C++编写mapredurce程序是使用 -

2017-11-30 15:50:49 411

原创 Linux介绍

Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。Linux操作系统诞生于1991年10 月5 日（这是第一次正式向外公布时间）。Linux

2017-11-30 15:45:13 486

Jonechhc的博客