Emperor_CJ的博客

一、开发分支（dev）上的代码达到上线的标准后，要合并到 master 分支 git checkout dev git pull git checkout master git merge dev git push -u origin master 二、当master代码改动了，需要更新开发分支（dev）上的代码 git checkout master git pull git checkout dev ...

一、前言　　前面学习了Zookeeper服务端的相关细节，其中对于集群启动而言，很重要的一部分就是Leader选举，接着就开始深入学习Leader选举。二、Leader选举　　2.1 Leader选举概述　　Leader选举是保证分布式数据一致性的关键所在。当Zookeeper集群中的一台服务器出现以下两种情况之一时，需要进入Leader选举。　　(1) 服务器初始化启动。...

1.官方文档http://spark.apache.org/docs/latest/running-on-yarn.html2.配置安装安装hadoop：需要安装HDFS模块和YARN模块，HDFS必须安装，spark运行时要把jar包存放到HDFS上。 安装Spark：解压Spark安装程序到一台服务器上，修改spark-env.sh配置文件，spark程序将作为YARN的客户端用...

可视化:-------------- 1. 2. 3. 4. 5.package com.it18zhang.callloggen;import java.util.HashMap;import java.util.Map;/** * */public class App {    public static Map<String,String> caller = new HashMa...

加入maven的插件<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://

Spark整合hive        1.hive的类库需要在spark worker节点。 2.复制core-site.xml(hdfs) + hdfs-site.xml(hdfs) + hive-site.xml(hive)三个文件   到spark/conf下。        如果spark-env里面配置了hadoop的路径,就不用复制core-site.xml(hdfs) + hdf...

1.flume的conf,# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# sourcea1.sources.r1.type = netcata1.sources.r1.bind= localhosta1.sources.r1.port = 9999# Describ...

1.flume文件a1.sources = r1a1.channels = c1a1.sinks = k1a1.sources.r1.type=netcata1.sources.r1.bind=localhosta1.sources.r1.port=9090a1.sinks.k1.type=avroa1.sinks.k1.hostname=localhosta1.sinks.k...

package org.admln.sqoop;import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException;import java.sql.Statement;import org.apache.sqoop.client.SqoopClient;import org.ap...

在项目中，遇到一个场景是，需要从Hive数据仓库中拉取数据，进行过滤、裁剪或者聚合之后生成中间结果导入MySQL。对于这样一个极其普通的离线计算场景，有多种技术选型可以实现。例如，sqoop，MR，HSQL。 我们这里使用的spark，优点来说是两个：一是灵活性高，二是代码简洁。1）灵活性高相比sqoop和HSQL，spark可以更灵活的控制过滤和裁剪逻辑，甚至你可以通过外部的配置或者参数，来动态...

传参 $1,$2变量 local返回值 return $?一、定义函数方法一：函数名() {函数要实现的功能代码}方法二：function 函数名 {函数要实现的功能代码}二、调用函数函数名函数名 参数 1 参数 2#!/bin/bashfac(){ factor=1 for((i=1;i<=...

break continuebreak 结束当前循环，或跳出本层循环continue 忽略本次循环剩余的代码，直接进行下一次循环#！/bin/bashfor i in {A..D}do echo -n $i for j in {1..9} do if [ $j -eq 5 ];then break 2 ...

集群汇总监控的软件，和Cacti不同，Cacti是详细监控集群中每台服务器的运行状态，而Ganglia是将集群中的服务器数据进行汇总然后监控集群监控. 不仅能够监控单个主机的资源情况，还可以对集群整个资源进行统计。 gmond //在每个节点收集资源数据的。 gmetad //接受每个节点发送资源数据 gweb //webui,展示数据web程序，和gmetad通信。安装ganglia...

1.hdfs容灾配置HA配置core-site.xml &lt;property&gt; &lt;name&gt;fs.defaultFS&lt;/name&gt; &lt;value&gt;hdfs://mycluster&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &

awkawk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分在进行各种分析处理打印，$1:第一列，每行默认tab切割$0：全部列例如$&gt;last -n 5 | awk '{print $1}'比如jpsjps | awk '{print $1}'-F : 指定分隔符比如按照.切割，打印第一列$&gt;last -n 5 | awk -F '.' '{print $1}'实例1l...

需要在root用户下如果安装老版的jdk,可以卸载重新安装 如java 卸载已经安装的javarpm -qa|grep java这里会打印出三行rpm -e --nodeps 将上面的三行写到后面,用空格隔开 cd 安装软件的目录 ls 查看 解压jdk tar -zxf jdk -C 解压到的目录cd jdk1.7.0_67/ pwd 查看当前路径vi /etc/profileexp

yarn-env.shexport JAVA_HOME=jdk路径etc/hadoop/yarn-site.xml:<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

hostname查询用户名 Use the following:etc/hadoop/core-site.xml:<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://用户名:8020</value> </property> <property>

Hadoop##common##HDFS ###存储数据 ###NameNode

前言　　Docker是目前比较火的一个概念，同时也是微服务中比较关键的一个容器化技术。但是，单从理论上好难看出Docker的优势，因此，我希望在这篇文章中提供一些Docker的使用示例，希望从实际应用上帮助大家理解Docker的优势，同时也对自己的Docker使用进行简单的记录。准备事项　　1. 安装Docker　　我使用的操作系统是CentOS 7/7.1，如何安装Docker，可以参考园子里的这

apache-storm-0.9.6/conf目录下storm.yaml文件# Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements. See the NOTICE file# distributed with this work f

0.选择安装的主机 s201 ~ s204 1.jdk 略 2.hadoop 略 3.tar  略 4.环境变量 略 5.验证安装是否成功 $&gt;hbase version 5.配置hbase模式 5.1)本地模式 [hbase/conf/hbase-env.sh] EXPORT JAVA_HOME=/soft/jdk [hbase/conf/hbase-site....

#在hive Cli中不能对表删除（对表或库操作时）的时候或者是（Unable to fetch table : Hive MetaException message:For direct MetaStore DB connections, we don't support retries at the client level.)乱七八糟的问题1.hive/lib中的mysql驱动版本太低2.、...

1.安装phonix a)下载apache-phoenix-4.10.0-HBase-1.2-bin.tar.gz b)tar c)复制xxx-server.jar到hbase的lib目录，并且分发,删除以前的phonixjar包。 d)重启hbase 2.使用phonix的命令行程序 $&gt;phonix/bin/.sqlline.py s202 //连接的是zk服务器 $phon...

在hive创建表t11与HBase上的表ns1:t11对应,并且key与:key对应,name对应cf:name的列 CREATE TABLE t11(key string, name string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'  WITH SERDEPROPERTIES ("hbase.columns....

默认配置文件在share/hadoop 里面的jar包里面core-default.xmlhdfs-default.xmlyarn-default.xmlmapred-default.xml自定义配置文件$HADOOP_HOME/etc/hadoop/core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlcore-site.xml <