2018年01月_wending-Y

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

原创选择排序

1.思路：2，1，5，3，6，4第一次排序，遍历全部数据选出最小的数字，排在第一位得1,2,5,3,6,4第二次排序，从第二个数字开始选出最小的数字,排在第二位1,2,5,3,6,4package com.haut.algorithm;/** * @author xxx_xx * @date 2018/1/22 */public class SelectionSort {

2018-01-22 12:02:28 241

原创 Spark Streaming WordCount 入门

首先确保环境运行正常nc -lk 9999 执行这个命令，如果命令没有安装 yum install -y nc把下面的一串命令直接写成脚本，方便运行spark-submit --master local[2] \--class org.apache.spark.examples.streaming.NetworkWordCount \--name wordcount \/opt/c

2018-01-07 20:46:21 377

原创 Hbase热点写问题

1.热点写问题表现在大量的写请求集中在一个region上，造成单点压力大，降低写效率. 2.解决方法.创建表的指定多个region，默认情况下一个表一个region，刚开始写的时候就会造成所有的写请求都写到一个region上面，创建多个region的话，写请求就会分流到多个region上面去。提高写的效率 3.第二个方法，对rowkey进行散列，既然我们要把多个请求写分到不同的region上，我

2018-01-06 20:48:52 1708

原创 Master选举思路

架构图 2.流程图 3.网络抖动问题

2018-01-05 22:41:58 1650

原创 HDFS 常用命令

查看文件信息hdfs fsck /user/hadoop/data.txt -files -locations -blocks可以得到文件有两个Block，每个块的大小，副本数，副本在哪台机器上/user/hadoop/data.txt 179999982 bytes, 2 block(s): OK0. BP-1378127492-172.31.109.171-1514096675446:

2018-01-05 16:59:03 271

原创 MapReducer任务在到Yarn上运行流程分析

源码看mapreduce在yarn上流程分析

2018-01-05 16:34:14 503

原创 Hive 或 Impala 与 Hbase表结合

创建hbase表create 'message','info','school'2.创建hive表CREATE EXTERNAL TABLE hivemessage ( id int, name string, age int, address string, teacher string ) ST

2018-01-03 23:06:42 647

原创 zookeeper 知识点

常用命令ls 列出节点get 得到节点状态和数据stat 得到节点状态create 创建节点，默认为永久节点，-e为临时节区分临时节点还是永久节点，看ephemeralOwner，如果是很长一串字符，就是临时节点。delete 删除节点setquota -n|-b val path -n限制子节点个数，-b限制节点数据长度更多命令查看--help2.hbase在zoo

2018-01-03 22:59:40 169

原创 kafka 集群测试

1.ISR集合2.消费者3.brokers leader4.zookeeper

2018-01-02 23:23:09 891

原创分布式flume日志收集系统

1.架构图，摘自flume官网 2.这里我们用两个agent收集，然后输入到一个agent去，落到HDSF上 3.参考配置文件source 采用exec方式代替，在两台机器上部署a1.sources=s1a1.channels=c1a1.sinks=s1#sourcea1.sources.s1.type=execa1.sources.s1.command=tail -f /home

2018-01-02 17:27:00 289

原创 flume安装

下载flume,解压文件新建demo配置文件确保telnet命令可以使用开启agentwget http://mirrors.hust.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gztar -zxvf 文件touch flume-example.conf粘贴内容# example.conf: A single-node

2018-01-02 13:34:14 406

原创 mysql 锁机制演示

InnoDB引擎，只有通过索引检索数据，才会使用行锁，否则的话使用表锁session1 先开始set autocommit = 0;start TRANSACTION;begin;update data set age=15 where id=1;session2set autocommit = 0;start TRANSACTION;begin;update data set a

2018-01-02 00:33:26 553