2017年05月_GE12

12月 10月 07月 06月 05月 04月 03月 02月 01月

原创 14.kafka 常用命令

创建topic ./kafka-topics.sh --create --zookeeper 206:2181/kafka --replication-factor 3 --partitions 3 --topic webaccess查看topic./kafka-topics.sh --zookeeper 206:2181/kafka -list ./ka

2017-05-31 10:52:08 640

原创 13.kafka 收集日志的两种方式

方法一：kafka官网已经提供了非常方便的log4j的集成包 kafka-log4j-appender，我们只需要简单配置log4j文件，就能收集应用程序log到kafka中。#log4j.rootLogger=WARN,console,kafkalog4j.rootLogger=INFO,console# for package com.demo.kafka, log woul

2017-05-31 10:29:32 3404

原创 hive 常用sql

show tables;describe accesslog;show partitions accesslog;select count(1) from accesslog where dt='2017-05-26' and buildOriginalURL like "%getWechatQr.json%";

2017-05-27 15:10:59 621

原创 mysql 数据备份与恢复

备份：mysqldump备份MySQL数据库的命令mysqldump -h主机名 -u用户名 -p密码数据库名字 > 备份的数据库名字.sql例子： mysqldump -uroot -pjsb backup > backup.sql 直接将MySQL数据库压缩备份mysqldump -h主机名 -u用户名 -p密码数据库名字

2017-05-27 11:05:39 532

转载数据结构图

一，图的定义二，图相关的概念和术语三，图的创建和遍历四，最小生成树和最短路径五，算法实现这一篇我们要总结的是图(Graph)，图可能比我们之前学习的线性结构和树形结构都要复杂，不过没有关系，我们一点一点地来总结，那么关于图我想从以下几点进行总结：1，图的定义？2，图相关的概念和术语？3，图的创建和遍历？4，最小生成树和最短路径？5，算法实现？

2017-05-26 09:43:12 673

原创 5.一致性哈希算法

1.什么是一致性哈希一致哈希是一种特殊的哈希算法。在使用一致哈希算法后，哈希表槽位数（大小）的改变平均只需要对{\displaystyle K/n} 个关键字重新映射，其中 {\displaystyle K}是关键字的数量，{\displaystyle n}是槽位数量。然而在传统的哈希表中，添加或删除一个槽位的几乎需要对所有关键字进行重新映射。2.一致性哈希应用

2017-05-25 13:22:34 780

原创 HBase简介

一、HBase的特点是什么1.HBase一个分布式的基于列式存储的数据库,基于hadoop的hdfs存储，zookeeper进行管理。2.HBase适合存储半结构化或非结构化数据，对于数据结构字段不够确定或者杂乱无章很难按一个概念去抽取的数据。3.HBase为null的记录不会被存储.4.基于的表包含rowkey，时间戳，和列族。新写入数据时，时间戳更新，同时可以查询到以前的版本.

2017-05-25 13:07:50 656

原创 Redis分布式锁

为什么要有本地缓存？在系统中，有些数据，数据量小，但是访问十分频繁（例如国家标准行政区域数据或者一些数据字典等），针对这种场景，需要将数据搞到应用的本地缓存中，以提升系统的访问效率，减少无谓的数据库访问（数据库访问占用数据库连接，同时网络消耗比较大），但是有一点需要注意，就是缓存的占用空间以及缓存的失效策略。所谓的本地缓存是相对于网络而言的（包括集群，数据库访问等）

2017-05-24 10:15:04 468

原创 Redis中两种持久化机制RDB和AOF

所谓缓存，就是将程序或系统经常要调用的对象存在内存中，一遍其使用时可以快速调用，不必再去创建新的重复的实例。这样做可以减少系统开销，提高系统效率。缓存主要可分为二大类:1：通过文件缓存,顾名思义文件缓存是指把数据存储在磁盘上，不管你是以XML格式，序列化文件DAT格式还是其它文件格式；2：内存缓存，也就是创建一个静态内存区域，将数据存储进去，例如我们B/S架构的

2017-05-24 09:49:17 953

原创 mysql存储引擎

存储引擎是处理不同表类型的SQL操作的MySQL组件。InnoDB是默认和最通用的存储引擎，Oracle建议将它用于除专门用例之外的表。（默认情况下CREATE TABLE，MySQL 5.7中的语句创建InnoDB表。）MySQL Server使用可插拔的存储引擎架构，使存储引擎能够从正在运行的MySQL服务器加载和卸载。要确定您的服务器支持哪些存储引擎，请使用该 SHOW

2017-05-15 14:03:42 521

原创 MySQL 数据类型

数值类型MySQL支持所有标准SQL数值数据类型。这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL和NUMERIC)，以及近似数值数据类型(FLOAT、REAL和DOUBLE PRECISION)。关键字INT是INTEGER的同义词，关键字DEC是DECIMAL的同义词。BIT数据类型保存位字段值，并且支持MyISAM、MEMORY、

2017-05-15 13:13:44 534

原创 Linux下Mysql的配置及常用命令

1、数据库目录/var/lib/mysql/2、配置文件/usr/share/mysql（mysql.server命令及配置文件）mysql5.5之后的默认安装路径，mysql5.5之前的是/usr/local/mysql3、相关命令/usr/bin(mysqladmin mysqldump等命令)4、启动脚本/etc/rc.d/init.d/（启动脚本文件mysql的目录）启动：

2017-05-12 09:37:28 1024

原创 CentOS 7.1 rpm安装 MySQL

1. 下载mysql的repo源wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm2. 安装mysql57-community-release-el7-8.noarch.rpm包rpm -ivh mysql57-community-release-el7-8.noarch.rpm –nodeps –force

2017-05-11 16:29:29 847

转载 19.MapReduce五大过程

https://www.zybuluo.com/awsekfozc/note/219974MapReduceInput将输入日志数据，数据库数据输入到map函数（key-value形式）一行记录对于一个键值对（key-value）Map1）每个节点都需要执行代码（需要打成jar包） 2）对输入的数据做

2017-05-08 14:09:45 873

转载 18.MapReduce中的分布式缓存

简介DistributedCache是Hadoop为MapReduce框架提供的一种分布式缓存机制，它会将需要缓存的文件分发到各个执行任务的子节点的机器中，各个节点可以自行读取本地文件系统上的数据进行处理。符号链接可以同在原本HDFS文件路径上+”#somename”来设置符号连接（相当于一个快捷方式）这样在MapReduce程序中可以直接通通过：File fi

2017-05-05 09:45:09 1309 1

原创 (17)mapreduce 提交任务两种方式

1.本地提交代码打包到jar里面，上传到服务器，然后用命令行启动/app/soft/hadoop-2.6.0/bin/hadoop jar /app/soft/hadoop-2.6.0/hadoop.jar com.bigdata.task.keywordCount2.远程提交其实YARN是可以通过Java程序向Hadoop集群提交MapReduce任务的

2017-05-03 11:40:41 3242