2018年01月_帅气的程序员

原创 MySql 数据同步（同步关系型、非关系型(hadoop)）--canal

参考博客：http://blog.csdn.net/hackerwin7/article/details/37923607注意：本次只是实时获取到了mysql的同步日志你可以封装成json格式扔到消息队列消费这些数据对hadoop进行更新。我用的消息队列是kafka 执行的是HBase首先先说canal的配置： https://github.com/alibaba/ca

2018-01-29 10:23:57 787

原创 Hive事务表

首先先说下 thrift方式先启动 hiveserver2服务然后以beeline形式启动./beeline -u jdbc:hive2://localhost:10000 -n root –silent=true配置thrift 需要允许某些用户在hadoop的core-site.xml中添加<property> <name>hadoop.proxyuser.root.hos

2018-01-26 16:25:47 5238

原创 Sqoop的Append和Lastmodified

Lastmodified 和Append模式的区别： Append模式处理不了更新数据，而 Lastmodified模式可以Append 支持动态增加不支持修改sqoop import \--connect jdbc:mysql://192.168.164.25:3306/stock \--username root \--password 111111 \--query "sele

2018-01-25 16:57:40 3467

转载 Mysql远程连接

开启MySQL远程访问权限允许远程连接1、登陆mysql数据库 mysql -u root -p 查看user表mysql> use mysql;Database changedmysql> select host,user,password from user;+--------------+------+--------------

2018-01-25 15:30:38 280

原创 Sqoop导入时注意事项

参考：http://blog.csdn.net/zleven/article/details/53781111导入时需要注意：1）数据库表名需要大写；我试小写好像也可以不知道是不是版本问题Imported Failed: There is no column found in the target table xxx. Please ensure th

2018-01-25 11:09:54 2471

原创算法-二分查找算法

package sort;public class TwoFenSearch { public static void main(String[] args) { int[] arr = {1,2,3,4,5,6,7,8,11,15,17}; int i1 = binarySearch(arr, 11); System.out.println(i

2018-01-24 18:07:10 169

原创排序算法-选择排序

选择排序是这样的原理第一次排序将最小的值放在第一位第二次排序将第二小的放在第二位之后依次把第i小的放在 i 位置上我觉得最重要的一点是如何拿到最小的那个数的下标这是关键第一次外部循环时将第0位作为下标index 然后内部循环比较第1位的大小和 index位置的大小如果发现更小的数，就把这个数的下标记录给index 一直找到最

2018-01-24 11:01:43 243

原创排序算法-快速排序

快速排序是最高效、不占用空间的一种排序算法快排的精髓是在于找到中间基数。比中间基数小的放在左边，比中间基数大的放在右边然后左右各自进行快排。参考博客：http://developer.51cto.com/art/201403/430986.htm首先以数组第一个数字作为基数数组从最左是低位，最右是高位刚开始低位就是基数比较基数和高位如果基数比高位小

2018-01-22 18:07:56 165

原创排序算法-冒泡排序

冒泡排序属于交换排序每次比较左右两个数，小的放左边大的放右边第一轮比较完会将最大的那位放在最后，第二轮会把倒数第二大的放在倒数第二位依次实现代码： public static void main(String[] args) { int[] arr = {34,45,12,89,25,76,44,90,1,62,59}; //冒泡排序第一

2018-01-22 17:55:35 153

原创 logStash到ElasticSearch 我的例子(六)

input{ file{ path => "/var/logs/e_mall.log" type => "e_mall-bank" start_position => "beginning" codec => multiline{ pattern => "\s*\[" negate => true

2018-01-19 17:40:08 397

原创 logStash拦截器grok的正则表达式（五）

从github上拷贝下来留着以后查看备用USERNAME [a-zA-Z0-9._-]+USER %{USERNAME}EMAILLOCALPART [a-zA-Z][a-zA-Z0-9_.+-=:]+EMAILADDRESS %{EMAILLOCALPART}@%{HOSTNAME}INT (?:[+-]?(?:[0-9]+))BASE10NUM (?<![0-9.+-])(?>[+

2018-01-18 17:07:42 787

原创 logStash对于多行日志的合并(四)

日志总是免不了出异常，或者开发人员打出的日志是json格式多行的就需要对日志多行进行合并，这个很常用，之后我会再开一个flume合并多行的情况诸如此类的日志：[ERROR] [] 2017-10-23 09:34:37,855 操作超时,请重新登录com.*****.*******.exception.MobileException: 操作超时,请重新登录 at com.*

2018-01-18 10:01:25 3596

原创 logStash深入学习拦截器filter（三）

mutate 是对事件中内容做出一些改变替换删除等操作 1. 修改事件中的字符将我日志中的回车换行符替换为空mutate { gsub => [ "message", "\r" ，"" ，"message", "\n", ""] }2.替换字段值一个新的字段值 index 值是 type的值 mutate{

2018-01-17 17:34:17 424

原创 LogStash 与 ElastaticSearch(二)

插一句嘴，我的毕业设计那个B/S架构的电商网站真的是用处太大了，先说我的点击流用了毕业设计嵌入了js埋点，做了hive的数据分析，这次日志录入ElasticSearch我的毕设又充当了应用层产生日志日志存放目录是：/var/logs/e_mall.log 我的日志是daily的每日产生一个诸如：e_mall.log.2017-12-12 e_mall.log.201

2018-01-17 16:45:05 586

原创 LogStash的简介与搭建（一）

本次我采用的ELK均为5.6.3版本 ElasticSearch为集群模式具体搭建及操作请看我之前的博客logstash 官网学习地址：https://www.elastic.co/guide/en/logstash/简介什么是Logstash？ Logstash是一个具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据规范化到您选择的目的地

2018-01-17 16:12:35 269

原创 Linux Vim一些文本编辑命令

//等我补上//半个小时前留着这个题目想着之后补上瞬间34个访问量有点尴尬不拖了立马补上我常用的：1.创建文本 vim 命令 2.保存：wq 重要文件保存 :wq! 离开不保存：q! 3.回到第一行（行首） GG4.到最后一行（行首） shift+G5.到当前行的行首： ^ 6.到当前行

2018-01-16 16:59:41 243

原创 Dubbo+SpringBoot(四)

直接上代码把我用的是xml的配置方式一直想用配置类的方式没找到教程，无奈可能xml的形式更受大众欢迎把用到了引入配置文件的注解 @ImportResource项目结构： dubbo_interf 是公共接口类公共接口类代码:package cn.dubbo.interf;import java.util.List;public interface

2018-01-15 17:14:07 340

原创 Dubbo配置项详解（三）

Dubbo的xml配置：主要分三类： 1.服务发现主要是让消费端找到服务端 2.服务治理治理服务之间的关系 3.性能调优对服务进行性能调优服务提供方（provider）简单配置文件：//1.服务应用名 dubbo:application//2.向注册中心注册 dubbo:regist//3.协议以及端口 dubbo:protocal//4.提

2018-01-15 17:12:52 885

原创 Dubbo测试代码(二)

我创建了4个Maven工程 parent（pom）和3个moduldubbo-api //服务端和消费端共用的接口工程dubbo-consumer //消费端dubbo-parent //父工程提供jardubbo-provider //服务端我事先配好了SSM Web工程当然你也可以写单元测试进行测试所用的maven依赖：父工程： //除

2018-01-15 16:31:16 983

原创 Dubbo介绍(一)

最近真的是特别的懒博客空了好多天都不愿意写桌面还有留了快一个月的hadoop的 shuffer图片一直懒得去写原理跟最近的懒散分不开先补上dubbo的基本介绍和开发吧、半年前就想学dubbo和cloud 现在到了年头抓紧时间补上吧，一直说给SpringBoot开个专题好好写写也没有写几篇年前把这些全都补上。在整整ELK 就写个年终总结吧。废话不多说开

2018-01-15 16:03:19 276

原创 Kafka集群搭建以及命令

好久没有写博客了有点懒赶紧补一下 Kafka集群搭建测试机三个节点 hadoop1 hadoop2 hadoop3 这三个节点安装了独立的zookeeper 且我其他hadoop hbase等元数据信息都在上面我不用Kafka自带的 zookeeper本次的版本是：/kafka_2.10-0.10.0.1修改配置：kafka_2.10-0.10.0.1/conf

2018-01-05 09:25:07 532

千里之行始于足下