- 博客(21)
- 收藏
- 关注
原创 MySql 数据同步(同步关系型、非关系型(hadoop))--canal
参考博客:http://blog.csdn.net/hackerwin7/article/details/37923607注意:本次只是实时获取到了mysql的同步日志 你可以封装成json格式 扔到消息队列 消费这些数据 对hadoop进行更新。我用的消息队列是kafka 执行的是HBase首先先说canal的配置: https://github.com/alibaba/ca
2018-01-29 10:23:57 800
原创 Hive事务表
首先先说下 thrift方式 先启动 hiveserver2服务 然后以beeline形式启动./beeline -u jdbc:hive2://localhost:10000 -n root –silent=true配置thrift 需要允许某些用户 在hadoop的core-site.xml中添加<property> <name>hadoop.proxyuser.root.hos
2018-01-26 16:25:47 5303
原创 Sqoop的Append和Lastmodified
Lastmodified 和Append模式的区别: Append模式处理不了更新数据,而 Lastmodified模式可以Append 支持动态增加 不支持修改sqoop import \--connect jdbc:mysql://192.168.164.25:3306/stock \--username root \--password 111111 \--query "sele
2018-01-25 16:57:40 3543
转载 Mysql远程连接
开启MySQL远程访问权限 允许远程连接1、登陆mysql数据库 mysql -u root -p 查看user表mysql> use mysql;Database changedmysql> select host,user,password from user;+--------------+------+--------------
2018-01-25 15:30:38 288
原创 Sqoop导入时注意事项
参考:http://blog.csdn.net/zleven/article/details/53781111导入时需要注意:1)数据库表名需要大写; 我试小写好像也可以 不知道是不是版本问题Imported Failed: There is no column found in the target table xxx. Please ensure th
2018-01-25 11:09:54 2543
原创 算法-二分查找算法
package sort;public class TwoFenSearch { public static void main(String[] args) { int[] arr = {1,2,3,4,5,6,7,8,11,15,17}; int i1 = binarySearch(arr, 11); System.out.println(i
2018-01-24 18:07:10 178
原创 排序算法-选择排序
选择排序 是这样的原理 第一次排序将 最小的值 放在第一位 第二次排序将 第二小的放在第二位 之后 依次把第i小的 放在 i 位置上 我觉得最重要的一点是 如何拿到最小的那个数的 下标 这是关键 第一次外部循环 时 将第0位作为下标index 然后 内部循环 比较第1位 的大小 和 index位置的大小 如果发现更小的数,就把这个数的下标记录给index 一直找到最
2018-01-24 11:01:43 255
原创 排序算法-快速排序
快速排序 是最高效、不占用空间的一种排序算法 快排的精髓 是在于 找到 中间基数。 比中间基数小的放在左边 ,比中间基数大的放在右边 然后 左右各自进行快排。参考博客:http://developer.51cto.com/art/201403/430986.htm首先 以数组第一个数字作为基数 数组从最左是低位,最右是高位刚开始 低位 就是基数 比较基数 和 高位 如果基数比高位小
2018-01-22 18:07:56 178
原创 排序算法-冒泡排序
冒泡排序 属于交换排序 每次比较左右两个数 ,小的放左边 大的放右边 第一轮比较完 会将最大的那位放在最后 ,第二轮会把倒数第二大的放在倒数第二位 依次实现代码: public static void main(String[] args) { int[] arr = {34,45,12,89,25,76,44,90,1,62,59}; //冒泡排序 第一
2018-01-22 17:55:35 159
原创 logStash到ElasticSearch 我的例子(六)
input{ file{ path => "/var/logs/e_mall.log" type => "e_mall-bank" start_position => "beginning" codec => multiline{ pattern => "\s*\[" negate => true
2018-01-19 17:40:08 406
原创 logStash拦截器grok的正则表达式(五)
从github上拷贝下来 留着以后查看备用USERNAME [a-zA-Z0-9._-]+USER %{USERNAME}EMAILLOCALPART [a-zA-Z][a-zA-Z0-9_.+-=:]+EMAILADDRESS %{EMAILLOCALPART}@%{HOSTNAME}INT (?:[+-]?(?:[0-9]+))BASE10NUM (?<![0-9.+-])(?>[+
2018-01-18 17:07:42 802
原创 logStash对于多行日志的合并(四)
日志总是免不了出异常 ,或者开发人员打出的日志 是json格式 多行的就需要对 日志多行进行合并 ,这个很常用 ,之后我会再开一个flume合并多行的情况 诸如此类的日志:[ERROR] [] 2017-10-23 09:34:37,855 操作超时,请重新登录com.*****.*******.exception.MobileException: 操作超时,请重新登录 at com.*
2018-01-18 10:01:25 3639
原创 logStash深入学习拦截器filter(三)
mutate 是对事件中内容做出一些改变 替换 删除 等操作 1. 修改事件中的字符 将我日志中的 回车换行符 替换为空mutate { gsub => [ "message", "\r" ,"" ,"message", "\n", ""] }2.替换 字段值 一个新的字段值 index 值是 type的值 mutate{
2018-01-17 17:34:17 448
原创 LogStash 与 ElastaticSearch(二)
插一句嘴,我的毕业设计那个B/S架构的电商网站真的是用处太大了, 先说我的点击流 用了毕业设计嵌入了js埋点,做了hive的数据分析,这次日志录入ElasticSearch我的毕设又充当了应用层产生日志日志存放目录是:/var/logs/e_mall.log 我的日志是daily的 每日产生一个 诸如:e_mall.log.2017-12-12 e_mall.log.201
2018-01-17 16:45:05 604
原创 LogStash的简介与搭建(一)
本次我采用的ELK均为5.6.3版本 ElasticSearch为集群模式 具体搭建及操作请看我之前的博客logstash 官网学习地址:https://www.elastic.co/guide/en/logstash/简介什么是Logstash? Logstash是一个具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据,并将数据规范化到您选择的目的地
2018-01-17 16:12:35 278
原创 Linux Vim一些文本编辑命令
//等我补上//半个小时前留着这个题目 想着之后补上 瞬间34个访问量 有点尴尬 不拖了 立马补上 我常用的:1.创建文本 vim 命令 2.保存 :wq 重要文件保存 :wq! 离开不保存 :q! 3.回到第一行(行首) GG4.到最后一行(行首) shift+G5.到当前行的 行首: ^ 6.到当前行
2018-01-16 16:59:41 255
原创 Dubbo+SpringBoot(四)
直接上代码 把 我用的是xml的配置方式 一直想用配置类的方式 没找到教程 ,无奈 可能xml的形式更受大众欢迎把 用到了引入配置文件的注解 @ImportResource项目结构: dubbo_interf 是公共接口类 公共接口类代码:package cn.dubbo.interf;import java.util.List;public interface
2018-01-15 17:14:07 350
原创 Dubbo配置项详解(三)
Dubbo的xml配置: 主要分三类: 1.服务发现 主要是让消费端 找到 服务端 2.服务治理 治理服务之间的关系 3.性能调优 对服务进行性能调优服务提供方(provider)简单配置文件://1.服务应用名 dubbo:application//2.向注册中心注册 dubbo:regist//3.协议 以及端口 dubbo:protocal//4.提
2018-01-15 17:12:52 915
原创 Dubbo测试代码(二)
我创建了4个Maven工程 parent(pom)和3个moduldubbo-api //服务端和消费端共用的接口工程dubbo-consumer //消费端dubbo-parent //父工程 提供jardubbo-provider //服务端我事先配好了SSM Web工程 当然你也可以写单元测试 进行测试 所用的maven依赖: 父工程: //除
2018-01-15 16:31:16 1007
原创 Dubbo介绍(一)
最近真的是特别的懒 博客 空了好多天都不愿意写 桌面还有留了快一个月的hadoop的 shuffer图片 一直懒得去写原理 跟最近的懒散分不开 先补上dubbo的基本介绍和开发吧、 半年前就想学dubbo和cloud 现在 到了年头抓紧时间补上吧 ,一直说给SpringBoot开个专题好好写写 也没有写几篇 年前 把这些全都补上。 在整整ELK 就写个年终总结吧。废话不多说 开
2018-01-15 16:03:19 285
原创 Kafka集群搭建 以及命令
好久没有写博客了 有点懒 赶紧补一下 Kafka集群 搭建 测试机 三个节点 hadoop1 hadoop2 hadoop3 这三个节点 安装了独立的zookeeper 且我其他hadoop hbase等元数据信息都在上面 我不用Kafka自带的 zookeeper本次的版本是:/kafka_2.10-0.10.0.1修改配置:kafka_2.10-0.10.0.1/conf
2018-01-05 09:25:07 547
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人