- 博客(42)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 有关Logstash的笔记
安装Logstash安装前提:Logstash需要java.所以需要首先安装java7或以上版本.使用oracle的java或者开源的Openjdk均可以参考这里.开始安装,我的系统是Ubuntu 16.04.发现通过deb形式安装或者通过 配置仓库安装之后.均不太好找到Logs...
2018-04-23 20:48:58
323
转载 logstash Codec插件
[html] view plain copy print?Codec: 解码编码 数据格式 json,msgpack,edn logstash处理流程: &am
2018-04-23 19:56:16
2319
转载 eclipse安装lombok
由于项目中有@Slf4j 注解等，而eclipse需要安装lombok插件才能正常编译。由于之前对lombok 一片空白，查了多个帖子，详细总结了一下在window下eclipse安装lombok。 下载 lombok.jar (https://projectlombok.org/...
2018-04-19 11:45:33
189
转载 Kibana的图形化——Tile Map
简介 当我们查看访问网站的流量的来源时，往往通过awk+sed或其他工具分析日志文件，有没有一种方式可以实时查看并且在地图上直观的表现出来？当然，我们的Kibana就可以做到，下面我们来看看如何配置吧。配置本文是在http://http://blog.csdn.net/ya...
2018-04-16 10:10:23
2040
转载 logstash 中配置GeoIP解析地理信息
logstash中配置的GeoIP的数据库解析ip了，这里是用了开源的ip数据源，用来分析客户端的ip归属地。官网在这里:MAXMIND 下载GeoLiteCity数据库wget http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.tar.gztar -zxvf GeoLite2-City.tar.gz...
2018-04-16 10:06:39
4672
转载 Logstash模块之geoip
Logstash模块之geoip在对Logstash的实际应用中，为了从日志中ip获取到用户访问时的所在地，用到了geoip这个模块。刚开始使用时并未注意到一些细节，但在做数据分析的时候发现了geoip的坑配置关于geoip的配置这里就不阐述了，有兴趣的可以看看 logsta...
2018-04-13 17:13:01
562
转载 eclipse中git分支创建与合并
1、team–>switch to –>new branch:2、接下来，我们在自己的分支里面进行文章的更改：3、提交已改动的内容到本地版本库4、将改动push到分支5、这个时候继续操作主干，为了模拟项目真实情况，我们在主干上进行修改，并进行多次提交跟更新；6、这个时候假定分支任务已经完成，我们需要合并分支，首先将...
2018-04-13 17:11:32
192
转载 Logstash处理json格式日志文件的三种方法
假设日志文件中的每一行记录格式为json的，如：{"Method":"JSAPI.JSTicket","Message":"JSTicket:kgt8ON7yVITDhtdwci0qeZg4L-Dj1O5WF42Nog47n_0aGF4WPJDIF2UA9MeS8GzLe6MPjyp...
2018-04-13 17:09:05
1825
转载 logstash中字符串的split，对每个子串进行json解析
最近遇到一个需求，大致是字符串用\t分割，每一个子串都是一个json串，需要用logstash对该字符串进行结构化处理，用于elasticsearch和可视化kibana。 字符串格式如下：{"person":{"age":"11"}} this is the samp...
2018-04-13 17:07:11
1971
转载 Logstash的数据类型和基本语法
From:http://www.ttlsa.com/elk/elk-logstash-configuration-syntax/logstash支持的数据类型有：array数组可以是单个或者多个字符串值。path => [ “/var/log/messages”, “/var...
2018-04-13 17:03:08
5825
转载 Maven常用命令：
Maven常用命令：Maven库：http://repo2.maven.org/maven2/Maven依赖查询：http://mvnrepository.com/ 一，Maven常用命令：创建Maven的普通Java项目：mvn archetype:create -DgroupId=packageName -DartifactId=project...
2018-04-13 17:00:10
180
转载 Git 常用命令大全
一、 Git 常用命令速查git branch 查看本地所有分支git status 查看当前状态 git commit 提交 git branch -a 查看所有的分支git branch -r 查看远程所有分支git commit -am “init” 提交并且加注释 git re...
2018-04-13 16:36:58
115
转载 Git SSH Key 生成步骤
设置git的用户名和密码如果没有设置git的用户名和密码，先设置下，命令如下：git config --global user.name "[email protected]"git config --global user.email "[email protected]"12生成SSH密钥步骤查看是否已经有了s...
2018-04-13 16:17:01
958
转载 git简介和使用/git的cmd命令/git界面使用
git是一款免费/开源的分布式版本控制系统. github是一个面向开源及私有软件项目的托管平台,因为只支持git作为唯一的版本库格式进行托管.git的工作原理图:workspace:工作区index/staged:暂存区repository:本地仓库remote:远程仓库workspace首先是a...
2018-04-13 16:14:26
10659
转载 java实现spark streaming与kafka集成进行流式计算
java实现spark streaming与kafka集成进行流式计算2017/6/26补充：接手了搜索系统，这半年有了很多新的心得，懒改这篇粗鄙之文，大家看综合看这篇新博文来理解下面的粗鄙代码吧，http://blog.csdn.net/yujishi2/article/deta...
2018-04-13 16:10:06
428
转载 ELK 之 Logstash
ELK 之 Logstash 原创 2017年08月09日 17:27:49 <ul class="article_tags clearfix ...
2018-04-12 13:33:06
114
转载 Logstash简单介绍
Logstash入门介绍 大家好，我是一名程序员，我叫迷途的攻城狮，英文名字：Lost Engineer。我是一个有理想、有目标的完美主义者，永远都不安于现状。俗话说：不想当裁缝的厨子不是一个好司机，所以我的理想是将来有一天能成为一个超越我自己的人！ 这是我的第一...
2018-04-12 13:29:27
936
转载 使用IntelliJ IDEA 配置Maven（入门）
1. 下载Maven 官方地址：http://maven.apache.org/download.cgi解压并新建一个本地仓库文件夹 2.配置本地仓库路径 3.配置maven环境变量 4.在IntelliJ IDEA中配置maven ...
2018-04-09 16:16:41
670
转载 Git SSH Key 生成步骤
Git是分布式的代码管理工具，远程的代码管理是基于SSH的，所以要使用远程的Git则需要SSH的配置。github的SSH配置如下：一 、设置Git的user name和email：$ git config --global user.name "xuhaiyan"</pre><pre class=...
2018-04-09 15:35:50
387
转载 Hive表导入数据
导入数据到Hive表中有4种方式：使用HDFS文件管理命令复制/移动文件到Hive表数据存放目录，使用LOAD DATA命令，使用INSERT INTO TABLE tablename SELECT ...语句和使用CREATE TABLE tablename AS SELECT ...语句...
2018-04-06 15:06:49
235
转载 HBase性能优化
本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考：淘宝Ken Wu同学的博客。1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数...
2018-04-02 21:47:42
124
转载 mysql原理
本文来自作者 默默 在 GitChat 上分享 「深入理解 MySQL 底层实现」，「阅读原文」查看交流实录。「文末高能」编辑 | 哈比MySQL 的常用引擎1. InnoDBInnoDB 的存储文件有两个，后缀名分别是 .frm 和 ...
2018-04-01 10:28:17
1400
转载 hashmap原理
参考文章http://blog.csdn.net/vking_wang/article/details/141665931、HashMap有一个叫做Entry的内部类，它用来存储key-value对。 2、上面的Entry对象是存储在一个叫做table的Entry数组中。 3、tab...
2018-04-01 10:26:21
127
转载 hive常用函数
窗口函数与分析函数应用场景： （1）用于分区排序 （2）动态Group By （3）Top N （4）累计计算 （5）层次查询窗口函数FIRST_VALUE：取分组内排序后，截止到当前行，第一个值 LAST_VALUE： 取分组内排序后，截止到当前行，最后一个值 LEAD(col,n,DEFA...
2018-03-30 17:06:59
7997
转载 Kafka重复消费和丢失数据问题
Kafka重复消费原因底层根本原因：已经消费了数据，但是offset没提交。原因1：强行kill线程，导致消费后的数据，offset没有提交。原因2：设置offset为自动提交，关闭kafka时，如果在close之前，调用 consumer.unsubscribe() 则有可能部分offset没提交，下次重启会重...
2018-03-30 16:33:51
3159
转载 线程池原理
读完本文你将了解：什么是线程池线程池的处理流程保存待执行任务的阻塞队列创建自己的线程池JDK 提供的线程池及使用场景1.newFixedThreadPool2.newSingleThreadExecutor3.newCachedThreadPool4.newScheduledThreadP...
2018-03-30 10:51:33
96
转载 HA 模式下的 Hadoop+ZooKeeper+HBase 启动顺序
一. 背景1.1 网络上的大部分教程的顺序1.2 主机规划1.3 正确的启动顺序二. 首次启动/格式化集群三. 开启与关闭集群顺序3.1 Hadoop 生态系统集群的启动顺序概览3.2 非首次启动集群3.3 Hadoop 生态系统集群的关闭顺序概览3.4 集群关闭...
2018-03-30 10:22:30
1667
2
转载 CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...
2018-03-30 10:20:55
74
转载 在Yarn上运行spark-shell和spark-sql命令行
关键字：spark-shell on yarn、spark-sql on yarn前面的文章《Spark On Yarn：提交Spark应用程序到Yarn》介绍了将Spark应用程序提交到Yarn上运行。有时候在做开发测试的时候，需要使用spark-shell和spark-sql命令行，除了Local和Spark standalone模式，spark-shell和spa...
2018-03-27 18:01:21
14301
转载 MongoDB Connector for Hadoop(二)
I 问题II 解决方案1.导数据2.创建Hive表-Using BSON files - STORED AS (Specified SerDe, INPUT and OUTPUT)2.1建表语句语法：2.2 序列化和反序列化2.3 BSONSerDe Mappings-映射关...
2018-03-27 11:52:28
183
转载 MongoDB Connector for Hadoop(一)
1.MongoDB连接器2.MongoDB连接器 for Hive的两种用法3.Connecting to MongoDB - MongoStorageHandler3.1 安装3.2 Quickstart Example4.映射关系-Mappings4.1 映射字段和m...
2018-03-27 11:50:10
249
转载 MongoDB导入导出以及数据库备份
1、导出工具：mongoexport 1、概念： mongoDB中的mongoexport工具可以把一个collection导出成JSON格式或CSV格式的文件。可以通过参数指定导出的数据项，也可以根据指定的条件导出数据。 2、语法： mongoexport -d dbname -c collectionname -o file --type json/cs...
2018-03-27 11:46:32
183
转载 从MongoDB导入数据到HDFS方法3补充
公司以前的旧数据存放在服务器上面的MongoDB上,现在要使用这些数据进行大数据分析处理,那么就出现了MongoDB的数据导入到HDFS上的Hive数据表中的需求.现在写下该博客Mark一下!实现步骤1.下载jar文件:版本要求摘自https://github.com/mongodb/mongo-hadoop/wiki/Hive-Usage mongo-hadoop-core-2.0...
2018-03-27 11:34:00
1358
转载 从MongoDB导入数据到HDFS方法3
1.背景公司希望使用MongoDB作为后端业务数据库，使用Hadoop平台作为数据平台。最开始是先把数据从MongoDB导出来，然后传到HDFS，然后用Hive/MR处理。我感觉这也太麻烦了，现在不可能没有人想到这个问题，于是就搜了一下，结果真找到一个MongoDB Connector ...
2018-03-27 11:30:37
6354
转载 hadoop命令
start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrackstop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTr...
2018-03-27 08:41:32
124
转载 从MongoDB导入数据到HDFS方法2
sqoop作为很常用的数据同步工具，用于RDBMS和HDFS的数据迁移，但是不支持NoSql，比如说MongoDB，那如果我们需要同步mongoDB的数据到hive该怎么处理呢？下面提供下我的思路：1.我先去查询了一下mongoDB可以导出数据为CSV格式或者json格式的文件，CSV是以逗号分隔的，这样可以直接把...
2018-03-27 08:39:57
2078
转载 大数据推荐系统实时架构和离线架构
生活中无论有什么闪失，统统是自己的错，与人无尤，从错处学习改过，精益求精，直至不犯同一错误，从不把过失推诿到他人肩膀上去，免得失去学乖的机会。——《阿修罗》 1、概述 推荐系统是...
2018-03-26 11:23:29
4566
转载 Java学习篇之—Eclipse中运行python程序
Java学习篇之—Eclipse中运行python程序本文主要介绍在Windows环境下，搭建能在Eclipse中运行python程序的环境：一、Eclipse 下载与安装：Eclipse是写JAVA的IDE，下载地址为：http://www.eclipse.org/downloads/下载完毕，解压就可以使用，这里不再详细介绍...
2018-03-26 11:19:53
5742
转载 从MongoDB导入数据到HDFS方法1
从MongoDB导入数据到HDFS本节将使用MongoInputFormat类加载MongoDB中的数据导入HDFS中。准备工作使用Mongo Hadoop适配器最简单的方法是从GitHub上克隆Mongo-Hadoop工程，并且将该工程编译到一个特定的Hadoop版本。克隆该工程需要安装一个Git客户端。本节假定你使用的Hadoop版本是CDH3。Git客户端官方的下载地址是：http://gi...
2018-03-26 11:14:19
2959
转载 eclipse mars 安装python 和 scala
http://download.csdn.net/detail/icaoweiwei/9410708http://download.csdn.net/detail/a646468568/9377692 <link rel="stylesheet" ...
2018-03-26 10:55:21
418
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人