- 博客(19)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Flume中的HDFS Sink配置参数说明
关键字：flume、hdfs、sink、配置参数转自：http://lxw1234.com/archives/2015/10/527.htmFlume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。channeltypehdfspath写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/
2016-03-30 13:29:14
11822
1
原创 Flume-ng 1.6.0安装、配置与使用
1. 介绍Flume NG是Cloudera提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failov
2016-03-29 20:59:25
7252
转载 Flume Source对多行的处理
ExecSource会readLine()读取日志中的每一行，把其作为每一个flume event的body放进去，这对于大部分这种每行就可以结束的日志记录，是完全可以的：122016-03-18 17:53:48,374 INFO namenode.FSNamesystem (FSNamesystem.java:listCorruptFileBlocks(72
2016-03-29 09:46:11
5456
1
转载 实时日志收集-查询-分析系统(Flume+ElasticSearch+Kibana)
实时日志收集，查询，分析系统设计方案：Flume（日志收集） + ElasticSearch（日志查询）+ Kibana（日志分析与展示）实验使用场景：通过ambari部署集群后，可以添加自己的日志系统，记录每个组件的产生的日志，实时的查询分析一、Flume概述：Apache Flume is a distributed, reliable, and available syste
2016-03-29 09:44:25
2441
转载 你不知道的HashMap与HashSet
目录(?)[-]什么是HashSet什么是HashMapHashSet和HashMap的区别HashMap和HashSet的区别是Java面试中最常被问到的问题。如果没有涉及到Collection框架以及多线程的面试，可以说是不完整。而Collection框架的问题不涉及到HashSet和HashMap，也可以说是不完整。HashMap和HashSet都是colle
2016-03-24 20:52:14
491
原创 hadoop 集群开启之后datanode没有启动
datanode没有启动将hadoop配置文件修改后，重新格式化了hadoop集群，即hadoop name -format但是此时发现slave节点没有启动datanode上网查找解决方法，最后终于解决了，解决方法如下：1. 先执行stop-all.sh暂停所有服务2. 将所有Salve节点上的tmp(即 hdfs-site.xml 中指定的 dfs.data.dir 文件夹
2016-03-16 10:29:25
19783
8
原创 服务器时间同步
root用户下，使用命令ntpdate -u ntp.api.bz其中ntp.api.bz为上交的一个时间服务器同步网络 ntpdate命令： ntpdate -u 210.72.145.44 :网络时间同步命令 注意：若不加上-u参数， 会出现以下提示：no server suitable for synchronization found
2016-03-14 14:37:06
1309
原创 Hive基本操作 通过java连接
1、启动服务#hive --service hiveserver2 >/dev/null 2>/dev/null &以上命令启动hiveserver2服务。Hive提供了jdbc驱动，使得我们可以用java代码来连接Hive并进行一些类关系型数据库的sql语句查询等操作。首先，我们必须将Hive的服务，也就是HiveServe打开。在Hive 0.11.0版本前，只有HiveServer
2016-03-14 09:46:03
3961
原创 Hive分布式安装
1、mysql安装主要是通过在线安装，首先通过下面命令来查看mysql相关的版本[hadoop1@master ~]$ yum list | grep mysqlmysql-libs.x86_64 5.1.71-1.el6 @anaconda-CentOS-201311272149.x86_64/6.5
2016-03-12 18:42:46
2961
转载 Flume+HBase采集和存储日志数据
转自：http://blog.csdn.net/yaoyasong/article/details/39400829前言大数据时代，谁掌握了足够的数据，谁就有可能掌握未来，而其中的数据采集就是将来的流动资产积累。几乎任何规模企业，每时每刻也都在产生大量的数据，但这些数据如何归集、提炼始终是一个困扰。而大数据技术的意义确实不在于掌握规模庞大的数据信息，而在于对这些数据进行智能处理，从
2016-03-08 00:19:05
6764
转载 开源大数据查询分析引擎现状
【按：此文是与我的《基于大数据分析的安全管理平台技术研究及应用》同期发表在内刊上的我的同事们的作品，转载于此。这些基础性的研究和测试对比分析，对于我们的BDSA技术路线选定大有帮助。】引言 大数据查询分析是云计算中核心问题之一，自从Google在2006年之前的几篇论文奠定云计算领域基础，尤其是GFS、Map-Reduce、 Bigtable被称为云计算底层技术三大基石。G
2016-03-07 23:56:51
721
转载 基于大数据分析的异常检测方法及其思路实例
转自：http://www.2cto.com/Article/201601/485562.html1 概述随着人类社会信息化程度的不断深入，信息系统产生的数据也在呈几何级数增长。对这些数据的深入分析可以得到很多有价值的信息。由于数据量太大以及数据属性的多样性，导致经典的统计分析方法已经无法适用，必须采用以机器学习理论为基础的大数据分析方法。目前，大数据分析的方法已经被广泛用于商
2016-03-07 23:40:19
2632
原创 Hbase基础学习--shell常用命令
1、启动Hbase shell进入HBase安装目录，输入 ./hbase shell[hadoop@Master bin]$ ./hbase shell2016-03-07 11:07:02,174 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
2016-03-07 14:35:28
1042
转载 Hadoop日志文件分析系统
项目需求： 需要统计一下线上日志中某些信息每天出现的频率，举个简单的例子，统计线上每天的请求总数和异常请求数。线上大概几十台服务器，每台服务器大概每天产生4到5G左右的日志，假设有30台，每台5G的，一天产生的日志总量为150G。处理方案： 方案1：传统的处理方式，写个JAVA日志分析代码，部署到每台服务器进行处理，这种方式部署起来耗时费力，又不好维护。
2016-03-05 00:11:07
991
转载 海量Web日志分析 用Hadoop提取KPI统计指标
转自：http://blog.fens.me/hadoop-mapreduce-log-kpi/Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie
2016-03-04 23:44:13
923
转载 Real Time Detection of Outliers in Sensor Data using Spark Streaming
From:https://pkghosh.wordpress.com/2015/02/19/real-time-detection-of-outliers-in-sensor-data-using-spark-streaming/As far as analytic of sensor generated data is concerned, in Internet of Thin
2016-03-03 14:59:29
811
原创 HBase分布式安装
说明对于HBase与Hadoop版本要选择相对应的（否则会出很多问题），具体对应版本可参考： 本次集群对应版本为：Hadoop-2.7.2 + HBase-1.2.0安装：第一步：依赖环境主要有Java、Hadoop、zookeeperHBase分布式下安装，则需首先安装hdfs也即使安装hadoop，对于zookeeper可以选择不安装（不安装的话就是用hb
2016-03-02 20:49:26
1078
1
转载 分布式存储系统 知识体系
转自：http://wuchong.me/blog/2014/08/07/distributed-storage-system-knowledge/单机存储引擎哈希哈希存储引擎是哈希表的持久化实现，支持增、删、改，以及随机读取操作，但不支持顺序扫描，对应的存储系统为键值(Key-Value)存储系统，如 Bitcask。它仅支持追加操作，删除也只是通过标识 value 为特
2016-03-01 17:24:57
1301
centos7.6机器上离线安装docker-ce-19.03、nvidia-docker2
2023-11-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人