xxs120-CSDN博客

原创基于mysql日志+maxwell+kafka+Spark Streaming 的数据过滤框架

由于工作需要，小编最近开始研究大数据流式处理框架SparkStreaming,了解的很浅显，下面跟大家分享一下。了解SparkStreaming之前，我们先来了解什么是Spark。一、什么是spark？ 1.Spark的认识 spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Had...

2018-04-13 11:03:53 859

原创 tomcat日志监控——flume+kafka+storm+hbase

tomcat日志监控到现在为止已经基本完成，之前我已经说了flume+kafka的相关原理和配置。大家可以看我之前写的文章https://blog.csdn.net/xxs120/article/details/79925393 今天我接着讲我和我的小伙伴们一起完成的过程。 1.kafka消费遇到的问题（望各位提出建议） flume和kafka已经完成配置，也能实现kafka消费者消费数据。...

2018-04-13 10:58:34 1082

原创监控tomcat日志——flume+kafka

小编最近在研究使用flume监控tomcat的日志，以便及早发现问题，防止集群出现问题。初来乍到，确实踩了很多坑，一个简单的问题花了好几天的时间。在这做一个小小的总结。最开始，我是在windows系统上做测试，在网上查了很多资料，网上的资料一般都是基于linux系统，所以很难借鉴。就是因此，导致了我再windows上测试了遇到许多问题，比如说tomcat日志没有catalina.out文件，t...

2018-04-13 10:52:07 4012 1

原创 Python2.7实现模拟登陆-BeautifulSoup

我使用的是python2.7版本，windows下操作。所以在写代码之前肯定是要完成python的环境搭建。环境搭建网上也有很多资料，在此我不做多介绍。接下来开始我的爬虫开发，写的时候自己也不懂，所以在网上查了很多资料。主要有两个步骤： 1.python实现模拟登陆 loginurl = “http://192.168.1.195/index.php“ 1.首先查看loginurl如何实...

2018-04-13 10:47:04 1133

原创 hadoop之基础架构

Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式：应用程序被分割成许多小部分，而每个部分都能在集群中的任意节点上执行或重新执行。此外，Hadoop还提供了分布式文件系统，用以存储所有计算节点的数据，这为整个集群带来了非常高的带宽。MapReduce和分布式文件系统的设计，使得整个框架能够自动处理节点故障。它使应用程序与成千上万的独立计算的电脑和PB级的数据

2017-09-18 10:01:43 672

原创 ubuntu上配置Hadoop2.6.0

我的unbuntu版本是16.04,由于在自己电脑上配置，于是可配置单机伪分布式hadoop，也可以配置有两个节点的hadoop集群。这儿我以配置集群为例,(若是配置单机伪分布式，slave节点的不要即可) 我的虚拟机本机名和密码都是hadoop 1.JDK的安装首先到官网下载 jdk, http://www.oracle.com/technetwork/java/javase/do

2017-09-17 11:59:27 309

原创 hadoop之大数据初识

什么是大数据？大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据的特征?1.大量（Volume ）容量巨大、计算量巨大。 2.高速（ Velocity ）增长速度快，数据流量大：数据处理从批处理转向流处理。 3.多样（Variety ）来源多，格式多。不同结构的复杂数据：关系型数据库、日志和文本等等。

2017-09-17 11:02:15 312

原创 java 通过JDBC连接hive

我的hive版本是1.2.2,该版本以后版本都可以使用下列方法连接hive操作hive数据库表 1.导入jar[1]hadoop/share/hadoop/common下面的hadoop-common-*.jar [2]hive/lib下面的所有包2.连接hive1.启动hadoop sbin/start-all.sh 2.启动mysql service mysql start 3.启动metas

2017-09-15 23:47:06 375

原创了解JAVA

软件： 1. 系统软件：DOS(磁盘操作系统)，windows,Linux等 2. 应用软件计算机语言：C,JAVA,C++等 JAVA:1995年由SUN公司推出,后被Oracle公司收购java语言的三种技术架构： 1. JAVAEE 企业版 2. JAVASE 标准版 3. JAVAME 小型版特点：跨平台性 java虚拟机：创建一个虚拟的机器来运行J

2017-04-27 22:52:26 227

xxs120的博客