自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(9)
  • 收藏
  • 关注

原创 基于mysql日志+maxwell+kafka+Spark Streaming 的数据过滤框架

由于工作需要,小编最近开始研究大数据流式处理框架SparkStreaming,了解的很浅显,下面跟大家分享一下。 了解SparkStreaming之前,我们先来了解什么是Spark。一、什么是spark? 1.Spark的认识 spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Had...

2018-04-13 11:03:53 859

原创 tomcat日志监控——flume+kafka+storm+hbase

tomcat日志监控到现在为止已经基本完成,之前我已经说了flume+kafka的相关原理和配置。大家可以看我之前写的文章https://blog.csdn.net/xxs120/article/details/79925393 今天我接着讲我和我的小伙伴们一起完成的过程。1.kafka消费遇到的问题(望各位提出建议) flume和kafka已经完成配置,也能实现kafka消费者消费数据。...

2018-04-13 10:58:34 1082

原创 监控tomcat日志——flume+kafka

小编最近在研究使用flume监控tomcat的日志,以便及早发现问题,防止集群出现问题。初来乍到,确实踩了很多坑,一个简单的问题花了好几天的时间。在这做一个小小的总结。 最开始,我是在windows系统上做测试,在网上查了很多资料,网上的资料一般都是基于linux系统,所以很难借鉴。就是因此,导致了我再windows上测试了遇到许多问题,比如说tomcat日志没有catalina.out文件,t...

2018-04-13 10:52:07 4011 1

原创 Python2.7实现模拟登陆-BeautifulSoup

我使用的是python2.7版本,windows下操作。所以在写代码之前肯定是要完成python的环境搭建。环境搭建网上也有很多资料,在此我不做多介绍。 接下来开始我的爬虫开发,写的时候自己也不懂,所以在网上查了很多资料。主要有两个步骤:1.python实现模拟登陆 loginurl = “http://192.168.1.195/index.php“ 1.首先查看loginurl如何实...

2018-04-13 10:47:04 1133

原创 hadoop之基础架构

Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式:应用程序被分割成许多小部分,而每个部分都能在集群中的任意节点上执行或重新执行。此外,Hadoop还提供了分布式文件系统,用以存储所有计算节点的数据,这为整个集群带来了非常高的带宽。MapReduce和分布式文件系统的设计,使得整个框架能够自动处理节点故障。它使应用程序与成千上万的独立计算的电脑和PB级的数据

2017-09-18 10:01:43 672

原创 ubuntu上配置Hadoop2.6.0

我的unbuntu版本是16.04,由于在自己电脑上配置,于是可配置单机伪分布式hadoop,也可以配置有两个节点的hadoop集群。这儿我以配置集群为例,(若是配置单机伪分布式,slave节点的不要即可) 我的虚拟机本机名和密码都是hadoop 1.JDK的安装 首先到官网下载 jdk, http://www.oracle.com/technetwork/java/javase/do

2017-09-17 11:59:27 309

原创 hadoop之大数据初识

什么是大数据? 大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据的特征?1.大量(Volume ) 容量巨大、计算量巨大。 2.高速( Velocity ) 增长速度快,数据流量大:数据处理从批处理转向流处理。 3.多样(Variety ) 来源多,格式多。不同结构的复杂数据:关系型数据库、日志和文本等等。

2017-09-17 11:02:15 312

原创 java 通过JDBC连接hive

我的hive版本是1.2.2,该版本以后版本都可以使用下列方法连接hive操作hive数据库表 1.导入jar[1]hadoop/share/hadoop/common下面的hadoop-common-*.jar[2]hive/lib下面的所有包2.连接hive1.启动hadoopsbin/start-all.sh2.启动mysqlservice mysql start3.启动metas

2017-09-15 23:47:06 375

原创 了解JAVA

软件: 1. 系统软件:DOS(磁盘操作系 统),windows,Linux等 2. 应用软件计算机语言:C,JAVA,C++等 JAVA:1995年由SUN公司推出,后被Oracle公司收购java语言的三种技术架构: 1. JAVAEE 企业版 2. JAVASE 标准版 3. JAVAME 小型版特点:跨平台性 java虚拟机:创建一个虚拟的机器来运行J

2017-04-27 22:52:26 227

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除