幽林孤狼-CSDN博客

原创 Kafka简介及集群搭建详细流程

Kafka原理：Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。现在它已被多家公司作为多种类型的数据管道和消息系统使用。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量（Page View）、被查看内容方面的信息以及

2015-08-26 18:43:37 1106

原创 CentOs下Nginx安装部署

系统：centOS首先要装好gcc，gcc-c++、make等编译工具Yum install XXXXNginx的安装模块依赖性Nginx需要依赖下面3个包1. gzip 模块需要 zlib 库 ( 下载: http://www.zlib.net/ )2. rewrite 模块需要 pcre 库 ( 下载: http://www.pcre.org/ )3. ssl

2015-08-26 10:53:46 473

原创如何将spark streaming处理结果保存到关系型数据库中

spark streaming是一个分布式高可靠的准实时处理系统，其数据源可以flume、Hdfs、kafka等，其结果可以保存到关系型数据库，HDFS上。保存到HDFS上相对简单，一句话就可以搞定，但是要保存到关系数据库中，相对比较麻烦，既要链接数据库，又要知道数据字段。我们首先写个wordcount程序测试一下，通过网络发数据到spark streaming发数据程序如下impor

2015-08-20 17:45:13 4533 2

原创 Ganglia的安装及配置

前一篇文章解释了在安装好ganglia后遇到的几个问题，接下来我们来看ganglia的安装，以及配置，由于生产服务器有时yum安装找不到Ganglia安装包，故而需要编译安装，但是依赖包实在太多，安装比较繁琐，所以我的策略是先检验生产环境上那些包可以yum安装，就尽量yum安装，不能yum安装的再下载源码包编译安装。一、Ganglia的安装安装概况dev1gmetad gmond

2015-11-17 21:58:09 627

原创 Ganglia收不到数据问题和页面显示异常问题详解

在配置hadoop、hbase集群监控的时候，开发测试环境都是很ok的，但是到了生产环境，由于安装位置在SF区，连不了外围，当然服务器也无法yum安装ganglia，导致产生了一系列问题。安装依赖包太多，页面显示不正常，hbase发送指标太多等众多问题一、页面显示不正常原因主要是下载的ganglia-web里依赖的一些js需要联网下载，服务器连不了外网，无法加载，故而导致界面显示不正常，解

2015-11-16 21:16:08 3651

原创【排序算法】冒泡排序

一、基本思路：冒泡排序是一种简单的交换类排序。其基本思路是，从头开始扫描待排序的元素，在扫描过程中依次对相邻元素进行比较，将关键字值大的元素后移。每经过一趟排序后，关键字值最大的元素将移到末尾，此时记下该元素的位置，下一趟排序只需要比较到此位置为止，直到所有元素都已有序排列。一般地，对n个元素进行冒泡排序，总共需要进行n-1趟。第1趟需要比较n-1次，第2趟需要比较n-2次，......第

2015-08-28 18:26:53 816

原创【设计模式】面向对象的七大设计原则

设计模式的定义设计模式(Design Pattern)是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结，使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。一、开放封闭原则OCP开放封闭原则（Open-Closed Principle,OCP）是面向对象的可复用设计（Object Oriented Design或OOD）的基石。其他设计原则（里氏

2015-08-28 17:18:27 454

原创 [置顶]对FileUpload文件上传控件的一些使用方法说明

//创建时间：2014-03-12//创建人：幽林孤狼//说明：FileUpload文件上传控件使用说明（只是部分）已共享学习为主//可以上传图片，txt文档。doc，wps，还有音频文件，视屏文件等，功能强大啊！//前台代码片，设置上传图片的界面

2015-08-26 20:08:05 415

原创 [置顶]数据结构课程设计

数据结构课程设计详细说明书一、问题描述（一）、建立三个文本文件（Student.txt,Course.txt和SC.txt） 1.学生表（文件Student.txt）（学号（唯一Sno），姓名(Sname)，性别(Ssex)，年龄(Sage)，专业(Sdept)）2.课程表(文件Course.txt)(课程号（唯一Cno）,课程名（Cname），学分（Ccredit）)

2015-08-26 20:08:03 473

原创 The First Pig Task

The First Pig Program环境：　　Hadoop-1.1.2　　pig-0.11.1　　linux系统为CentOS6.4　　jdk1.6在伪分布式下模式下运行启动：pig 或 pig –x mapreduce启动后会看到这样的界面就表示启动成功了我们来运行一个例子输入数据student.txt如下 201000101:Zhang

2015-08-26 20:07:58 511

原创 Hadoop中的辅助类ToolRunner和Configured的用法详解

在开始学习hadoop时，最痛苦的一件事就是难以理解所写程序的执行过程，让我们先来看这个实例，这个测试类ToolRunnerTest继承Configured的基础上实现了Tool接口，下面对其用到的基类源码进行分析，就可以理解其执行过程是如此简单。。。。。。 1 package xml; 2 3 import org.apache.hadoop.conf.Configuratio

2015-08-26 20:07:22 514

原创 JAVA WEB SQLHelper类的封装

在这次做项目中，我对自己最满意的就是封装了一下SQLHelper类，我对自己感到骄傲主要是我是初学者，我刚开始不知道可以这样做，我只是想着试着去这样做了，结果真的可以，所以我在我的模块就自己封装了一个SQLHelper，虽然下面用的这个不是很好，但是基本上满足需求，因为似乎所有类都能转换为String，所以就用String数组来补充sql语句中的可变参数，但是有一个问题，就是在调用

2015-08-26 20:07:18 355

原创 JAVA多态的理解

//看如下代码：package thinking.in.java;public class PrivateOverride { private void f(){ System.out.println("private f()"); } private void ss() { System.out.printl

2015-08-26 20:07:13 511

原创 java中的==和equals的区别

关于JAVA中的==和equals函数的区别今天在研读Thinking in java 时注意到==和equals的区别，于是就通过查看JDK_API才读懂了他们的区别，于是将心得分享一下，望批评指正，谢谢。在JAVA程序中一般的基本类型（值类型int，double，boolean等）都只能通过 = = 来判断值是否相等。如：System.out.println(1==1);Syste

2015-08-26 20:07:08 452

原创 struts2实现文件上传

Struts2中实现简单的文件上传功能：第一步：将如下文件引入到WEB_INF/lib目录下面，对应的jar文件可自行下载第二步：在包test.struts2下建立类UploadFilepackage test.struts2;import java.io.File;import java.io.IOException;import org.apache

2015-08-26 20:07:04 329

原创 struts2中访问和添加Application、session以及request属性

一、访问或添加Application、session、request属性《一》方式一HelloWorldAction类中添加如下代码//此方法适用于仅对Application、session、request对象添加属性值public String execute(){ //访问或添加Application、session、request属性

2015-08-26 20:06:59 448

原创 struts2框架开发的第一个应用

写这篇博文，主要是帮助那些刚接触struts2框架开发而不知所措的人，希望批评指正一、先建立一个web project，命名为struts2二、在webroot/WEB-INF/lib目录下添加如下jar文件三、在src目录下建立一个test.struts2包，并在此包下面建立HelloWorldAction.java文件 1 package test.str

2015-08-26 20:06:52 307

原创连接池的使用（一）

数据库操作中，和数据库建立连接是最为耗时的操作之一，而且数据库都有最大连接数目的限制，如果很多用户访问的是同一数据库，所进行的都是同样的操作，那么为每个用户都建立一个连接是不合理的；连接池的思想是：Tomcat服务器可以预备好若干个连接对象，将这些对象存放在一个称为连接池的容器中（通常由链表来担任这一角色），当某用户需要操作数据库时，只要从连接池中取出一个连接对象，当用户使用完该

2015-08-26 20:06:48 459

原创模式匹配KMP算法

前些日子在为目前该学习什么而苦恼，就问了一下已经从事多年软件开发的表哥，他说一个程序员要走的远，就要学好数据结构和算法，于是我就重新开始学习数据结构和算法了拿起以前上过的数据结构看，看到第四章串的模式匹配时，颇感兴趣，就写了一下程序，实践了一下。感觉还蛮爽，于是就把以下几个重要的函数放在此处，以便后面查看和园友学习。typedef char SString[MAX_STR_LEN + 1]

2015-08-26 20:06:38 351

原创 spark连接数据库操作（scala实现）

最近用到spark streaming程序处理数据时，想要将结果保存到关系数据库中，于是先考虑到怎么样连接数据库，以及如何操作数据库连接操作方法如下：一、基本查询import java.sql.{Connection, DriverManager, ResultSet} // Change to Your Database Configval conn_str = "jdbc:my

2015-08-20 17:30:54 6359 1

原创 flume spark streaming配置详解

Apache Flume是一个用来有效地收集，聚集和移动大量日志数据的分布式的，有效的服务。这里我们解释一下怎样配置Flume和Spark Streaming来从Flume获取数据，我们让flume直接将收集到的数据发送到spark streaming去处理package com.pinganfu.flumesparkimport org.apache.spark.SparkConfimp

2015-08-19 17:35:14 1178

幽林孤狼