- 博客(67)
- 资源 (9)
- 收藏
- 关注
RSS订阅转载 POM.xml参考
原文出处：http://lavasoft.blog.51cto.com/62575/1388866作者：熔岩<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocati
2015-10-27 11:53:03
688
转载 java中return与finally的执行顺序
转载出处：http://www.cnblogs.com/lanxuezaipiao/p/3440471.html作者：Alexia结合这一篇一起看，基本对try-catch-finally与return的执行顺序就都理解的差不多了。网上有很多人探讨Java中异常捕获机制try...catch...finally块中的finally语句是不是一定会被执行？很多人都说不是，
2015-10-18 15:22:52
969
原创 Linux下编译或者升级git
步骤：1、去到官网下载源码，或者你已经安装了git的低版本的，直接将git的源码clone下来 git clone https://github.com/git/git2、安装git需要许多依赖包，除了官网安装文档提到curl，perl，expat，可能自己在编译安装的时候还会缺少一些包或者库，缺什么安装什么。我是在64位unbuntu server下编译的，先安装依赖包 sudo a
2015-09-20 11:28:15
2444
转载 Linux下普通包和devel包
devel包含普通包，但比普通包多了头文件。动态链接库的话两种包都有。编译的时候如果需要用到这个库，那么需要安装这个库的devel，因为需要头文件
2015-09-20 11:07:56
1222
原创 CentOS-6.5下编译hadoop-2.6.0的eclipse插件
欲看大招，请直接拖到最低部。windows下hadoop的eclipse插件在CentOS里用不了了，只能自己去编译。1）下载插件2x版本的源码2）在CentOS里安装Ant，进入目录/src/contrib/eclipse-pligin目录下，使用ant命令编译：ant jar -Dversion=2.6.0 -Declipse.home=/home/eclipse -D
2015-09-13 19:18:45
570
转载 Spark RDD中cache和persist的区别
转自：http://www.ithao123.cn/content-6053935.html通过观察RDD.scala源代码即可知道cache和persist的区别：def persist(newLevel: StorageLevel): this.type = { if (storageLevel != StorageLevel.NONE && newLev
2015-09-13 17:29:37
7817
原创 Vmware vSphere Client克隆虚拟机
参考资料：http://www.zhixing123.cn/ubuntu/41790.htmlstep1）将你所要克隆的虚拟机关机step2） 选择你的EXEi服务器（物理机，如图1的的“1”） 选中配置，然后选中存储器（如图1中的“2”和“3”） 右键你的存储介质，比如我自己的是datastore1，选择“浏览数据存储”。（如图1中的“4”）
2015-09-13 17:00:26
11389
转载 Hadoop 2.6.0动态添加节点
作者：leo-leong出处：http://my.oschina.net/leoleong/blog/477508本文主要从基础准备，添加DataNode和添加NodeManager三个部分详细说明在Hadoop2.6.0环境下，如何动态新增节点到集群中。基础准备在基础准备部分，主要是设置hadoop运行的系统环境修改系统
2015-09-13 15:59:27
449
转载 Error:No suitable device found: no device found for connection "System eth0"
转载自作者：Andyyuan1000转载出处：http://blog.csdn.net/wwwyuanliang10000/article/details/19006409故障说明：在克隆几台虚拟机，发现启动后不能配置IP地址等信息，使用linux命令: “ifup eth0”也不能激活网卡，而在使用"service network
2015-09-13 15:30:43
878
转载 社区发现 Community Detection
作者: peghoty 出处: http://blog.csdn.net/peghoty/article/details/9286905 社区发现（Community Detection）算法用来发现网络中的社区结构，也可以视为一种广义的聚类算法。以下是我的一个 PPT 报告，分享给大家。 从
2015-09-12 15:20:24
1603
原创 冒泡排序和选择排序
冒泡排序在很多计算机入门课程中作为例题介绍给初学程序设计这，不过这其实价值不大，一方面冒排相对较慢，另一方面也没有插入排序容易理解。不过冒排也是简单粗暴的。下面要介绍的是最naïve的冒排，还有稍作优化一点的冒泡，最后在介绍冒排的变体，也就是插入排序。 原理：在每轮外循环i中，从数组底部开始，跟相邻的低序的元素比较，如果是升序数组，当低序的元素值比高序的元素的值大，则交换两者的值；将这种
2015-09-10 12:48:19
462
原创 插入排序
插入排序是排序入门最基础的算法之一，其原理也是简单粗暴的：为第I个元素选择正确的位置，前提是保证前（i-1）个元素已经排序完成，元素i遍历它之前的（i-1）元素，并插入到正确的位置中去，这就是“插入排序”的名字由来。关于插入排序各类算法和数据结构的书籍都会有详细描述，这里不再熬述。废话少说，放码过来。#include #include using namespace std;const
2015-09-08 21:19:26
456
原创 使用HDFS作为Druid的deepStorage
使用 HDFS作为Druid 的deep Storage，有以下几个步骤： 1) 在config/_common目录下的配置文件中添加 hdfs-storage的extensions 2) 为HDFS设置正确的访问参数 3) 在druid的运行节点的 classpath中添加hadoop 的相关jar包和配置文件路径以下为详细
2015-08-28 20:30:21
4275
原创 kafka测定删除topic及其内容
要使topic可以删除，首先在你的config/server.properties文件末尾中添加这一项：delete.topic.enable=true 1、/bin/kafka-topic --delete --zookeeper : --topic 2、kafka不一定马上就删除所有数据，找到config/server.properties文件中log.dirs所设置
2015-08-28 20:23:22
2790
原创 Flume监控目录并读取新添加的文件
官方文档： http://flume.apache.org/FlumeUserGuide.html#spooling-directory-source 使用spoolDirectory作为agent的source可以让flume自从监控指定的spoolDir目录，一旦有新文件生成就读取它并将它发送出去，已经读取过的文件会打上.COMPLETE后缀，不会重复发送。具体配置在官方文档中讲解
2015-08-28 20:14:34
8816
原创 flume+kafka+Druid 流数据查询聚合工具
Druid是个用于海量查询、聚合的工具，项目比较新，资料方面还比较少。这里是一位博主fish_cool总结的资料，包括Druid的简介，适用的场景，用法等，很大部分也是从Druid官网上总结的，写得很不错。这篇文章要介绍的是实验室自己的系统设计思路。整个系统的架构是 flume -> kafka -> druid，flume 与kafka的整合之前在搭建flume -> kafka
2015-08-28 19:36:19
6226
2
原创 HDFS-datanode数据块部分笔记
之前在看查看datanode数据的时候觉得很奇怪，我在hdfs上有两个用户，一个是默认生成的http://master:9000/user/hduser，（其中master是linux下我的主机名hduser是linux下我的用户名）另一个是使用了hive存储之后hdfs自动建立的http://master:9000/user/hive。但是在datanode节点查看之后，总是找不到hive存储的
2015-06-11 20:40:48
8679
原创 spark集群参数配置理解
一、spark-env.sh图1 我自己的配置文件spark-env.shline 7中指定hadoop安装目录的配置路径，如果不配置这一项，就要把${HADOOP_HOME}/etc/hadoop下的所有xml文件拷贝到${SPARK_HOME}/conf下，而且不保证正确，所以最好配置这一项。line 9中如果不配置，在运行spark-submit的
2015-05-24 17:54:18
3346
原创 Eclipse环境下hive测试
本文所做示例是将hive表格中的数据读取出来并存入mysql数据库。前提是以mysql作为hive的元数据库已经调通，因为连接mysql数据库的时候所用的数据库，用户名和密码都要hive的配置文件一致。1、在eclipse下建立工程，并将1）hive中lib目录下的所有包都导入到该项目。2）将hadoop中的相关包导入。在hadoop-2.x以前只要导入hadoop-xxx-core.jar就
2015-04-06 14:55:11
716
原创 Eclipse的Hadoop版HelloWorld
搭建过一些hadoop和spark，storm平台，算是轻车驾熟，但始终觉得漂浮在学习的皮毛之外。最近想进阶一下又不能白白浪费之前学过的东西，开始搞这几个平台的业务开发吧，从hadoop的“helloworld”——wordcount程序开始。 我是在自己虚拟机上搭建的三个节点的hadoop伪分布式集群，其实伪分布式跟完全分布式部署方法完全一样，把虚拟机换成物理机器就可以了。在ecli
2015-03-28 15:04:12
958
原创 Flume，Kafka与Storm整合
本文参考文章：http://www.cnblogs.com/lion.net/p/3922960.html#top 以及各种官方文档。1、Kafka与Storm的整合 Kafka与storm的整合就是用Kafka的消费者实现为为storm的数据源spout，用Kafka的stream数据作为storm中spout的数据源。 PS：编写代码的
2015-02-10 11:59:19
1574
原创 Flume与Kafka整合
1、构造 Flume与Kafka整合就是接口的实现，将Kafka的producer API实现为Flume的sink。简单理解就是将Flume的输出（sinks）作为Kafka的输入（producer）。 2、准备工作 1）将Kafka libs下所有的包都拷贝到Flume的lib目录下，这样运行基本不会有问题。 2）做了第一步工作之后
2015-02-04 11:11:54
2507
原创 Kafka安装测试
1、简介 Kafka是一个分布式消息队列，是一个能把消息存在不同节点上的企图实现高吞吐量的MQ（message queue）。粗略的讲，对于我们实验室的项目，Kafka是作为一个消息缓存机制存在，而看网上博客和官网一些描述其实也差不多是这个用处。对于我们“Flume+Kafka+storm”的平台，因为Flume模拟流数据源的发送速度是不稳定的，时快时慢，而且如果Flume的发送速度过
2015-02-03 14:59:35
1159
原创 Flume安装
最近实验室在搞storm流计算处理广告异常方面的学习。思路就是“Flume+Kafka+storm”平台，其中Flume可以模拟数据源发送源源不断的流数据，Kafka是个类似缓冲机制的东西，有生产者和消费者接口，分别与上流的Flume和下流的storm交互，storm平台则从Kafka取得数据处理。 Flume的安装非常简单，去到官网看一张图可以迅速又深刻的理解它的概貌：
2015-02-01 15:56:20
660
原创 winsock学习笔记（三）
PS：这几篇学习笔记都是在windows dev center上学习的东西，大部分是翻译。传送门：http://msdn.microsoft.com/en-us/library/windows/desktop/ms738545(v=vs.85).aspx#winsock.advanced_winsock_samples服务端：Initialize Winsock.（
2014-12-04 15:54:22
675
原创 winsock学习笔记（二）
这一节主要讲一个client socket使用的过程，步骤在上一篇中有提到过。温习一下：Initialize Winsock.（初始化winsock）Create a socket.（创建套接字）Connect to the server.（连接至服务端）Send and receive data.（发送和接受数据或消息）Disconnect.（断开连接）
2014-12-04 15:49:43
655
原创 winsock学习笔记（一）
PS：这几篇学习笔记都是在windows dev center上学习的东西，大部分是翻译。传送门：http://msdn.microsoft.com/en-us/library/windows/desktop/ms738545(v=vs.85).aspx#winsock.advanced_winsock_samples1、winsock粗略介绍winsock是windows平台下为
2014-12-04 15:38:04
782
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人