- 博客(36)
- 收藏
- 关注
RSS订阅原创 hadoop RPC
RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。 RPC的协议有很多，
2016-11-12 20:29:16
494
原创 hadoop HA 配置下api读取文件
HA 配置参照：hadoop HA HADOOP HA 读取api读取文件，与非HA读取文件时在api调用前需要设置的configuration完全不同，因有多个nameservice，因此在api访问hadoop集群前需要明确指定其映射关系。具体见实例：package com.liangjya.hadoop.cluster.demo;import java.io.Fi
2016-11-12 12:07:48
1558
原创 hadoop远程调试
JPDA 简介Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构，使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口（分别是 JVM Tool Interface 和 JDI）、一个协议（Java Debug Wire Protocol）和两个用于合并它们的软件组件（后端和前端）组成。
2016-11-12 11:47:26
466
原创 kafka安装配置
kafka安装可参照官网：http://kafka.apache.org/documentation 一、单节点安装 1. 解压 tar -xzf kafka_2.10-0.8.1.1.tgz -C /usr/cloud/kafka sudo vim /etc/profile export JAVA_HOME=/usr/cloud/java/jdk1.
2016-11-06 21:19:33
522
原创 storm集群安装配置
一、storm概述 对比Hadoop的批处理，Storm是个实时的、分布式以及具备高容错的计算系统。同Hadoop一样Storm也可以处理大批量的数据，然而Storm在保证高可靠性的前提下还可以让处理进行的更加实时；也就是说，所有的信息都会被处理。Storm同样还具备容错和分布计算这些特性，这就让Storm可以扩展到不同的机器上进行大批量的数据处理。他同样还有以下的这些特性：易
2016-11-06 14:23:10
427
原创 flume安装配置-采集日志到hadoop存储
一、整体架构 flume其实就是一个日志采集agent，在每台应用服务器安装一个flume agent，然后事实采集日志到HDFS集群环境存储，以便后续使用hive或者pig等大数据分析日志，然后可转存到mysql供运维查询或分析用户行为等。 二、 fume与hadoop集群规划，hadoop集群安装参照：集群规划：Hive只在一个节点（hadoop3）上安装
2016-10-29 14:50:30
7773
1
原创 Hive安装
一、 规划： 集群规划：Hive只在一个节点（hadoop1）上安装即可，hadoop安装参照：hadoop2.2.0集群安装系列 主机名 IP 安装的软件 运行的进程 hadoop1 192.168.31.10 jdk、hadoop NameNode、DFSZKFailoverController、 hadoop2
2016-10-29 12:50:22
311
原创 HBASE集群搭建
一、hbase介绍 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。二、集群规划 主机名 IP 安装的软件 运行的进程 hadoop1 192.168.31.10 jdk、hadoop NameNode、DFSZKFailoverContr
2016-10-23 22:31:14
331
原创 sqoop-1.4.4导入导出mysql数据到hadoop2.2.0 HDSF集群
Sqoop是一款开源的工具，主要用于在Hadoop相关存储（HDFS、Hive、HBase）与传统关系数据库（MySql、Oracle等）间进行数据传递工作。Sqoop最早是作为Hadoop的一个第三方模块存在，后来被独立成为了一个Apache项目。除了关系数据库外，对于某些NoSQL数据库，Sqoop也提供了连接器。一、Sqoop基础知识 Sqoop项目开始于2009年，可以在Hado
2016-10-23 18:08:51
618
原创 hadoop2.2.0集群搭建（四）终结篇
一、安装hadoop1.1 上传hadoop-2.2.0.tar.gz包到hadoop1机器1.2 解压 tar -zxvf hadoop-2.2.0.tar.gz -C /usr/cloud/hadoop/1.3配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下） #将hadoop添加到环境变量中(hadoo
2016-10-22 23:26:02
732
原创 hadoop2.2.0集群搭建（三） zookeeper集群搭建
概述结构与原理安装»概述ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。»结构与原理»Zookeeper的核心是原子广播，这个机制保证了各个ser
2016-10-22 22:16:28
377
原创 hadoop2.2.0集群搭建（二）安装前准备
在hadoop2.2.0集群搭建（一）中要求了做基础配置，但是这里为了没有涉及过集群配置的同学再详细说明下 一、安装前准备 首先配置一台主机，然后再克隆其他五台机器。环境：centos+java1.6+hadoop2.2.0+zookeeper-3.4.5java下载地址：http://www.oracle.com/technetwork/java/javase/downloa
2016-10-22 21:31:11
552
原创 hadoop2.2.0集群搭建（一）集群规划
一、 描述hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译。二、 前期准备1.修改Linux主机名2.修改IP3.修改主机名和IP的映
2016-10-22 17:51:24
1703
原创 hadoop HDFS读写文件
一、HDFS读文件过程 1.1 实例代码： package com.liangjya.hadoop.demo;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.net.URI;import java.net.URISyntaxEx
2016-10-22 10:35:31
1446
转载 分布式服务框架 Zookeeper -- 管理分布式环境中的数据
http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/?spm=0.0.0.0.xuGHnG
2016-10-20 14:45:58
288
转载 Tomcat 系统架构与设计模式，第 2 部分: 设计模式分析
这个分为两个部分的系列文章研究了 Apache Tomcat 服务器的系统架构以及其运用的很多经典设计模式。第 1 部分 分析了 Tomcat 的工作原理，第 2 部分将分析 Tomcat 中运用的许多经典设计模式，如模版模式、工厂模式和单例模式等。通过学习它们的实践运用能给我们以后的软件设计起到一定的借鉴作用。许 令波, Java 开发工程师, 淘宝网
2016-10-20 14:27:40
246
转载 Tomcat 系统架构与设计模式，第 1 部分: 工作原理
许 令波, Java 开发工程师, 淘宝网简介： 这个分为两个部分的系列文章将研究 Apache Tomcat 的系统架构以及其运用的很多经典设计模式。本文是第 1 部分，将主要从 Tomcat 如何分发请求、如何处理多用户同时请求，还有它的多级容器是如何协调工作的角度来分析 Tomcat 的工作原理，这也是一个 Web 服务器首要解决的关键问题。发
2016-10-20 14:22:11
351
转载 Servlet 工作原理解析
Servlet 工作原理解析Web 技术成为当今主流的互联网 Web 应用技术之一，而 Servlet 是 Java Web 技术的核心基础。因而掌握 Servlet 的工作原理是成为一名合格的 Java Web 技术开发人员的基本要求。本文将带你认识 Java Web 技术是如何基于 Servlet 工作，你将知道：以 Tomcat 为例了解 Servlet 容器是如何工作的？一个 Web
2016-03-20 16:22:13
271
原创 java多线程之（Exchanger）
Exchanger是自jdk1.5起开始提供的工具套件，一般用于两个工作线程之间交换数据。具体场景如下：此类提供对外的操作是同步的；用于成对出现的线程之间交换数据；可以视作双向的同步队列；可应用于基因算法、流水线设计等场景。package nc.com.thread.other;import java.util.concurrent.Exchanger;import java
2016-03-20 16:14:42
432
原创 JAVA多线程之（CyclicBarrier）
CyclicBarrier与CountDownLatch类似，一般用于任务拆分，例如一个任务分派多个子任务，然后组任务需要等待所有子任务执行结束后合并子任务返回的结果。具体请参照实例： package nc.com.thread.other;import java.util.Random;import java.util.concurrent.CyclicBarrier;/**
2016-03-20 16:06:56
339
原创 JAVA多线程之（CountDownLatch）
一个同步辅助类，它允许一个或多个线程一直等待一组其他线程执行结束后再做处理。用给定的计数初始化 CountDownLatch。由于调用了 countDown() 方法，所以在当前计数到达零之前，await 方法会一直受阻塞。之后，会释放所有等待的线程，await 的所有后续调用都将立即执行。 一个线程(或者多个)， 等待另外N个线程完成某个事情之后才能执行，实例代码如下： pa
2016-03-20 15:42:58
318
原创 JAVA多线程之Object的（wait（）、notify（））
如果需要调用一个对象的wait()方法，当前线程必须持有这个对象的锁，因此调用wait()方法必须在同步块或者同步方法中进行（synchronized块或者synchronized方法）。 调用某个对象的wait()方法，相当于让当前线程交出此对象的锁，然后进入等待状态，等待后续再次获得此对象的锁（Thread类中的sleep方法使当前线程暂停执行一段时间，从而让其他线程有机会继续执行，但它
2016-03-20 15:29:25
376
原创 java多线程之（suspend()、resume()）
suspend()和resume()方法，从字面意义上可以了解到这两个方法是一对的，suspend()方法就是将一个线程挂起(暂停)，resume()方法就是将一个挂起线程复活继续执行。参照例子： package nc.com.thread.traditional.example;public class TestSuspendAndResume { public static vo
2016-03-20 15:01:01
1187
原创 JAVA多线程之（Interrupt）
interrupt，顾名思义，即中断的意思。单独调用interrupt方法可以使得处于阻塞状态的线程抛出一个异常， 也就说，它可以用来中断一个正处于阻塞状态的线程；另外，通过interrupt方法和isInterrupted()方法来停止正在运行的线程。具体参照实例： package nc.com.thread.traditional.example;/** * inter
2016-03-20 14:51:02
418
原创 java多线程之（yield）
yield方法会让当前线程交出CPU权限，让CPU去执行其他的线程。它跟sleep方法类似，同样不会释放锁。但是yield不能控制具体的交出CPU的时间， 另外，yield方法只能让拥有相同优先级的线程有获取CPU执行时间的机会。 注意，调用yield方法并不会让线程进入阻塞状态，而是让线程重回就绪状态， 它只需要等待重新获取CPU执行时间，这一点是和sleep方法不一样的。具体请参照一下实例：
2016-01-21 20:34:25
552
原创 java多线程之（sleep）
java的Thread.sleep()相当于让线程睡眠，交出CPU，让CPU去执行其他的任务。 但是有一点要非常注意，sleep方法不会释放锁，也就是说如果当前线程持有对某个对象的锁，则即使调用sleep方法，其他线程也无法访问这个对象。看下面这个例子就清楚了：package nc.com.thread.traditional.example;/*** @ClassName: Test
2016-01-21 20:26:27
826
原创 JAVA多线程之（join)
java多线程中，join方法是主线程等待一个子线程结束后再继续执行主线程后续代码，wait方法会让线程进入阻塞状态，并且会释放线程占有的锁，并交出CPU执行权限,由于wait方法会让线程释放对象锁，研究java Thread类的join方法发现，其实join方法也是调用wait方法实现，所以join方法同样会让线程释放对一个对象持有的锁。Thread类的join方法的源代码：
2016-01-21 20:12:25
500
原创 JAVA多线程之（wait notify）
在JAVA中，并没有类似于操作系统PV原语操作、进程互斥等相关的方法的。JAVA的进程同步是通过synchronized来实现的，需要说明的是，JAVA的synchronized类似于操作系统概念中的互斥内存块，在JAVA中的Object类型中，都是带有一个内存锁的，在有线程获取该内存锁后，其它线程无法访问该内存，从而实现JAVA中简单的同步、互斥操作。明白这个原理，就能理解为什么synchron
2016-01-21 19:48:39
503
转载 Java NIO使用及原理分析 (四)
转载自：李会军•宁静致远在上一篇文章中介绍了关于缓冲区的一些细节内容，现在终于可以进入NIO中最有意思的部分非阻塞I/O。通常在进行同步I/O操作时，如果读取数据，代码会阻塞直至有 可供读取的数据。同样，写入调用将会阻塞直至数据能够写入。传统的Server/Client模式会基于TPR（Thread per Request）,服务器会为每个客户端请求建立一个线程，由该线程单独负责处
2016-01-12 20:20:41
309
转载 Java NIO使用及原理分析（三）
转载自：李会军•宁静致远在上一篇文章中介绍了缓冲区内部对于状态变化的跟踪机制，而对于NIO中缓冲区来说，还有很多的内容值的学习，如缓冲区的分片与数据共享，只读缓冲区等。在本文中我们来看一下缓冲区一些更细节的内容。缓冲区的分配在前面的几个例子中，我们已经看过了，在创建一个缓冲区对象时，会调用静态方法allocate()来指定缓冲区的容量，其实调用 allocate()
2016-01-12 20:18:59
305
转载 Java NIO使用及原理分析（二）
转载自：李会军•宁静致远在第一篇中，我们介绍了NIO中的两个核心对象：缓冲区和通道，在谈到缓冲区时，我们说缓冲区对象本质上是一个数组，但它其实是一个特殊的数组，缓冲区对象内置了一些机制，能够跟踪和记录缓冲区的状态变化情况，如果我们使用get()方法从缓冲区获取数据或者使用put()方法把数据写入缓冲区，都会引起缓冲区状态的变化。本文为NIO使用及原理分析的第二篇，将会分析NIO中的
2016-01-12 20:06:26
323
转载 Java NIO使用及原理分析 (一)
转载自：李会军•宁静致远最近由于工作关系要做一些Java方面的开发，其中最重要的一块就是Java NIO（New I/O），尽管很早以前了解过一些，但并没有认真去看过它的实现原理，也没有机会在工作中使用，这次也好重新研究一下，顺便写点东西，就当是自己学习 Java NIO的笔记了。本文为NIO使用及原理分析的第一篇，将会介绍NIO中几个重要的概念。在Java1.4之前的I/
2016-01-12 20:01:35
285
原创 NC维护云平台技术分享之 NC维护云管家通信框架
NC维护云管家通信框架诞生背景 NC维护云平台在架构设计之初就充分考虑到不同客户网络环境情况：1. NC服务器可以直接连通互联网。2. NC服务器所在内网完全与外网隔离。 基于上述网络情况，同时能为用户提供永久稳定的项目运维信息的云化管理服务以及真真切切地帮助一线解决一切难题的初衷，NC维护云平台提出了以“云+端”的方式为用户服务。考虑到让一线顾问、客户使用简单便
2016-01-11 10:34:24
2132
原创 FastDFS+nginx---（二）安装配置测试
一、简介 FastDFS是一个开源的轻量级的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。 二、安装前准备 1.系
2016-01-11 10:19:17
622
原创 Fastdfs+nginx---（一） 安装前准备
一、 gcc+安装1.1 由于fastdsf是用c语言实现的，编译时需要gcc命令，检查系统是否安装了gcc，检查命令：gcc -v1.2 安装命令：cd /usr/local/src/rpm –i libstdc++-devel-4.4.7-3.el6.i686.rpmrpm -i gcc-c++-4.4.7-3.el6.i686.rpm二、 安装libev
2016-01-11 09:51:19
368
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人