大城哥-CSDN博客

原创回忆调用WebService的过程，使用CXF调用

写这篇文章的初衷呢就是在工作中涉及和原始系统的数据同步交互，老的系统还是使用传统的WebService技术，正好把好多年前使用的技术在熟悉一遍，记得当初在WebService比较火的AIX2,JAX-WS、CXF,我选用的是CXF技术。参考：http://cxf.apache.org/调用天气例子：http://www.webxml.com.cn/WebServices/Weathe...

2019-02-12 19:15:44 409

转载 Java 详解 JVM 工作原理和流程

作为一名Java使用者，掌握JVM的体系结构也是必须的。说起Java，人们首先想到的是Java编程语言，然而事实上，Java是一种技术，它由四方面组成：Java编程语言、Java类文件格式、Java虚拟机和Java应用程序接口(Java API)。它们的关系如下图所示：运行期环境代表着Java平台，开发人员编写Java代码(.java文件)，然后将之编译成字节码(.class文件)，再然后...

2018-04-22 10:25:37 167

原创 Akka-使用Akka编写RPC通信

Akk基于actor通信模型，底层使用Netty来实现远程RPC通信，该例子使用一个Master和一个Work Master:package org.hjc.rpcimport akka.actor.{Actor, ActorSystem, Props}import com.typesafe.config.ConfigFactoryclass Master extends Actor{ pri

2017-10-30 16:47:27 786

原创 Hadoop中提交HDFS文件到HA中

package org.hjc.hdfs;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class HdfsTest { public static v

2017-10-09 11:01:21 455

原创 MapReduce程序在Map端Join

一、为什么要使用在map端join呢？例如一个商品一个订单，商品的数量小于订单的数量避免数据倾斜影响map和reduce的执行效率，对于数据量不是特别大的可以使用缓存文件 Map端，Reduce端代码实例：package org.hjc.mr;import java.io.BufferedReader;import java.io.File;import java.io.F

2017-09-15 10:17:20 274

原创 Hadoop 从windows环境下在eclipse上提交mapreducer程序过程

1. 在main方法上添加对应设置public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); //这三行是关键 conf.set("fs.defaultFS", "hdfs://mini1:9000");

2017-09-14 17:08:11 714

1、安装docker依赖性检查 Docker需要一个64位系统的CentOS系统，内核的版本必须大于3.10。可以用下面的命令来检查是否满足docker的要求$ uname -r 3.10.0-229.el7.x86_64 如果上述的依赖满足的话，还是推荐您全面地更新CentOS系统，以保证内核相应的bug都得到修复2、目前CentOS系统下面安装docker可以有两种方式：一种是使用curl获得

2017-07-05 11:06:20 283

转载 CentOS7安装mysql

环境 CentOS 7.1 (64-bit system) MySQL 5.6.24 CentOS 安装参考：http://www.waylau.com/centos-7-installation-and-configuration/依赖 MySQL 依赖 libaio，所以先要安装 libaio yum search libaio # 检索相关信息 yum install lib

2017-07-05 10:56:45 279

原创 CentOS7:常见问题

1、缺少netstat，ifconfig命令解决：yum install net-tool2、设置软件开机启动？解决：以前在centos6中的/etc/rc.d/rc.local 文件可以有执行权限，在centos7中执行权限被降低，则需要将此文件赋予执行权限：chmod +x /etc/rc.d/rc.local，然后可以编辑该文件配置启动信息例

2017-07-05 10:24:50 483

转载 centos下/etc/sysconfig/下找不到iptables文件

原因：在新安装的Linux系统中，防火墙默认是被禁掉的，一般也没有配置过任何防火墙的策略，所有不存在/etc/sysconfig/iptables文件。解决办法： 1、随便写一条iptables命令配置个防火墙规则：如：iptables -P OUTPUT ACCEPT2，进行保存service iptables save3，service iptables restart异常The servic

2017-07-05 09:41:45 358

原创一步一步学习：2、Spring-boot中web支持

一、前言在完成之前的环境配置下，现在来继续学习spring-boot中对web的支持，并用RESTful API风格二、了解相关注解说明之前做spring-mvc的开发时候经常使用@Controller、@RestController、@RequestMapping 这三种注解。@Controller: 修饰class,用来处理Http的请求，可以返回数据和视图 @RestController：S

2017-06-29 13:58:18 291

原创一步一步学习：1、Spring-boot初步认识

一、初步认识Spring-boot以前在使用spring框架的时候，各种配置文件，繁琐复杂、配置项太多，Spring Boot让我们的Spring应用变的更轻量化。比如：你可以仅仅依靠一个Java类来运行一个Spring引用。你也可以打包你的应用为jar并通过使用java -jar来运行你的Spring Web应用。Spring Boot的主要优点：为所有Spring开发者更快的入门开箱即用

2017-06-28 17:30:37 312

原创 Linux修改yum源

一、考虑国外的源下载软件比较慢，修改yum源是阿里的1、备份以前的mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2、下载新的CentOS-Base.repo 到/etc/yum.repos.d/CentOS 5wget -O /etc/yum.

2017-06-25 11:18:58 339

原创 Spring+Ehcache配置使用

一、ehcahe的介绍EhCache 是一个纯Java的进程内缓存框架，具有快速、精干等特点，是Hibernate中默认的CacheProvider。Ehcache是一种广泛使用的开源Java分布式缓存。主要面向通用缓存,Java EE和轻量级容器。它具有内存和磁盘存储，缓存加载器,缓存扩展，缓存异常处理程序，一个gzip缓存servlet过滤器，支持REST和SOAP api等

2017-06-24 21:15:34 973

转载多线程集合类

前言：在新增的Concurrent包中，BlockingQueue很好的解决了多线程中，如何高效安全“传输”数据的问题。通过这些高效并且线程安全的队列类，为我们快速搭建高质量的多线程程序带来极大的便利。本文详细介绍了BlockingQueue家庭中的所有成员，包括他们各自的功能以及常见使用场景认识BlockingQueue 阻塞队列，顾名思义，首先它是一个队列，而一个队

2017-06-22 17:01:14 1137 2

原创 Executors 线程池

一、在高并发大数据量访问的情况，由于单线程的任务无法快速完成需要执行的任务，使用Java的Executor框架里面的线程池。二、线程继承结构三、线程的父接口Executor接口public interface Executor { void execute(Runnable command);}Executor接口是Executor框架中最基础的部分，定义了一个用于执行Runn

2017-06-16 09:08:12 287

原创 Hive在集群环境配置

一、简介hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。二、环境要求1、JDK1.7+ 2、本次配置实例继续上次HBase配置完成后

2016-11-04 15:35:18 2293

原创 HBase集群环境搭建及概念介绍

一、前言HBase是一个构建在HDFS上的分布式列存储系统，HBase是基于Google BigTable模型开发的，典型的key/value系统； HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、行和列进行存储。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。

2016-11-04 10:07:48 748

原创 Hadoop2.X的集群配置

一、前言 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high

2016-11-03 16:00:50 895

原创 Zookeeper安装使用

一、前言ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括:配置维护、名字服务、分布式同步、组服务等。二、安装配置必须软件：JDK1.7+（请自行安装JDK） 1、Zookeeper是一个分布式协调调度框

2016-11-03 13:47:29 915

原创 Ambari安装使用介绍

一、前言在开始研究大数据Hadoop生态圈的时候，都是跟网上找了一下相关材料，官网上查询一下文档信息，对比着安装，从最初的3台机器开始，接触了Hadoop，开始了解Hadoop中的HDFS文件分布式系统，还有编写一些小的MapReduce的例子，慢慢的接触到了Zookeeper的使用，Hive，Hbase等等，每一个项目都是手工修改配置文件，然后启动相应的服务，试想一下，大公司在几十个，几百个，上千

2016-11-02 08:34:57 1217

转载 Hashtable和HashMap有什么区别

a.Hashtable是继承自陈旧的Dictionary类的，HashMap继承自AbstractMap类同时是Java 1.2引进的Map接口的一个实现。 b.也许最重要的不同是Hashtable的方法是同步的，而HashMap的方法不是。这就意味着，虽然你可以不用采取任何特殊的行为就可以在一个多线程的应用程序中用一个Hashtable，但你必须同样地为一个HashMap提供外同

2016-05-17 16:54:29 240

转载 ArrayList、Vector、LinkedList的区别及其优缺点？

ArrayList,LinkedList,Vector这三个类都实现了java.util.List接口，但它们有各自不同的特性，主要如下：一、同步性 ArrayList,LinkedList是不同步的，而Vector是同步的。所以如果不要求线程安全的话，可以使用ArrayList或LinkedList，可以节省为同步而耗费的开销。但在多线程的情况下，有时候就不得不使用Vector了。当然，也可以...

2016-05-17 16:53:05 926 2

程序猿-大城哥