2018年03月_股海孙悟空

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 hive中order by,sort by, distribute by, cluster by作用以及用法

hive中order by,sort by, distribute by, cluster by作用以及用法1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少

2018-03-31 23:11:45 878 1

转载 Docker Swarm运行Spring Cloud应用（二）：Eureka高可用

基础服务独立部署把所有服务一次性部署好非常方便，但是在生产环境中使用的时候需要考虑这样一些因素：在生产环境中的基础服务，如Eureka由于更新不频繁，应该和频繁更新应用服务分开部署作为基础服务的Eureka需要考虑高可用我们可以把部署描述文件分成两部分，eureka.yml 用来部署作为基础服务的Eureka Server，是包含三各节点的集群。eureka.yml

2018-03-25 23:00:55 1482 1

原创 Docker Swarm

Swarm 在 Docker 1.12 版本之前属于一个独立的项目，在 Docker 1.12 版本发布之后，该项目合并到了 Docker 中，成为 Docker 的一个子命令。目前，Swarm 是 Docker 社区提供的唯一一个原生支持 Docker 集群管理的工具。它可以把多个 Docker 主机组成的系统转换为单一的虚拟 Docker 主机，使得容器可以组成跨主机的子网网络。1.

2018-03-25 22:56:34 136

原创 Docker管理工具-Swarm部署记录

Swarm介绍Swarm是Docker公司在2014年12月初发布的一套较为简单的工具，用来管理Docker集群，它将一群Docker宿主机变成一个单一的，虚拟的主机。Swarm使用标准的Docker API接口作为其前端访问入口，换言之，各种形式的Docker Client(docker client in Go, docker_py, docker等)均可以直接与Swarm通信。Swa

2018-03-25 22:50:10 956

原创 Hadoop 面试总结

1、简要描述如何安装配置一个开源的hadoop，只描述即可，列出完整步骤。a、创建一个用户和用户组，用来管理hadoop项目b、修改确定ip地址：vim /etc/sysconfig/network-scripts/ifcfg-eth0c、修改主机名：vim /etc/sysconfig/networkd、修改host主机名和ip地址映射：vim /etc/host

2018-03-14 23:18:38 273

原创 Hadoop面试45个题目及答案

1.Hadoop集群可以运行的3个模式？单机（本地）模式伪分布式模式全分布式模式2. 单机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。3. 伪分布模式中的注意点？伪

2018-03-14 23:16:32 13936

原创最近经历的一些大数据（Spark/Hadoop）面试题

公司A：1.讲讲你做的过的项目。项目里有哪些难点重点注意点呢？2.讲讲多线程吧，要是你，你怎么实现一个线程池呢？3.讲一下Mapreduce或者hdfs的原理和机制。map读取数据分片。4.shuffle 是什么？怎么调优？5.项目用什么语言写？ Scala？ Scala的特点？和Java的区别？6.理论基础怎么

2018-03-14 23:14:33 716

原创大数据hadoop 面试经典题

1.在Hadoop中定义的主要公用InputFormat中，默认是哪一个？（A） A、 TextInputFormatB、 KeyValueInputFormatC、 SequenceFileInputFormat 1. 下面哪个程序负责 HDFS 数据存储？（C） A.NameNode

2018-03-14 23:13:11 1023

原创 HBase工作原理学习

1 HBase简介HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建大规模结构化的存储集群。HBase的目标是存储并处理大型数据，具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。与MapReduce的离线批处理计算框架不同，HBase是一个可以随机访问的存储和检索数据平台，弥补了HDF

2018-03-14 23:11:55 544 1

原创 Docker Compose：链接外部容器的几种方式

容器之间的链接是一种很常见的操作：它提供了访问其中的某个容器的网络服务而不需要将所需的端口暴露给Docker Host主机的功能。Docker Compose中对该特性的支持同样是很方便的。然而，如果需要链接的容器没有定义在同一个 docker-compose.yml 中的时候，这个时候就稍微麻烦复杂了点。在Docker中，容器之间的链接是一种很常见的操作：它提供了访问其中

2018-03-03 22:28:56 9291

原创 Centos7中docker开启远程访问（Centos7 docker remote access configure）

首先，centos中docker的配置不同于ubuntu，在centos中没有/etc/default/docker，另外在centos7中也没有找到/etc/sysconfig/docke这个配置文件。参考了网上的文章，配置好了centos7的docker远程访问，配置过程如下。在作为docker远程服务的centos7机器中配置：1、在/usr/lib/sy

2018-03-03 22:26:57 580

原创 Centos系统下docker的安装与卸载

Docker简介Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）。几乎没有性能开销,可以很容易地在机器和数据中心中运行。最重要的是,他们不依赖于任何语言、框架包括系统。百度百科前提

2018-03-03 22:23:47 194

物流跟踪查询快递鸟

java实现物流跟踪查询。Demo写好了，测试方法有两个参数。1：物流公司的简称（SF）,2：需要查询的物流单号。你们需要申请物流接口的商户Id和api key值，申请步骤word文档有详细介绍

2018-10-07

IKAnalyzer2012

IKAnalyzer2012_u3

2017-10-30

IKAnalyzer2012_u3

2017-10-30

sessionDemo.zip

用于测试Nginx分发请求的案例demo

2017-09-26

tomcat-redis-session.zip

使用tomcat-redis-session-manager开源框架实现使用Redis存储Nginx+Tomcat负载均衡集群的Session所需要的3个jar：tomcat-redis-session-1.0-SNAPSHOT.jar、jedis-2.7.2.jar、commons-pool2-2.0.jar

2017-09-26