原创 docker系列之三 ：创建自己的image并上传到docker hub

运行docker run docker/whalesay 会提示没有镜像，然后自动下载镜像创建一个cokerfile mkdir mydockerbuild cd mydockerbuild vi Dockerfile 在docker file 下编辑如下内容 FROM docker/whalesay:latest RUN apt-get -y update && apt-ge

原创 docker系列之二 ：docker的一些概念

最基本的三个概念engine Docker Engine provides the core Docker technology that enables images and containers 可以理解成就是docker的命令image An image is a filesystem and parameters to use at runtime. It doesn’t have

原创 docker系列之一 ：docker的安装

主要步骤如下：我的系统是CentOS 7.3 64-bitsudo yum install -y yum-utilssudo yum-config-manager –add-repo https://download.docker.com/linux/centos/docker-ce.reposudo yum makecache fastsudo yum -y install do

原创 elasticsearch2.2系列一（es的安装）

elasticsearch2.2.1的安装

原创 hadoop 2.4.1 64位编译记录

安装jdk安装mavensudo apt-get install maven安装g++sudo apt-get install g++安装protobuf-2.5.0下载解压 cd protobuf-2.5.0/，进行如下操作：sudo ./configure sudo make sudo make check sudo make install sudo ldconfigs

原创 linux shell

第一个shell脚本程序#!/bin/sh #第一行统一这样写echo 'abc' #输出abc运行（是因为目录不对）liuil@ubuntu:~$ test.shtest.sh: command not found方案一liuil@ubuntu:~$ sh test.shabc方案二（没有权限）liuil@ub

原创 jvm知识小结

heapjava的内存区称作堆（heap），用来保存类和对象heap被分为为3个称作域（generation）的主要部分，对应于对象不同的生存期这三个generation分别为：新域（young generation）,旧域（tenured generation），永久域（perm generation）标记为virtual的部分被保留，在必要时才实际分配出去young generat

原创 hbase原理

1.hbase利用hdfs作为其文件存储系统，利用mapreduce来处理数据，利用zookeeper作为协调工具2.行键（row key），类似于主键，但row key是表自带的3.列族（column family） ,列（也称作标签/修饰符）的集合，定义表的时候指定的，列是在插入记录的时候动态增加的hbase表中的数据，每个列族单独一个文件4.timestamp 是列的一个属性

原创 zookeeper原理

1.为了解决分布式事务性一致的问题2.文件系统也是一个树形的文件系统，但比linux系统简单，不区分文件和文件夹，所有的文件统一称为znode3.znode的作用：存放数据，但上限是1M ;存放ACL(access control list)访问控制列表，每个znode被创建的时候，都会带有一个ACL，身份验证方式有三种：digest(用户名密码验证)，host(主机名验证)，ip(ip验

原创 hbase shell基本命令

1.进入hbase shellhadoop@namenode:~/hbase-0.98.8-hadoop1/conf$ hbase shellHBase Shell; enter 'help' for list of supported commands.Type "exit" to leave the HBase ShellVersion 0.98.8-hadoop1, r6cf

原创 hbase部署实践

一、下载hbase二、设置环境变量

原创 storm部署实践

1.下载storm并解压2.修改文件 storm.yaml 我这里填的是域名，填ip也可以hadoop@namenode:~/storm-0.9.2/conf$ vim storm.yaml # Licensed to the Apache Software Foundation (ASF) under one# or more contributor licens

原创 部署zookeeper实践

zookper部署详细，实录

原创 mahout部署实践

mahout部署实践

原创 yarn与第一代mapreduce比较

jobtracker变成了ResourceManager和ApplicationMaster;tasktraker变成了nodeManagerapplicationMaster是一个可变更的部分，用户可以对不同的编程模型些自己的applicationMaster

原创 mapreduce的一个模版

package chapter1;import java.io.IOException;import java.text.DateFormat;import java.text.SimpleDateFormat;import java.util.Date;import org.apache.hadoop.conf.Configuration;impo

原创 hadoop2新特性

hdfs联邦/hdfs快照

原创 hadoop增加新节点实践

hadoop增加一个节点实录

原创 linux 常用命令2

ln 建立链接文件（***）ln -s /home/itcast/familyA/house/roomB   /home/roomB 遇到 Permission denied（权限拒绝）说明itcast用户没有权利做这件事使用sudo 可以借用root的权限，输入itcast的密码，在命令前加sudo例如安装jdk路径需要配置环境变量，如果路径较长书写麻烦可以配置连接文件第一，

原创 linux基础

注销、关机、重启命令注销：logout或exit关机：halt或shutdown -h now（要是root用户或是有授权才可以）重启：reboot或shutdown -r now（要是root用户或是有授权才可以）*.ubuntu进入和退出命令模式.Ctrl+Alt+F1  切换到控制台1（tty1）2.Ctrl+Alt+F2  切换到控制台2（tty2）

原创 linux常用命令

ls:列出所有文件-l 列出文件的详细信息-a 列出当前目录所有文件，包含隐藏文件linux创建文件和文件夹的区别？mkdir和touch，echormdir(文件夹非空)和rmmkdir 创建目录 　（ 删除？rmdir  非空） -p 父目录不存在情况下先生成父目录rm 删除文件1：rm a.txt2：rm -rf abc

原创 lucene入门04

question  1.索引库里面存的是什么  大部分用来存数据，小部分用来存目录  2.数据和目录分别解释一下  每个数据会分配一个编号，每个数据有很多Field，每个field有key和value  目录记录了每个词和编号的对应，通过词找到哪些编号包含这个词  3.数据和目录的联系  每个数据的Field的Value通过分词，加入到目录中  4.document

原创 lucene入门03

入门程序首先要导入5个包IKAnalyzer3.2.0Stable.jarlucene-analyzers-3.0.1.jarlucene-core-3.0.1.jarlucene-highlighter-3.0.1.jarlucene-memory-3.0.1.jar

翻译 lucene入门02

原创 lucene入门01

用数据库的select like 搜索的缺点：以select * from t_article where title like '%ant%' or content like '%ant%'为例1.搜索的是ant，会出现像plant这样的结果2.没有相关度的排序3.速度慢，因为like是没有索引的----------------------------------------

原创 xml解析

第一步：/* * 先把指定的xml文件转换成内存对象 * 通过xml文件得到org.w3c.dom.Document对象 */public static Document getDocument(String file) {// 1.DocumentBuilderFactoryDocumentBuilderFactory builderFactory = DocumentBuilderFact