关闭
当前搜索:

hive安装

下载Hive安装包 http://hive.apache.org/downloads.html 2、将hive文件上传到HADOOP集群,并解压     将文件上传到:/export/software tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /export/servers/ cd /export/servers/ ln -s ap...
阅读(184) 评论(0)

azkaban-2.5.0 启动报错Invalid maximum heap size: -Xmx4G 解决

启动azkaban后报错信息为: Invalid maximum heap size: -Xmx4096m The specified size exceeds the maximum representable size. Could not create the Java virtual machine. 解决方法: 请修改文件azkaban\azkaban-web-2....
阅读(101) 评论(0)

Azkaban安装

Azkaban安装部署 准备工作 Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务器  azkaban-executor-server-2.5.0.tar.gz   MySQL 目前azkaban只支持 mysql,需安装mysql服务器,本文档中默认已安装好mysql服务器,并建立了 root用户,密码 root...
阅读(195) 评论(0)

hbase命令及相应java API

命1. 命令 habase命令 名称 命令表达式 创建表 create '表名', '列族名1','列族名2','列族名N' 查看所有表 list 描述表 describe  ‘表名’ 判断表存在 exists  '表名' 判断是否禁用启用...
阅读(133) 评论(0)

项目导入时报错:The import javax.servlet.http.HttpServletRequest cannot be resolved

Error: The import javax.servlet cannot be resolved The import javax.servlet.http.HttpServletRequest cannot be resolved Description: 我们经常会把别人的项目copy到自己这里进行二次开发或者参考,有的时候会发生上面的错误,   即ec...
阅读(129) 评论(0)

调用方法和函数

Scala中的+ - * / %等操作符的作用与Java一样,位操作符 & | ^ >> 一点特别的:这些操作符实际上是方法。例如: a + b 是如下方法调用的简写: a.+(b) a 方法 b可以写成a.方法(b) 1 定义方法 方法的返回值类型可以不写,编译器可以自动推断出来,但是对于递归函数,必须指定返回类型 2 定义函数 方法和函数的区别 在函数...
阅读(141) 评论(0)

Scala基础

1 声明变量  package cn.wxz.scala object VariableDemo { def main(args: Array[String]) { //使用val定义的变量值是不可变的,相当于java里用final修饰的变量 val i = 1 //使用var定义的变量是可变得,在Scala中鼓励使用val var s = "hello" ...
阅读(143) 评论(0)

一致性哈希算法

一致性哈希算法是分布式系统中常用的算法。比如,一个分布式的存储系统,要将数据存储到具体的节点上,如果采用普通的hash方法,将数据映射到具体的节点上,如key%N,key是数据的key,N是机器节点数,如果有一个机器加入或退出这个集群,则所有的数据映射都无效了,如果是持久化存储则要做数据迁移,如果是分布式缓存,则其他缓存就失效了。     因此,引入了一致性哈希算法: 把数据用ha...
阅读(166) 评论(0)

DOM

1.1. DOM简介     全称Document Object Model,即文档对象模型。     DOM描绘了一个层次化的树,允许开发人员添加、删除、修改页面的某一部分。       浏览器在解析HTML页面标记的时候,其实不是按照一行一行读取并解析的,        而是将HTML页面中的每一个标记按照顺序在内存中组建一颗DOM树,        组建好之后,按照树的结构将页面...
阅读(126) 评论(1)

crond

crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程,与windows下的计划任务类似,当安装完成操作系统后,默认会安装此服务工具,并且会自动启动crond进程,crond进程每分钟会定期检查是否有要执行的任务,如果有要执行的任务,则自动执行该任务。 Linux下的任务调度分为两类,系统任务调度和用户任务调度。 系统任务调度:系统周期性所要执行的工作,比如写缓存数据...
阅读(129) 评论(0)

ssh免密登陆

ssh-keygen  产生公钥与私钥对. ssh-copy-id 将本机的公钥复制到远程机器的authorized_keys文件中,ssh-copy-id也能让你有到远程机器的home, ~./ssh , 和 ~/.ssh/authorized_keys的权利 第一步:在本地机器上使用ssh-keygen产生公钥私钥对     jsmith@local-host$ [Note: Y...
阅读(298) 评论(0)

Java并发包中Lock的实现原理

1. Lock 的简介及使用          Lock是java 1.5中引入的线程同步工具,它主要用于多线程下共享资源的控制。本质上Lock仅仅是一个接口(位于源码包中的java\util\concurrent\locks中),它包含以下方法 //尝试获取锁,获取成功则返回,否则阻塞当前线程 void lock(); //尝试获取锁,线程在成功获取锁之前被中断,则放弃获取锁,抛...
阅读(124) 评论(0)

spring原理

1、spring原理        内部最核心的就是IOC了,动态注入,让一个对象的创建不用new了,可以自动的生产,这其实就是利用java里的反射,反射其实就是在运行时动态的去创建、调用对象,Spring就是在运行时,跟xml Spring的配置文件来动态的创建对象,和调用对象里的方法的 。         Spring还有一个核心就是AOP这个就是面向切面编程,可以为某一类对象 进行监...
阅读(113) 评论(0)

Intellij IDEA 安装Scala 报 ‘plugin scala is incompatible‘ 解决方案

按以下步骤安装idea的scala的插件 这里我把我的下载的scala插件放在D:\IDE,操作以下步骤 结果报一下错误,安装的scala插件不兼容 解决方法如下图: 然后在下面的接下来查看对应的兼容版本版本 在官网下载对应版本的插件重复以上步骤出现以下界面即成功...
阅读(113) 评论(0)

storm集群部署的基本流程

1、集群部署的基本流程 集群部署的流程:下载安装包、解压安装包、修改配置文件、分发安装包、启动集群 注意:     所有的集群上都需要配置hosts     vi  /etc/hosts        192.168.239.128 storm01 zk01 hadoop01      192.168.239.129 storm02 zk02 hadoop02        192....
阅读(207) 评论(0)

Flume的安装部署

1、Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境 上传安装包到数据源所在节点上 然后解压  tar -zxvfapache-flume-1.6.0-bin.tar.gz 然后进入flume的目录,修改conf下的flume-env.sh,在里面配置JAVA_HOME   2、根据数据采集的需求配置采集方案,描述在配置文件中(文件名可任意自定义) 3、指定采...
阅读(143) 评论(0)

HADOOP集群搭建

HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据的存储,集群中的角色主要有NameNode / DataNode YARN集群: 负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager (那mapreduce是什么呢?它其实是一个应用程序开发包)   本...
阅读(157) 评论(0)

HDFS常用命令参数介绍

-help             功能:输出这个命令参数手册 -ls                  功能:显示目录信息 示例: hadoop fs -ls hdfs://hadoop-server01:9000/ 备注:这些参数中,所有的hdfs路径都可以简写 -->hadoop fs -ls /   等同于上一条命令的效果 -mkdir  ...
阅读(269) 评论(0)

使用hadoop dfsadmin -report命令查看集群运行,结果全为0,解决方法

使用hadoop dfsadmin -report命令查看集群运行,结果全为0结果如下: [hadoop@mini1 hadoop-2.4.1]$ hadoop dfsadmin -report DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command fo...
阅读(833) 评论(0)

通过本地光盘安装yum源

1,创建一个光盘挂载点 mkdir /mnt/cdrom 2,把光盘挂载到挂载点 mount /dev/cdrom  /mnt/cdrom 3,切换到/etc/yum.repos.d  cd /etc/yum.repos.d 4,使CentOS-Base.repo失效,别删了,万一以后我们使用找不到就麻烦了,我们只需该一下名字即可 mv CentOS-Base.repo Cent...
阅读(128) 评论(0)
47条 共3页1 2 3 下一页 尾页
    个人资料
    • 访问:11905次
    • 积分:562
    • 等级:
    • 排名:千里之外
    • 原创:43篇
    • 转载:1篇
    • 译文:0篇
    • 评论:2条
    文章分类
    最新评论