大数据
w137960060
取则行远
展开
-
SSH免密码登录原理和配置
SSH免密码登录原理和配置原理图配置步骤一:建立秘钥A机:ssh-keygen -t rsa //创建公钥信息,一路回车 ->输入后会提示创建 .ssh/id_rsa, //私钥 id_rsa.pub //公钥步骤二:公钥部署把A机的公钥id_rsa.pub中的内容拷贝到B机root/.ssh/authorized_keys中,如果.ssh目录不存在,则建立此目录,并将权限设定为原创 2017-08-09 09:52:51 · 394 阅读 · 0 评论 -
CentOS6.5编译hadoop2.6.4
CentOS6.5编译hadoop2.6.4一. 下载必要的组件a) 下载hadoop源码 (本文下载的是2.6.4) 地址 http://mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop-2.6.4-src.tar.gz b) 下载apache-ant (本文下载的是1.9.9) 地址: http://mirrors.cnnic原创 2017-09-01 10:21:36 · 338 阅读 · 0 评论 -
Hadoop分布式集群安装
一、集群安装流程准备工作: 首先,有三台linux主机,主机名分别为master,slave1,slave2,各用户名均为hadoop.(尽量不要用root账户,因为root的权限太大了。)配置SSH无密码登陆(配置hadoop用户的无密码登录)安装Java环境安装hadoop集群二、安装Hadoop集群在master节点上:下载hadoop压缩包 首先,去apache h原创 2017-08-30 19:34:35 · 255 阅读 · 0 评论 -
初探-----同步,异步,阻塞,非阻塞
一、有瑕疵,但是有趣的故事。有助于我们理解二、不同模式下的系统交互图 A、同步阻塞模式 B、同步非阻塞模式 C、异步非阻塞模式 三、其他人的观点 A同学说: B同学说: 四、代码示例 同步阻塞式I/O//TimeServer.javaimport java.io.IOException;import java.net.S原创 2017-08-23 10:20:07 · 222 阅读 · 0 评论 -
volatile---非线程安全
volatile的作用在当前的Java内存模型下,线程可以把变量保存在本地内存(比如机器的寄存器)中,而不是直接在主存中进行读写。这就可能造成一个线程在主存中修改了一个变量的值,而另外一个线程还继续使用它在寄存器中的变量值的拷贝,造成数据的不一致。 要解决这个问题,只需要像在本程序中的这样,把该变量声明为volatile(不稳定的)即可,这就指示JVM,这个变量是不稳定的,每次使用它都到主存中进原创 2017-08-15 10:40:21 · 387 阅读 · 0 评论 -
初识---JVM之堆,栈,方法区
一、Java堆(Heap) 对于大多数应用来说,Java 堆(Java Heap)是Java 虚拟机所管理的内存中最大的一块。Java 堆是被所有线程共享的一块内存区域,在虚拟机启动时创建。此内存区域的唯一目的就是存放对象实例,几乎所有的对象实例都在这里分配内存。 Java 堆是垃圾收集器管理的主要区域,因此很多时候也被称做“GC 堆”(Garbage Collected Heap,幸好国原创 2017-08-24 19:32:01 · 301 阅读 · 0 评论 -
keepalived工作原理和配置说明
keepalived工作原理和配置说明一、keepalived是什么 keepalived是集群管理中保证集群高可用的一个服务软件,其功能类似于heartbeat,用来防止单点故障。二、keepalived工作原理 keepalived是以VRRP协议为实现基础的,VRRP全称Virtual Router Redundancy Protocol,即虚拟路由冗余协议。 虚拟路由冗余协议原创 2017-08-10 09:49:12 · 459 阅读 · 0 评论 -
ZooKeeper集群安装
ZooKeeper集群安装安装在三台linux,分别是master,slave1,slave2一、安装步骤1.下载并解压到指定目录 tar -zxvf zookeeper-3.4.5 -C /apps/2.创建ZooKeeper的data目录,为了便于管理我创建与ZooKeeper安装目录平行 mkdir /apps/zkdata3.创建myid文件 master在/apps/zkda原创 2017-08-09 15:32:36 · 354 阅读 · 0 评论 -
CentOS下卸载OpenJDK,配置安装Sun JDK
CentOS下卸载OpenJDK配置安装Sun JDK####安装jdk的过程:**解压安装包 tar -zxvf jdk-7u45-linux-x64.tar.gz -C apps/ //-C是指定解压路径 **然后修改环境变量 vi /etc/profile 在文件最后添加 export JAVA_HOME=/root/apps/jdk1.原创 2017-08-09 10:56:25 · 316 阅读 · 0 评论 -
Hadoop2.6.4运行Wordcount程序
Hadoop2.6.4运行MapReduce程序环境准备本地jdk版本与hadoop集群的版本保持一致hadoop的jar包要全部导入MapReduce代码实现 本代码演示 wordcount程序。 MapReduce代码实现并不难,这里要编写3个类,分别是WordcountMapper类、WordcountReducer类和WordcountDriver驱动类,前面两个类分别实现相原创 2017-09-19 18:42:19 · 759 阅读 · 0 评论