2017年12月_rickiyang

12月 11月 06月 05月 04月 03月 02月 01月

原创 hadoop学习(七)----mapReduce原理以及操作过程

前面我们使用HDFS进行了相关的操作，也了解了HDFS的原理和机制，有了分布式文件系统我们如何去处理文件呢，这就的提到hadoop的第二个组成部分-MapReduce。MapReduce充分借鉴了分而治之的思想，将一个数据的处理过程分为Map（映射）和Reduce（处理）两步。那么用户只需要将数据以需要的格式交给reduce函数处理就能轻松实现分布式的计算，很多的工作都由mapReduce框架为我们

2017-12-17 23:30:17 956

原创 centos虚拟机配置静态ip

昨天在配置虚拟机的时候因为之前没有设置静态IP,而是使用DHCP动态分配的，导致关机后下次开机虚拟机的ip是随机变动的。严重影响了工作体验啊，遂设置静态ip以保全！虚拟机使用的是CentOS6.5，一共四台虚拟主机，后3台都是从第一台克隆的。殊不知这样克隆会造成一个问题：克隆的主机网卡会变成eth1，但是实际并没有eth1这块网卡，即没有ifcfg-eth1这个文件；克隆的时候连ifcfg-et

2017-12-16 17:39:50 830

原创 linux 配置ssh无密码登录不起作用的解决方案

1、安装ssh直接 sudo apt-get install openssh-server2、查看ssh运行状态 ps -e | grep ssh如果发现 sshd 和 ssh-agent 即表明 ssh服务基本运行正常3、生成公钥和私钥ssh-keygen -t rsa -P ""4、将公钥追加到文件cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_ke

2017-12-16 17:38:58 622

原创 linux下安装开发环境

jdk下载jdk安装包，解压到/usr/java/jdk 配置环境变量：#vi /etc/profile在该profile文件中最下面添加：JAVA_HOME=/usr/java/jdk1.7.0//自己的jdk路径JRE_HOME=/usr/java/jdk1.7.0/jrePATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binCLASSPATH=.:$JAVA

2017-12-16 17:37:46 617

原创 hadoop学习(五)----HDFS的java操作

前面我们基本学习了HDFS的原理，hadoop环境的搭建，下面开始正式的实践，语言以java为主。这一节来看一下HDFS的java操作。1 环境准备上一篇说了windows下搭建hadoop环境，开始之前先启动hadoop。我本地的编译器是idea。

2017-12-16 17:32:34 482

原创 hadoop学习(四)----windows环境下安装hadoop

因为我们不能在线上环境进行调试hadoop，这样就只能在本地先调试好了再放到线上去啦。我本地是windows环境，今天先记下windows下搭建hadoop2.7的步骤。1 本地环境windows7 64位hadoop-2.7.3.tar.gzhadoop在apache下载，看别的教程都说是需要搭建Cygwin，但是后来在国外论坛上看到已经有大神给出了windows下搭建hadoop环境的依赖

2017-12-16 17:29:08 3522

原创 hadoop学习(三)----hadoop2.x完全分布式环境搭建

今天我们来完成hadoop2.x的完全分布式环境搭建，话说学习本来是一件很快乐的事情，可是一到了搭环境就怎么都让人快乐不起来啊，搭环境的时间比学习的时间还多。都是泪。话不多说，走起。1 准备工作开工之前先说一下我们的机器环境：一共是4台主机，主机1,2,3都是从master克隆过来的：

2017-12-16 17:24:03 1245

原创 git常用指令整理

git常用指令一览表 git add . 将全部文件的内容加到Git索引以便执行commit. 这个指令不会检查文件夹中是否

2017-12-16 17:10:05 287

原创 git基本命令学习（一）

1 git配置文件1.1 git权限控制git有三个不同的权限控制文件，高优先权的设置会覆盖低优先权的设置项，以下按照优先权从高到低介绍：文件夹中”.git” 子文件夹中的confiig文件，这个配置具有最高优先权，但是这个配置文件只对他所在的文档有效。登录账的home directory中的.gitconfig文件。这个配置文件只对此登陆账号有效。git程序按照目录中的etc/gitconf

2017-12-15 09:23:50 687

windows下安装hadoop的依赖库

windows下安装hadoop的依赖库文件，将bin和etc文件夹里面的内容替换hadoop解压目录的文件即可！大家好好学习！

2017-12-02

数据挖掘实用机器学习工具与技术(原书第3版)((新西兰)Ian H.Witten)

数据挖掘与机器学习理论知识讲解，原书第三版，有需要的可以下载。资源失效请联系我。

2017-11-21

深入Java虚拟机

java虚拟机学习，扫描版，清晰带书签，大家好好学!!!!!!

2017-11-19

高可用MySQL（第2版）

《高可用MySQL（第2版）》主要讲解真实环境下如何使用MySQL的复制、集群和监控特性，揭示MySQL可靠性和高可用性的方方面面。《高可用MySQL（第2版）》定位于解决MySQL数据库的常见应用瓶颈，在保持MySQL持续可用性的前提下，挖潜各种提高性能的解决方案。《高可用MySQL（第2版）》描述了很多MySQL工具的变化，涵盖了5.5, 版本的知识，以及若干5.6版本的功能。《高可用MySQL（第2版）》的作者正是书中介绍的很多工具的设计师，《高可用MySQL（第2版）》揭示了MySQL可靠性和高可用性的许多不为人知的方面。, 《高可用MySQL（第2版）》适用于MySQL数据库管理员及MySQL应用开发者。对于相关专业的师生，也有很高的参考价值。

2017-11-17

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人