雨打芭蕉的博客

1、Hadoop是什么?Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上...

阿里云上的伪分布式开发环境搭建完成后，来执行一下自带的例子，也就是单词统计实例（WordCount）1、创建输入目录hadoop fs -mkdirinput2、在输入目录中放入文件hadoop fs -put/usr/test/abc.txt  input  把本地/usr/test目录里的abc.txt文件copy到hdfs分布式文件系统的 /user/root/input（当前是root登录...

在阿里云上购买了一台云服务器（CentOS7系统），现在我对配置httpd服务进行描述，如有疏漏敬请指出1、登录阿里云服务器2、安装httpd服务执行指令：yum -y install httpd3、启动apache服务器 systemctl start httpd     关闭apache服务器 systemctl stop httpd4、设置开机自动启动 systemctl enable ht...

在安装Linux开发环境过程中，首先在Windows系统上安装虚拟机VMware Workstation Pro，然后在虚拟机上安装了CentOS7系统（最小安装），下一步就是配置JDK，而由于版权原因，Linux发行版并没有包含官方版的Oracle JDK，必须自己从官网上下载安装。1.到官网复制下载链接http://www.oracle.com/technetwork/java/javase/...

      基于当前大数据火爆的就业前景，开始琢磨Hadoop相关的知识，本文用于记录学习Hadoop开发环境配置中的步骤，帮助自己以及有需要的其他人。本文的采用的是传统的解压包方式和Linux标准命令方式，本文记录的只是Hadoop相关安装配置（不包含JDK），配置的基本环境是Linux版本为CentOS 7，Hadoop版本为Hadoop2.8.0，Linux编译器Xshell5。1、下载Ha...

1、添加用户，首先用adduser命令添加一个普通用户#adduser    kevin       <!--此处以用户kevin为例-->#passwd     kevin       //修改密码Changing password for user kevin.New UNIX password:     //在这里输入新密码Retype new UNIX password:  /...

本文基于阿里云服务器CentOS7.4 讲述，如果文中有错误或者不足，敬请在评论区指出昨天我写了一篇博客讲述CentOS 7安装部署httpd服务，在安装部署好httpd服务后，访问公网IP可以正常访问，默认Apache网站根目录/var/www/html，如果我们要修改为自定义的目录路径怎么办呢？1、执行vim /etc/httpd/conf/httpd.conf指令键盘输入E，进人可编辑模式2...

今天用公司电脑想通过Xshell登录阿里云（CentOS 7.4）服务器，一直连接不上，这就怪了，昨天在家里电脑都可以登上，一时想不起哪里出问题了，在网上查阅了很多资料，运行systemctl status sshd 结果如下，没有明显的异常用sshd -t指令检测一下原来我昨天用家里电脑在做web站点用户授权时，误把整个/var目录授权为apache.apache，而sshd服务成功起动需要/v...

今天实打实的体验来一把CentOS 7搭建Hadoop伪分布式环境，也是入了很多坑，我参照Centos7.0配置Hadoop2.6.3单机/伪分布式环境这篇文章操作的，文章写得好，在此表示感谢！下面就在搭建Hadoop伪分布式环境中的坑做个记录，也希望可以帮助他人一起进步。1、bin、sbin目录不要搞错了在Linux根目录下面也有这两目录，配置完成后，执行 NameNode 的格式化时，要注意别...