yue_zai的博客

原创 又疯癫一天（伪分布式）

创建伪分布式1 创建一个全新的虚拟机，配置IP2 上传以下4个安装包。

原创 头秃的原因终于找到了！！！

rw-r--r--. 1 hadoop hadoop 395 11月 14 16:14 id_rsa.pub #slave1，slave2 同上。可以使用 start-dfs.sh 命令启动 HDFS。-rw-r--r--. 1 hadoop hadoop 0 11月 10 23:50 _SUCCESS #为success则为处理成功。-rw-------. 1 hadoop hadoop 395 11月 14 16:18 authorized_keys。

原创 关于Hive那些事！

2.使用 root 用户，将 Hive 安装包 /opt/software/apache-hive-2.0.0-bin.tar.gz 路解压到/usr/local/src 路径下，并将解压后的 apache-hive-2.0.0-bin 文件夹更名为 hive。(Press y|Y for Yes, any other key for No) : y #输入y。((Press y|Y for Yes, any other key for No) : y #输入y。

原创 重生之我在CSDN当小白！！

挂载完成之后，cd /mnt/cdrom，即可查看/dev/cdrom的内容，但是此方式在重启后即失效，需重新手动挂载，若想自动挂载，需将挂载信息配置到/etc/fstab的配置文件中。Ip相对应的子网掩码： NETMASK=255.255.255.0。使用vim或vi编辑器创建一个名为centos.repo的新配置文件（文件名称可随意，但后缀必须为repo），逐项写入下面加粗的配置参数并x保存退出。首先要进入到"/etc/yum.repos.d/"目录中（，然后挂载到创建的挂载点。：-t:文件系统类型。

原创 作业：Linux基础命令过程

原创 Mapreduce,Spark的区别，Hadoop的简介

3、spark更加通用，spark提供了多个功能API，另外还有流式处理sparkstreaming模块、图计算GraphX等；mapreduce只提供了map和reduce两种操作，流计算以及其他模块的支持比较缺乏，计算框架(API)比较局限；1、Spark的速度比MapReduce快，Spark把运算的中间数据存放在内存，迭代计算效率更高；4、spark框架和生态更为复杂，对性能要求高；mapreduce框架及其生态相对较为简单，对性能的要求也相对较弱，但是运行较为稳定，适合长期后台运行；