- 博客(11)
- 收藏
- 关注
RSS订阅原创 问题疑惑
1.怎么修改hostname（临时和永久）？修改完临时的，是不是要把当前终端退出，重新进？ 在/etc/sysconfig/network修改, hadoop:root:/root:>cat /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop 2.将普通用户升级为sudo用户 在/etc/su
2017-12-22 22:06:52
179
原创 MapReduce1.X与2.X的对比
MR2.X相较与MR1.X 做了比较大的优化，降低的MR中JobTracker的压力，将其资源管理及任务的生命周期管理都拆分成独立的组件，更名为YARNMapReduce1.X架构组成：JobTracker（JT） 作业的管理者将作业切分成任务：MapTask和ReduceTask将任务分派给TaskTracker执行作业的监控，接受心跳信息，如果没有收到心跳信息，就切换到其他TT执行任务
2017-12-21 14:46:03
1116
原创 HDFS文件读写
HDFS读写图解 这是读写全流程，大家感应一下。HDF文件读流程 这是我觉得比较浅显易懂的图片，下面我对该图片的步骤进行详解： 1. 利用FileSystem的open()方法打开文件 2. 通过访问NN获取部分或全部块的信息 3. 利用FSDataInputStream的read()方法发出读取请求 4. 选择DN读取数据，先进行信息文件校验，然后再读取信息 5. 如果只读取部分块，
2017-12-19 15:07:59
298
原创 HDFS副本机制
为什么要出现HDFS？ 首先要说起hdfs的由来，hdfs由谷歌最先研发，其需求是单独一台计算机所能存储的空间是有限的，而随着计算机存储空间的加大，其价格是呈几何倍的增长，所以就有了hdfs的产生，hdfs架构在相对廉价的计算机上，以分布式的方式，这样想要扩大空间只要增加集群的数量就可以为什么hdfs需要副本机制？在上个问题的时候，我说过我们需要的是大量相对廉价的计算机，那么宕机就是一种必然事件
2017-12-19 14:03:34
8802
原创 Hadoop多次格式化导致datanode无法启动
首先看一下报错信息：017-12-14 05:07:57,636 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Starting BPOfferServices for nameservices: <default> at org.apache.hadoop.hdfs.server.datanode.DataStorage
2017-12-16 14:28:40
1222
原创 Linux Hadoop的编译及安装
编译Hadoop的下载及解压 # hadoop源代码的下载可以为不同版本，推荐hadoop-2.8.1版本，hadoop:root:/opt/sourcecode:>lltotal 448328-rw-r--r-- 1 root root 34523353 Dec 11 07:02 hadoop-2.8.1-src.tar.gzhadoop:root:/opt/sourcecode:
2017-12-15 23:05:42
269
原创 Pyhon装饰器详解
Python 装饰器这个概念，我们先不必了解它是什么，而先了解我们为什么需要它。首先我先给大家写一个简单的例子def f1(): print("hello word")def f2(): print("hello word")f1()f2()f1和f2这两个函数是一个最简单的hello word输出函数，这个相信大家都可以理解，如果我想观察函数执行的时间，就需要导入tim
2017-12-08 23:56:38
155
原创 Linux安装MySQL教程
MySQL是非常常用的数据库相较于Oracle，其免费的的特性令人称道，是作为学习数据库入门的不二之选，另外安装软件我在/usr/local下安装，希望大家和我一起养成习惯。我演示在CentOS6.5中的安装教程：MySQL下载对于下载，可以采用wget的方式下载，具体网址去官网找找，将地址复制可以采用win系统下载，用传输工具的方式例：WinSCP，传输到Linux系统上这是我的压缩包位置，
2017-12-07 22:48:22
440
原创 Pyhon的集合
Listlist的定义 test=[]list的特色：list是python集合中最常用的集合之一。 具有有序性，可以按照顺序增删改查可以随意修改list中元素可以为任意类型索引从0开始可以嵌套listlist常用操作函数 len()：获取list元素个数append()：从末尾追加元素insert()：指定位置插入元素pop()：指定位置删除元素例：classmates =
2017-12-04 16:49:59
200
原创 Linux常用命令3
useradd 用户名：添加用户groupadd 组名：添加用户组usermod ：修改用户账户信息 -a -G：将用户追加到某个组中（两个缺一不可）passwd：修改用户密码su：切换用户并获得该用户执行权限 -：获取该用户环境变量（推荐）sudo：该命令行root权限修改sudoers：vi /etc/sudoers hadoop的 ALL=(root) NOPASSWD...
2017-12-04 14:03:38
149
原创 linux常用命令2
IP相关 ifconfig：查看网卡信息hostname：主机名字 -i：查看主机名映射的IPtail filename -f：实时查看文件内容-F：实时查看文件内容（-F相较于-f更加优秀，可以在发生某个时间段该文件不存在时或被覆盖时，-F将会再次尝试查看，总之尽量用-F）mv oldfilename newfilename：重命名cp oldfilename newfilename...
2017-12-02 22:59:20
138
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人