hadoop
敲代码的quant
ML/DL/量化金融/学生
展开
-
hadoop面试题以及答案
从http://blog.csdn.net/kingmax54212008/article/details/51257067转载的很多面试题,虽然感觉很多还很难掌握,但是会尽快弄明白的。 1.列出安装Hadoop流程步骤a) 创建hadoop账号b) 更改ipc) 安装Java 更改/etc/profile 配置环境变量d) 修改host文件域名e) 安装ssh 配置无密码转载 2017-08-19 22:33:24 · 2424 阅读 · 0 评论 -
zookeeper集群配置及搭建
先看一下zookeeper是什么:ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。其中最常用到的就是利用zookeeper进行数据同步了。 先看一下zk的几个功能: 借鉴于:http:原创 2017-09-03 20:12:17 · 982 阅读 · 0 评论 -
Hadoop2.2.0伪分布式搭建
在hadoop中,分为单机模式,伪分布式,和完全分布式。而伪分布式在1.X中就是类似JobTracker和TaskTracker都在一台机器上运行,在2.X中,就是NameNode和DataNode在一台机器上,而并没有实现多台机器来进行真正的分布式计算。一、Linux环境的准备 首先说一下VMware的三种工作模式桥接(bridge)、NAT(网络地址转换)和host-only(主机模式)。原创 2017-08-31 19:47:43 · 857 阅读 · 0 评论 -
Linux中SSH免登陆原理
在配置Hadoop集群的时候,最后一步就是要设置ssh的免登陆了,而这个免登陆理解了,后面配置多台机器进行分布式就好说了。 首先,SSH 为 Secure Shell 的缩写,由 IETF 的网络小组(Network Working Group)所制定;SSH 为建立在应用层基础上的安全协议。SSH 是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议。在linux上,通过ls -la原创 2017-08-31 21:12:15 · 816 阅读 · 0 评论 -
Centos 6.5启动 an error occurred during the file system check错误的解决
今天在配置hadoop集群的时候,将一台虚拟机克隆了两台,给这两台虚拟机进行配置hosts和主机与ip地址映射之后,重启了一下系统,然后再次打开,就出现了an error occurred during the file system check提示,提示要么输入root密码进行修复,要么按ctrl+D跳过。一开始还以为自己修改错了什么东西,结果在打开第一台虚拟机时,发现也出现了这个问题,于是就百度原创 2017-09-02 16:47:21 · 2046 阅读 · 0 评论 -
MapReduce中input split和block的划分以及maptask和reducetask数量的确定
学了mapreudce框架没多久,虽然会写很多的一些常见的案例,但是这个框架中一些本质地方的实现还是有很多疑惑的。所以就想整理一下最近所学到的东西。 首先先理清楚block和split的区别。 1、block块 当把文件上传到hdfs中时,第一步要进行的操作就是划分数据,数据在hdfs中被划分为一块一块的,默认的大小是64MB,这个块的大小可以在haddop-default.xml原创 2017-08-17 21:52:18 · 3477 阅读 · 0 评论