- 博客(16)
- 收藏
- 关注
原创 Python 高级特性之 map( )
map() 函数接收两个参数, 一个是函数, 一个是序列, map() 将传入的函数依次作用到序列的每个元素.
2016-01-22 18:27:30 300
原创 Python 高级特性之生成器表达式
当列表过长, 而我们也不需要一次性获取全部数据时, 应当考虑使用生成器(generator)表达式而不是列表解析;
2016-01-22 15:39:18 300
原创 Python 高级特性之列表生成式
已经一个列表 [1, 2, 3, 4, 5, 6, 7, 8, 9, 10], 我们想得到 [1 * 1, 2 * 2, 3 * 3, …, 10 * 10], 此时, 借助列表生成式可以很方便的实现.
2016-01-22 14:10:27 4450
原创 (八)、HDFS Java 接口
环境:windows 7+eclipse先在 windows 7 下搭建好 eclipse 项目环境, 新建 hadoop 工程, 新建个 lib 文件夹, 导入 hdfs 的相关 jar 包.
2016-01-20 10:50:50 387
原创 (七)、HDFS 剖析
NameNode – 管理节点DataNode – 存储节点Secondary NameNode – NameNode 助手 (hp 1.0)1. Client机架感知, 数据就近原则, 因为数据是分布式存储的, Client 会感知最近那个 DataNode 取数据.2. Metadata(元数据)存储细节: 为了安全, Metadata 在 HDFS 中会存储两份, 内存一份, 磁盘一份(镜像)
2016-01-20 10:49:39 276
原创 (六)、HDFS 常用 shell 操作
hadoop fs -ls hdfs://itcast01:9000/, 可简写成 hadoop fs -ls / 表示根目录 -R 递归查看 -h 简化大小显示hadoop fs -copyFormLocal <本地文件> 类似 puthadoop fs -cphadoop fs -moveFormLocal <本地
2016-01-20 10:48:20 266
原创 (五)、HDFS 简介
HDFS 是一种分布式文件系统.常见的分布式文件系统有, GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等;
2016-01-20 10:47:37 396
原创 (四)、解决"复制出来的虚拟机不能启动 DataNode"
今天因测试需要, 需要第二台 hadoop 虚拟机, 于是就从 itcast01 克隆了一份, w但发现 DataNode 并没有被启动…查资料发现问题原因.
2016-01-20 10:46:50 1437 1
原创 (一)、认识 hadoop
hadoop不是一个英文单词, 是作者(Doug Cutiing)发明的词, hadoop名称来源作者小孩的一个絨毛填充黄色大象玩具. 它的发音是:[hædu:p] – 嗨都泼对
2016-01-20 10:36:24 340
原创 WSGI
该系列均为读 廖雪峰 廖老师文章的学习笔记web 的本质是什么?browser 发起 http 请求server 收到请求, 生成 htmlserver 把 html 作为 http 的响应 body 返回给 browserbrowser 收到 http 响应browser 从 http body 中取出 html 并显示上述步骤中, 接受HTTP请求、解析HTTP请求、发送HTTP响
2016-01-05 15:06:25 299
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人