![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop学习笔记
csdn-panpan
作为一个计算机爱好着,分享你我他!!
展开
-
hadoop入门十二(Map-Reduce)
各种超级计算机Top500的网站了解并行框架Mapreduce:瓶颈是在IO上。 MPI:并行框架,适合密集计算,没有很多的IO操作。 PVM:是一堆接口 可时间并行计算 CUDA:显卡上的图像处理器,GPU的计算接口包,里面很很多的计算单元。 互联网计算:志愿计算机 贡献你的资源云计算云计算是在关键技术成熟以后,催生的服务模式,低成本获得相同服务。举个粒子:我购买很多硬件资源,出租给用原创 2017-10-17 15:55:29 · 277 阅读 · 0 评论 -
hadoop入门十一(HDFS基本原理和操作)
Hadoop 2.x HDFS新特性HDFS联邦HDFS HA(要用到Zookeeper)HDFS快照解决了namenode单点得问题 高可用性 我有一个3000个主机,是不是得写3000个hosts文件,3000两两面密码,所以在企业级应用得时候还是有问题得。 快照得功能:是恢复到某个时刻得文件得内容。 操作命令与1.0x也是不同得。管理命令手册回顾:HDFS两层模型 Block原创 2017-10-17 15:19:25 · 4649 阅读 · 0 评论 -
hadoop入门十(HDFS基本原理和操作)
java参考书HDFS API编程参考书 Cookbook 很不错,有很多实验的操作,很详细。运行一个小粒子这个小程序:输入一个hdfs的链接来查看里面的文件内容。 使用openStream()给到in,in打印出来到屏幕。如何运行这个程序呢设置Hadoop的类目录Hadoop-env.sh //设置一下环境变量 java_home:jdk java_classpath:类路径设置搜索路径原创 2017-10-17 09:28:06 · 364 阅读 · 0 评论 -
hadoop入门九(HDFS基本原理和操作)
HDFShdfs分布式存储文件系统 c存储大量数据mapreduce 分布式计算框架拷贝进去究竟有什么用呢? 我一个硬盘不够用了,几千块的阵列,逻辑上是一个大硬盘。 但是hdfs有点不同,分散在各个节点的数据,普通的PC机器,在任何一个节点都可以操作。实际上是很难备份的,冗余就是一种备份。我们到底的目的是进行分析计算,来指导商业行为,产生价值。避免在网上大量传输 本地化数据计算HDF原创 2017-10-16 21:08:15 · 496 阅读 · 0 评论 -
hadoop入门五(基础知识入门)
学习hadoop应该预备的知识面向对象IO操作文件目录操作常用命令VIM编辑器hadoop是个什么玩意解释:目前的计算机处理不了的数据量生成线上的数据放到数据仓库,离线进行处理。不支持事物,文件内容很难修改,一般都是追加。再次强调:Hadoop不是数据库,是个文件系统+计算框架 整个大数据变化都是很快速的场景: - 电子商务 浏览记录 日志记录 - 电信 通话行为原创 2017-10-15 17:28:24 · 340 阅读 · 0 评论 -
hadoop入门八(搭建环境)
运行除了wordcount 以外,还有很多的粒子。 通过web进行查看保护Hadoop最好的方法就是在内网进行部署。 Hadoop一些备受关注的特性与版本演进Append:在hdfs中,半只读的文件系统,一般是不能够修改的,面向的场景是:离线场景分析,设计是合理的,避免一致性的问题,因为我有复制因子,改动起来非常的麻烦。如果能够修改,那么就得加锁之类的东西,那么就得牺牲性能了。如果使用Hbase原创 2017-10-16 20:07:55 · 266 阅读 · 0 评论 -
hadoop入门七(搭建环境)
课程实验准备一定要关闭防火墙 正常运行的时候 需要访问很多端口 所以会出现很多的错误。首先来安装JDK到官网下载: 可以通过链接直接下载 解压以后可以放到 /usr/java/配置免密码登陆 就是将各自的密钥拷贝到目录中。SSH的原理简单说,SSH是一种网络协议,用于计算机之间的加密登录。 如果一个用户从本地计算机,使用SSH协议登录另一台远程计算机,我们就可以认为,这种登录是原创 2017-10-15 21:28:15 · 328 阅读 · 0 评论 -
hadoop入门六(基础知识入门)
Hadoop的起源-Lucenelucene 也是一个搜索引擎,也迫使它去模仿和学习谷歌如何实现的。 从lucene到nutch 从nutch到hadoop目前Hadoop达到的高度实现云计算的事实标准开源软件包涵数十个具有强大生命力的子项目已经能在数千节点上运行,处理的数据量和排序时间不断的打破世界纪录Hadoop子项目家族pig:自动转化成mapreduce语言hive:sql到原创 2017-10-15 20:26:22 · 306 阅读 · 0 评论 -
hadoop入门三(基础知识入门)
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数原创 2017-10-14 17:19:01 · 370 阅读 · 0 评论 -
hadoop入门四(基础知识入门)
Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算原创 2017-10-14 20:37:10 · 4109 阅读 · 0 评论 -
hadoop入门十五(Hive)
什么是Hivehive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。使用的样例存储的格式:缺省分隔符等价的JSON形式相应的SQL可以重新定原创 2017-10-20 19:54:27 · 709 阅读 · 0 评论 -
hadoop入门十四(pig)
pig 一大打野猪Pig是基于hadoop的一个数据处理的框架。 相比Java的MapReduce api,Pig为大型数据集的处理提供了更高层次的抽象,与MapReduce相比,Pig提供了更丰富的数据结构,一般都是多值和嵌套的数据结构。Pig还提供了一套更强大的数据变换操作,包括在MapReduce中被忽视的连接Join操作。 Pig包括两部分:用于描述数据流的语言,称为Pig Latin。原创 2017-10-20 19:25:09 · 4223 阅读 · 0 评论 -
hadoop入门一(基础搭建环境)
阿里云技干货 知乎hadoop干货 首先描述一下环境: 我使用的是Linux操作系统:deepin(一款比较好用的国产改造版Linux) 首先呢 在深度商店里面安装VMware workstation 安装成功以后 准备好自己将要安装的centos操作系统来搭建环境这是我自己安装的centos镜像的分配情况,当然这里安装的是精简版,无桌面操作系统的,因为在正常的情况下,一般都是作为原创 2017-09-20 23:21:39 · 509 阅读 · 0 评论 -
hadoop入门二(伪分布式环境搭建)
Hadoop伪分布式环境搭建1.配置一个节点的hdfs系统 vi etc/hadoop/core-site.xml2.新增hdfs文件系统节点<property> <name>fs.defaultFS</name> <value>hdfs://hadoop.skedu.com:9000</value></property>3.配置一个临时数据存放位置$ mkdir data$ c原创 2017-10-09 15:37:38 · 221 阅读 · 0 评论 -
hadoop入门十三(实战)
一个小项目Hadoop API 开发步骤原创 2017-10-17 20:49:34 · 307 阅读 · 0 评论 -
hadoop入门十六(Hbase)
Big table变成三个列,但是做查询的话就非常的麻烦了!! 但是查询key value 就非常的好用!!可以转换成多个key value. Hbase是学习了Bigtable 可以思考为啥数据模型这么奇怪!HDFS文件系统是不予许修改的,所有插入新的行,有删除的标记,你追加怎么实现的呢,是一种折中的方法,在内存中进行,然后一段时间,再往数据库硬盘当中进行写入,在声明周期进行小碎片进行写成原创 2017-12-05 10:36:08 · 222 阅读 · 0 评论