2018年07月_twscust

07月 06月 05月 01月

原创 MapReduce Hello World

import ....../**单词计数Mapper类：**/public class TokenizerMapper extends Mapper<LongWritable,Text,Text,IntWritable>{ //Mapper类的四个泛型分别表示map函数输入键值对的键的类、值的类、输出键值对的键的类、值的类 private final stat...

2018-07-31 09:34:54 358

HBase是一个在HDFS上开发的面向列的分布式数据库，适合实时地随机访问超大规模数据集。HBase自底向上进行构建，能够简单地通过增加节点来达到线性扩展。HBase不是关系型数据库，不支持SQL。概念：应用把数据存放在带标签的表中，表由行和列组合成能单元格数据的插入时间戳为数据的版本。行的键和单元格内容是字节数组（字符串）。表中的行根据行的键值进行排序，所有对表的访问都要通过表的主键。行中的列被...

2018-07-07 21:22:23 329

原创 Hadoop学习系列笔记（六）：关于Hive

Hive是构建在Hadoop上的数据仓库框架。Hive设计的目的是让精通SQL技能（但Java编程技能相对较弱）的分析师能够对Facebook存放在HDFS中的大规模数据集执行查询，是一个通用的、可伸缩的数据处理平台。Hive一般在工作站上运行，它把SQL查询转换为一系列在Hadoop集群上运行的MapReduce作业。Hive把数据组织为表，元数据（如表模式）存储在metastore数据库中。H...

2018-07-07 14:07:28 443

原创 Hadoop学习系列笔记（五）：关于Pig

Pig为大型数据集的处理提供了更好层次的抽象。Pig为MapReduce提供了更丰富的数据结构，这些数据结构往往都是多值和嵌套的，Pig还提供了一套更强大的数据变换操作。Pig包括两部分：（1）用于描述数据流的语言，Pig Latin。（2）用于运行Pig Latin程序的执行环境。当前有两个环境：单JVM中的本地执行环境和Hadoop集群上的分布式执行环境。Pig Latin程序由一系列“操作”...

2018-07-06 15:09:43 493

原创 Hadoop学习系列笔记（四）：MapReduce应用开发与MapReduce的工作机制

MapReduce应用开发MapReduce编程流程：首先写map函数和reduce函数，使用单元测试确保函数的运行符合预期，然后写一个驱动程序来运行作业（可在本地IDE中用一个小数据集进行测试），最后将通过测试的程序放到集群上运行。资源文件：configuration.xml、core-default.xml、core-site.xmlMapReduce的工作流：JobControl的实例表示一...

2018-07-05 22:12:11 1691

原创 Hadoop学习系列笔记（三）：Hadoop的I/O操作

1、HDFS的数据完整性：Hadoop会对写入的所有数据计算校验和，并在读取数据时验证校验和。datanode负责在收到数据后存储该数据及其验证校验和。客户端从datanode读取数据时，也会验证校验和，将它们与datanode中存储的校验和进行比较。Datanode也会在后台线程中运行一个DataBlockScanner定期验证存储在这个datanode上的所有数据块。HDFS存储这每个数据块的...

2018-07-05 09:42:14 745

原创 Hadoop学习系列笔记（一）：Hadoop概述及MapReduce程序工作原理

Hadoop系列学习笔记基于《Hadoop权威指南》点击下载Hadoop提供了用于构建分布式系统工具（数据存储、数据分析、协调处理），是一个大数据存储和分析平台。面对大数据，人们所要做的就是数据的存储与分析工作。Hadoop提供了一个具有可靠的共享存储（HDFS）和分析系统（MapReduce）平台。HDFS实现数据的存储，MapReduce实现数据的分析和处理。HDFS和MapReduce是Ha...

2018-07-04 10:16:50 512

《神经网络与深度学习》【吴岸城】PDF下载

【更多关于《神经网络、深度学习》资料，加qq群:851916415领取！】神经网络，机器学习入门级教程，浅显易懂。《神经网络与深度学习》，吴岸城，著。

2018-04-23

Spark机器学习(Machine Learning with Spark)作者[南非]Nick Pentreath

下载后解压。作者[南非]Nick Pentreath 。蔡立宇、黄章帅、周济民译。本书每章都设计了案例研究，以机器学习算法为主线，结合实例探讨了Spark 的实际应用。书中没有让人抓狂的数据公式，而是从准备和正确认识数据开始讲起，全面涵盖了推荐系统、回归、聚类、降维等经典的机器学习算法及其实际应用。本书适合互联网公司从事数据分析的人员，以及高校数据挖掘相关专业的师生阅读参考。第1章：spark的环境搭建与运行；第2章：设计机器学习系统；第3章spark上数据的获取、处理与准备；第4章构建基于spark的推荐引擎；......

2018-01-22