- 博客(7)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Spark的安装与启动
前言： 在上一篇关于 使用java和scala编写spark-WordCount示例 的博客中，笔者直接使用eclipse工具开发了spark的wordCount示例 当然，这种方式可以使用在我们需要对scala代码进行本地测试的时候，在实际的生产环境，我们肯定不能这么做，我们需要将项目提交到spark集群来进行测试 本篇博客就简单介绍下，如何安装、启动、...
2018-10-22 15:46:46
1299
原创 使用java和scala编写spark-WordCount示例
前言： 最近博主在学习spark相关知识，感觉是个挺不错的框架，它的分布式处理大数据集的思想还是值得我们好好学习的。 个人感觉以后java开发肯定不仅仅是SSM这一套东西了，当数据量越来越大时，我们需要学习使用这些大数据工具。 本次博客学习使用java和scala两种方式来开发spark的wordCount示例 由于采用spark的local模式，所以我们可...
2018-10-22 10:53:42
2793
原创 Java面试之基础篇（上）
题目来源于网络后面是笔者自己提供的答案，仅供参考，如有错误，欢迎指正 一、基础篇1.1、Java基础 面向对象的特征：继承、封装和多态 final, finally, finalize 的区别 Exception、Error、运行时异常与一般异常有何异同 请写出5种常见到的runtime exception int 和 Integer...
2018-10-12 11:13:10
4969
3
原创 MapReduce之WordCount程序详解及常见错误汇总
前言： 在之前的笔记中，我们已经成功的关联了eclipse和hadoop，对FileSystem的使用进行了简单了解。 下面就是Hadoop中的重点MapReduce程序的开发。作为MapReduce（以下使用MR来代替）开发中的入门程序WordCount，基本是每个学习MapReduce的同学都必知必会的。有关于WordCount的概念笔者就不再赘述，网上有N多文章讲解。...
2018-10-06 15:48:15
5001
2
原创 Hadoop之FileSystem使用
前言： 在对hadoop的HDFS文件系统进行操作的时候，我们使用HADOOP_HOME/bin/hdfs dfs [command]，该command指的就是相应的文件操作，这是使用shell的方式。 同样，hadoop也提供了使用java来操作HDFS文件的方法 本次，我们就来简单看下如何使用java来操作HDFS准备工作： * 创建一个mav...
2018-10-04 16:42:31
9525
2
原创 Windows下Eclipse关联Hadoop开发
前言： 当hadoop的环境搭建好之后，我们就开始开发相关功能 工具呢，还是使用eclipse 我们可以直接下载eclipse-Linux版本的直接在虚拟机内部进行开发，关于在Linux中使用eclipse的操作过程读者可参考https://www.cnblogs.com/shishanyuan/p/4178732.html 这篇文章 笔者直接使用windo...
2018-10-04 10:49:44
431
原创 Apache-Hadoop伪分布式环境搭建
最近在重新学习Hadoop、spark相关课程之前学习过一次，但长期不用，倒也忘得差不多了，所以本次学习，笔者会将所有的学习步骤和成果记录在个人的博客中，一方面是对自己的鞭策，另一方面也希望能帮助到其他同学。 前言: * 大数据的相关环境搭建一般都需要运行在Linux系统下，笔者用的是VMWare虚拟机和CentOS7，用于模拟Linux环境 * Hadoop搭建在...
2018-10-04 10:11:27
211
深入分析Java+web 技术内幕part1
2017-09-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人