m0_58945994的博客

原创 首次应用IDEA编写Scala程序并输出hello,scala

对于我这种第一次用IDEA编写Scala的新手来说，想着学一点写出来一点，也方便更多新学习的朋友理解。首先，要知道IDEA不能直接进行scala的编写，需要安装scala插件，安装插件的方法如下： 1.在页面file处选择settings设置2.在设置里面点击plugin（插件）这个选项3.在搜索框内搜索scala这里，我已经安装好了，所以搜索的时候找得到，插件没有安装的是搜不到的，搜不到就需要自行导入，点击下面的install plugin ...

原创 用eclipse进行MapReduce编程出现org.apache.hadoop.security.AccessControlException: Permission denied...

用eclipse编写MapReduce并运行，结果出现这个错误：这个问题就是权限的问题，在eclipse上执行MapReduce权限不够，需要扩大权限在Linux下输入：hadoop fs -chmod 777 /把权限设置成777，最大权限问题就可以解决了！...

原创 用eclipse进行MapReduce编程出现java.io.IOException: No FileSystem for scheme: hdfs解决方法

原创 Hadoop启动集群子节点没有DataNode节点解决方法

我在启动Hadoop集群的时候发现没有DataNode节点，于是我去查看了一下日志（日志在自己的hadoop目录下）：

原创 使用eclipse时，用alt+/快捷键提示No Default Proposals如何解决

我在使用eclipse的时候，在用alt+/补extends的的时候居然出不来，提示No Default Proposals，让我很是头疼，前一秒还可以做，新建了一个项目就出来这个问题，下面我说一下解决方法：在顶部导航选择Window—>Preference然后进入界面选择Java—>Editor—>Content Assist—>Advanced在上面的栏里找到Java proposals这个选项，勾选，之后Apply一下.这样子就好啦(⁎˃ᴗ˂..

原创 Exception in thread “main“ java.lang.UnsupportedClassVersionError报错处理

我在用mapreduce编程的时候，出现了如下的错误：弄了好长时间才知道问题在于用较高版本的jdk编译的class文件在低版本的JVM上运行所导致的，通俗讲就是编译运行版本不匹配。解决方法：在Windows操作系统中可以先查看java版本和javac版本（-version查看），如果不一致，重新配置环境变量；如果一致，则证明编译的时候是用的编译器编译的例如eclipse等，因为编译器自带javac，所以不会用到系统中的javac去编译。前面我就是用的eclipse编译的，然后在Linux系.

原创 Java中包装类的使用以及包装类、基本数据类型、String类型的转换

一、包装类（wrapper）是什么 我们都知道基本数据类有byte、short、int、long、float、double、boolean、char这八种，但是基本数据类型定义的变量无法进行调用方法的相关操作，所以为了能使定义的变量也可以调用方法，就定义了一个类叫包装类，与基本数据类型中的每个类型一一对应：Byte、Short、Integer、Long、Float、Double、Boolean、Character。这些类都继承Number这个类继承于Object类。二、包装类（wrap...

原创 MapReduce编程入门--用eclipse创建MapReduce工程

这里我用的事eclipse对MapReduce进行编程，首先需要下载相关的eclipse，eclipse可以用于多种语言的开发，这里我们需要用到的是Eclipse IDE for Java EE Developers，不难看出是针对Java开发的安装包。 在eclipse的安装目录中，需要讲插件hadoop-eclipse-plugin-2.6.0（这是我的插件版本）复制到Eclipse安装目录下的dropins这个目录下。 之后在Eclipse中需...

原创 Hadoop基础操作--管理多个MapReduce任务

一、查询MapReduce任务。例：调用Hadoop的示例程序包，采用Quasi-Monte Carlo算法来估算PI的值。命令如下：hadoop jar /usr/local/hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar pi 10 100其中，命令后面的两个参数代表Map数量与每个Map的测算次数，数值越大，结果精准度越高。在运行过程中，打开集群的资源管理器的监控服务主界面（http://m

原创 Hadoop基础操作--运行MapReduce任务

一、了解Hadoop的示例程序包：在本地目录中“$HADOOP_HOME/share/hadoop/mapreduce"下可以发现一个名为”hadoop-mapreduce-examples-2.6.4.jar"的示例程序包（我这里的Hadoop版本是2.6.4，所以程序包也是2.6.4），这个程序包里有一些自带的测试模块，这里我就不都列举了，可以自己查看自己的程序包下面的测试模块。其中wordcount适合对文件的数据进行登录次数的统计。二、提交MapReduce任务给集群运行...

原创 Hadoop基础操作--上传文件到HDFS

一、什么是HDFS文件系统 文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。即：为用户建立文件、存入、读出、修改、转储文件，控制文件的存取，当用户不再使用时删除文件。 现在我们的计算机基本上都是windows操作系统，文件都存储在磁盘驱动器（C、D、E盘）的文件目录中，在Linux系统中提供了树状文件目录结构，可供使用者存储或读取文件。Hadoop集群也有专有的文件系统--HDFS文件系统，也使用了类Linux的目录结构来进行...

原创 Hadoop基础操作--查询集群的计算资源信息

Hadoop集群的计算资源，是由资源器（ResourceManager）进行管理。通过ResourceManager的监控服务，可以方便地查询目前集群上的计算资源信息。 在浏览器地址栏中输入“http://master:8088/",在点击左侧的Nodes，即可展示当前集群的计算节点资源信息。①Active Nodes：在线的计算节点，我这里有3个。②Memory Total：可使用的内存总量，我这里是6GB。③Vcores Total：可使用的CPU核...

原创 Hadoop基础操作--查询集群的存储系统信息

通过HDFS监控服务可以查询到大量相关信息，HDFS的监控服务是通过节点（NameNode）的端口50070来进行访问。 例：在浏览器地址栏输入“http://master:50070/”来展现当前HDFS文件系统的基本统计信息，下面是我自己的HDFS文件系统的基本统计信息可以看到Summary下 ①Configured Capacity：表示已配置的文件系统存储总量为51.51GB。 ②DFS Remaining：表示可使用...

原创 Linux系统中mysql与root之间的切换

从root到mysql只需要输入mysql -u root -p即可登录道mysql密码界面，如果未设置密码，点击enter直接进入即可，已经设置密码用设置成功的密码登录只需要在mysql下输入exit;即可

原创 Hadoop启动关闭集群格式化namenode以及遇到的问题

首先：配置环境变量进入到/etc/profiles文件，在文件末尾加入export HADOOP_HOME=自己的目录（我自己的是/usr/local/hadoop-2.6.4）export PATH=$HADOOP_HOME/bin:$PATH:/usr/java/jdk1.7.0_80/bin然后退出保存输入source /etc/profiles使配置生效接着输入hdfs namenode -format命令格式化namenode，若看见Storage directory ..

原创 Hadoop内容概述：

Hadoop概念：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop核心组件：Hadoop框架最核心的设计是HDFS和MapReduce。Hadoop特点：Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据 副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工...

原创 利用Java编程实现九九乘法表