2018年11月_我是王小贱

12月 11月 10月 09月 08月 07月

原创解决IDEA中1099端口被占用的问题

问题：Error running 'lugia-web': Address loaclhost:1099 is already in use如下图解决方法：cmd输入下面命令：netstat -ano|findstr 1099taskkill -f -pid 3576

2018-11-25 20:37:56 5660 1

原创 spring整合mybatis时报空指针异常：service注入得不到Mapper接口的实例化对象(已解决）

问题一： mabite中Mapper接口的实例化对象找不到，显示为NULL这是我的配置，还有运行时报的错这几个文件都是使用反向工程生成的，应该没有错。用DeBug调试发现：运行结果显示tUserMapper为null原因就是：我一直是以为Mapper的注入出了问题，，结果恰恰不是，问题出在了service ，因为在service里面是通过注入的方式获得Map...

2018-11-25 18:19:38 2342 2

转载 Hadoop中各节点的含义

1.Namenode 目录的管理者，每一个集群都有一个，记录实时的数据变化，如果没有namenode，HDFS就无法工作，系统中的文件将会全部丢失，就无法将位于不同datanode上的文件快（blocks）重建文件。因此它的容错机制很有必要。它主要负责：接收用户的请求；维护文件系统的目录结构；管理文件与Block之间的练习；2.Datanode是文件系统的工作节点，他们根据客...

2018-11-23 10:34:15 1066

原创 MapReduces小案例的实现

1, 什么是MapReduces： MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map（映射）函数，用来...

2018-11-22 20:00:53 651

转载 MapReduce Input Split（输入分/切片）详解

看了很多博客，感觉没有一个说的很清楚，所以我来整理一下。先看一下这个图输入分片（Input Split）：在进行map计算之前，mapreduce会根据输入文件计算输入分片（input split），每个输入分片（input split）针对一个map任务，输入分片（input split）存储的并非数据本身，而是一个分片长度和一个记录数据的位置的数组。Hadoop 2.x默认的...

2018-11-22 10:36:13 237

原创 Java中，输入一个字符串，求出现次数最多的一个字符

package com.test;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Date;import java.util.HashMap;import java.util.Scanner;import java.util.Timer;import java.u...

2018-11-21 21:10:46 799

原创 HDFS JAVA API的使用

HDFS JAVA APIAPI预运用是，我们先创建java类，然后将java了打成jar包，然后在终端运行命令即可完成相应的操作首先简单介绍下java类打包步骤：选中java类，右键单击，选择Export（导出）à选择JavaàJAR fileàNext点击Browseà选择打成的包的存储位置ànextà点击Browse（选择类的入口方法）à最后点击Finish即可完成打包 ...

2018-11-21 19:35:36 323

原创 Hadoop集群搭建（七）：hadoop启动服务，开启各节点进程

七：hadoop启动服务，开启各节点进程创建tmp目录：（只需要在一台虚拟机上执行即可，我们三台虚拟机已经是一个集群，任意一台虚拟机执行即可）（切换hdfs账号创建临时文件夹）在集群中创建tmp文件夹，并赋权限为1777命令：[root@hadoop1 ~]# sudo -u hdfs hadoop fs -mkdir /tmp 配置运行框架，在程序运行时给程序分配资...

2018-11-20 19:30:02 6061

原创 Hadoop集群搭建（六）：hadoop配置namenode服务

六：配置时间同步：找到虚拟机设置：点击选项-->找到VMware Tools，打开时间同步即可：注：如果你是创建一台虚拟机，其他几台都是这台克隆过去的，就可以不用配置时间同步也可以进行。七：配置文件 1,进入hadoop配置文件目录：命令： 2,更改配置文件core-site.xml ：命令：...

2018-11-20 19:19:38 10153

原创 Hadoop集群搭建（五）：hadoop相关组件的配置（安装相关的软件）

五：开始安装需要的组件：三个节点上需要安装的东西： 1,在hadoop1上安装hadoop-hdfs-namenode.x86_64 ：命令：[root@hadoop1 ~]# yum install -y hadoop-hdfs-namenode.x86_64 等待完成即可：（如果出现错误。重新执行该命令） 2,在hadoop1上安装h...

2018-11-20 18:52:03 474

原创 Hadoop集群搭建（四）：hadoop配置网络yum源

1，进入yum源的目录，命令：[root@hadoop1 ~]# cd /etc/yum.repos.d/ 2，下载网络yum源：进入官网查看hadoop的官方配置文档：hadoop官方配置yum源文档介绍文档介绍了yum源配置的两种方式，一种配置本地yum源（比较麻烦），此处我采用配置网上yum源的方式：点击我们选用的版本，会出现下载链接：复制下载...

2018-11-19 20:17:49 1107

原创 Hadoop集群搭建（三）：配置SSH免密钥登录

1，生成公钥和私钥：命令：[root@hadoop2 ~]# ssh-keygen -t rsa 2，查看文件：在/root/.ssh 目录下会生成两个文件： 3，将被管理机上刚才生产的id_rsa.pub赋值成authorized_keys命令：[root@hadoop2 .ssh]# cat id_rsa.pub > autho...

2018-11-19 20:06:00 880

原创 Hadoop集群搭建（二）：配置固定ip地址

主要两种配置方式：如果是服务器版本的虚拟机，则采用命令行模式配置：,1，更改网络的网卡名称：（更改配置文件）命令：[root@hadoop2 ~]# vi /etc/udev/rules.d/70-persistent-net.rules将网卡名称同意改为eth0：更改完成后重启虚拟机 2，查看虚拟机的网管等信息：查看下虚拟机net模...

2018-11-19 20:01:37 4144

原创 Hadoop集群搭建（一）：前期准备工作，配置主机名和JDK环境变量

配置要求：三台虚拟机三台虚拟机主机名一次为： Hadoop1：192.168.175.132 Hadoop2：192.168.175.130 Hadoop3：192.168.175.131 配置主机名和JDK环境变量： 1，修改主机名为：hadoop1vi /etc/sysconfig/ne...

2018-11-19 19:57:05 654

原创 Linux系统常用命令

查看防火墙状态： service iptables status关闭防火墙：(重启防火墙会恢复) service iptables stop永久关闭防火墙：(重启防火墙不恢复) chkconfig iptables off查看文件详细信息： ls -l 递归查看目录的内容： ls -R(R要大写) 目录名修改文件所属组： ch...

2018-11-16 20:52:31 109

原创 SpringBoot的入门运用（Maven管理项目）

1,创建一个SpringBoot结构的项目：点击FileàNewàProject创建项目：2,选择Spring Initializr：JDK版本我这里选择的是1.8版本，然后Next： 3,填写好项目的信息，点击Next：有报错信息： 4,选择web—>we...

2018-11-01 16:43:10 326

MarkDownDemo-master.rar

在日常开发过程中，我们少不了要修改文本信息等操作，这时难免会设计到文本编辑器的操作。对程序员来说，markdown编辑器是最好的选择。本次资源内容为spring 整合editor.md 实现markdown 编辑小demo。里面包含了详细的代码，直接将index文件拷贝到你的页面中，配置好用到的css和js路径即可。后台也编写好了图片上传的方法。可以直接使用

2020-06-04