BestbpF-CSDN博客

原创 MapReduce实战练习二：两张表的合并汇总

需求：订单数据表t_order：iddatepidamount100120150710P00012100220150710P00013100220150710P00023

2017-09-21 18:18:08 2561

原创 MapReduce实战练习一：手机流量统计

需求如下：1、给定一份运营商的手机号数据情况，其中包含上行流量和下行流量2、将手机号以及流量情况按照不同省份统计出来3、将所有数据根据总流量大小递减排序统计出来具体数据如下图，倒数第三位和第二位分别为上行，下行流量，数据之间用tab间隔实体类：//实体类FlowBean封装上下行流量以及总流量package com.bpf.flowsSum;import ja

2017-09-18 19:01:20 2526

转载 Yarn运行机制

熟悉了YARN的整体框架。就看看YARN的运行机制 YARN的运行过程、 1，作业提交该过程与MR1的很相似。步骤1使用的API以及过程与MR1的相同，让后从Resource Manager中获取新的ID，这是一个应用程序的ID（步骤2）。接着客户端检查作业的输出分片，计算输入分片并将作业资源复制到HDFS中。最后，调用Resource Manager调用submitAppl

2017-09-16 13:58:49 530

转载 MapReduce工作原理

http://blog.csdn.net/tanggao1314/article/details/51275812最近在研究Hadoop,发现网上的一些关于Hadoop的资料都是以前的1.X版本的,包括MapReduce的工作原理,都是以前的一些过时了的东西,所以自己重新整理了一些新2.X版本的MapReduce的工作原理下面我画了一张图,便于理解MapReduce得整个工作原理

2017-09-16 13:52:00 383

原创插入排序

思想：从第二个数开始，查到前面的有序数列中的合适位置（第一个数视为一个有序数列）。即如： 1 3 4 6 2 5 -1 遍历到2时发现 2 同理5插到6前，-1插到1前package sort;public class Sort { public static void main(String[] args) { int[] a = {1,1,5

2017-09-15 15:29:14 193

原创选择排序

基本思想：在要排序的一组数中，选出最小的一个数与第一个位置的数交换；然后在剩下的数当中再找最小的与第二个位置的数交换，如此循环到倒数第二个数和最后一个数比较为止。package sort;public class Sort { public static void main(String[] args) { int[] a = {2,1,5,4,3,3,-1};

2017-09-15 14:27:29 184

原创用流的方式操作HDFS文件 JAVA API

package com.bpf.hdfs;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.net.URI;import org.apache.commons.io.IOUtils;import org.apache.hadoop

2017-09-14 14:16:37 606 1

原创 HDFS相关JAVA API

package com.bpf.hdfs;import java.io.FileNotFoundException;import java.io.IOException;import java.net.URI;import java.util.Iterator;import java.util.Map.Entry;import org.apache.hadoop.conf.Conf

2017-09-14 14:13:50 181

转载 HDFS原理

http://www.cnblogs.com/laov/p/3434917.html简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点： ① 保存多个副本，且

2017-09-13 11:15:17 351

原创快速排序

public class Sort { public static void main(String[] args){ Sort bubbleSort = new Sort(); int[] b = {2,1,4,3,0}; System.out.println("快速排序： "); bubbleSort.quickSor

2017-09-06 14:42:15 198

原创冒泡排序

冒泡排序思路：1、如从小到大排序，遍历整个数组，从刚开始相邻两个数进行两两比较，将大的放在后面，经过一次遍历后，最大的值将会放到数组最后。2、重复以上步骤，除了最后一个。public class Sort { public static void main(String[] args){ Sort bubbleSort = new Sort();

2017-09-06 13:31:51 177

转载 6、vi命令大全

http://blog.csdn.net/shudaqi2010/article/details/539305801. 关于Vimvim是我最喜欢的编辑器，也是Linux下第二强大的编辑器。虽然emacs是公认的世界第一，我认为使用emacs并没有使用vi进行编辑来得高效。如果是初学vi，运行一下vimtutor是个聪明的决定。（如果你的系统环境不是中文，而你想使用中文的vi

2017-09-04 09:52:38 536

原创 5、权限命令练习

创建a.txt和b.txt文件，将他们设为其拥有者和所在组可写入，但其他以外的人则不可写入:chmod ug+w,o-w a.txt b.txt创建c.txt文件所有人都可以写和执行chmod a=wx c.txt 或chmod 666 c.txt将/bpf目录下的所有文件与子目录皆设为任何人可读取chmod -R a+r /bpf将/itcast目

2017-09-04 09:47:24 349

原创 4、用户和组命令练习

添加一个tom用户，设置它属于users组，并添加注释信息分步完成：useradd tomusermod -g users tom usermod -c "hr tom" tom一步完成：useradd -g users -c "hr tom" tom设置tom用户的密码passwd tom修改tom用户的登陆名为tomcatusermod

2017-09-04 09:45:31 325

原创 3、系统命令练习

1.查看主机名hostname2.修改主机名(重启后无效)hostname hadoop3.修改主机名(重启后永久生效)vi /ect/sysconfig/network4.修改IP(重启后无效)ifconfig eth0 192.168.12.225.修改IP(重启后永久生效)vi /etc/sy

2017-09-04 09:43:48 225

原创 2、文件相关命令练习

1.进入到根目录cd ~ 或者 cd回到原来路径cd -2.查看文件详情stat a.txt3.移动mv a.txt /ect/改名mv b.txt a.txt移动并改名mv a.txt ../b.txt4拷贝并改名cp a.txt /etc/b.txt5.vi撤销修改ctrl + u (undo)恢复

2017-09-03 21:28:04 207

原创 1、常用命令练习

快捷键：ctrl + c：停止进程ctrl + l：清屏ctrl + r：搜索历史命令ctrl + q：退出tab ：自动补全创建一个bpf用户，然后使用root用户登陆系统1.进入到用户根目录cd ~ 或 cd2.查看当前所在目录pwd3.进入到bpf用户根目录cd ~bpf4.返回到原来目录

2017-09-03 19:53:23 394

原创 The given object has a null identifier:

在自己整合SSH做一个项目中的一个更新功能（使用到了hibernateTemplate的update方法）在测试该功能时，出现了The given object has a null identifier错误发现update方法是根据主键id修改的，而在修改页面提交表单时，表单中没有提交id,通过添加一个隐藏域完成

2017-08-07 13:08:45 718

原创 Hibernate学习第四天

Hibernate的查询方式对象导航查询(1)根据ID查询出某个客户，再查询这个客户里面所有联系人 // 演示对象导航查询 @Test public void testSelect1() { SessionFactory sessionFactory = null; Session session = null; T

2017-07-29 09:38:53 205

原创 Hibernate学习第三天

表与表之间的关系一对多通过外键建立关系多对多创建第三章表维护关系：表中至少有两个字段作为外键，指向两个表的主键一对一Hibernate一对多操作一对多映射配置第一步、创建实体类，如客户，联系人public class Customer { private Integer cid; private String customerName;

2017-07-29 08:57:54 185

原创 getHibernateFlushMode is not valid without active transaction;

HTTP Status 500 - getHibernateFlushMode is not valid without active transaction; nested exception is org.hibernate.HibernateException: getHibernateFlushMode is not valid without active transaction如果

2017-07-28 11:05:39 461

转载连接池

http://www.cnblogs.com/jzxx/p/5825380.html连接池对于共享资源，有一个很著名的设计模式：资源池（Resource Pool）。该模式正是为了解决资源的频繁分配﹑释放所造成的问题。为解决我们的问题，可以采用数据库连接池技术。数据库连接池的基本思想就是为数据库连接建立一个“缓冲池”。预先在缓冲池中放入一定数量的连接，当需要建立数据库连接时

2017-07-27 11:32:19 319

原创比较全的spring约束

<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context" xmlns:aop="http://www.s

2017-07-26 11:16:24 258

原创 Hibernate学习第二天

实体类编写规则1、实体类里的属性必须为私有2、私有属性使用公开的get、set方法3、要求实体类有一个属性作为唯一值（类似于主键）4、实体类属性建议不使用基本数据类型，建议使用基本数据类型对应的包装类 (如0与null的问题)Hibernate主键生成策略1、 hibernate要求实体类里面有一个属性作为唯一值，对应表中的主键，主键可以有不同的生成策略。

2017-07-20 08:48:38 232

原创 Java集合中有关有序，无序的概念

有序、无序是指在进行插入操作时，插入位置的顺序性先插的位置在前，后插的位置在后，则为有序，反之无序实现了List接口的集合类全部有序，如ArrayList、LinkedList实现了Set接口的集合类中，HashSet无序，TreeSet有序实现了Map接口的集合类中，HashMap无序，TreeMap有序而大家容易混淆的就是排序，排序是指集合内的元素是否按照升序或降序

2017-07-19 18:35:28 14406 1

原创 Hibernate学习第一天

Hibernate概述什么是hibernate框架1、 hibernate框架应用在JavaEE三层结构中的DAO层2、在DAO层里面做对数据库的crud操作，底层代码就是JDBC，hibernate对JDBC进行封装，最大好处就是不需要写复杂的JDBC代码以及SQL语句。3、开源轻量级框架什么是ORM思想1. hibernate使用orm思想对数据库进

2017-07-19 17:21:44 338

原创 struts2学习之第四天

Struts2拦截器概述1. struts2是框架，封装了很多功能，struts2里面封装的功能都是在拦截器里面2. struts2里面封装了很多功能，有很多拦截器，每次执行默认的一部分拦截器3. struts2里面默认拦截器的位置struts2-core-2.3.32.jar内的struts-default.xml配置文件内interce

2017-07-12 10:07:20 217

原创 struts2学习之第三天

OGNL概述1. 之前web阶段学过EL表达式，EL表达式在jsp中获取域对象中的值2. OGNL是一种表达式，这个表达式功能更加强大 (1) 在struts2里面操作值栈数据 (2) 一般把OGNL在struts2操作，和struts2标签一起使用操作值栈3. OGNL不是struts2的一部分，但经常和struts2一起使用 (

2017-07-11 11:41:00 264

原创 struts2学习之第二天

结果页面配置一、全局结果页面1.result配置action方法的返回值到不同路径2.创建两个action，执行默认的execute方法，让两个action的方法都返回success，配置到同一个页面 (1)如果多个action，且方法里面返回值和跳转页面都是相同的，可以使用全局结果页面配置 (2)在package标签中配置 /index

2017-07-07 11:43:10 209

原创 struts2学习之第一天

什么是struts2Struts2是一个基于MVC设计模式的Web应用框架，它本质上相当于一个servlet，在MVC设计模式中，Struts2作为控制器(Controller)来建立模型与视图的数据交互。Struts 2是在WebWork2基础发展而来的。相比与servlet，struts2在底层封装了许多操作，如获取表单、封装到实体类等来简化开发人员的开发过程。struts2执行过

2017-06-25 16:32:32 263

原创 ajax+struts2实现验证用户名是否已经被注册

1.数据库相关操作没有使用hibernate框架（还没看完），使用了最基础的代码，但是运用了DAO设计模式。在这个模式中DAO主要完成数据的操作，客户端依靠DAO接口进行操作，服务端要将接口进行具体实现。DAO的主要组成由以下几个部分组成。 1、DatabaseConnection：专门负责数据库打开与关闭操作的类。 2、VO：主要由属性、s

2017-06-23 17:52:37 2309

原创对JavaEE中mvc模式以及三层架构的理解

第一次接触MVC模式是在首次学习Servlet/JSP的时候，而了解三层架构是在学习struts2的时候，起初对这些东西了解不是很深，但是随着学习的不断深入，慢慢发现了其中一些核心思想，下面谈谈我的一些理解。（如有错误，望可以指出，蟹蟹！）MVC模式MVC按照字面意思就是Model(模型)、View(视图)、Controller(控制器)，基本思想就是把程序界面和业务逻辑分离开来，方便开发

2017-06-22 09:09:03 3810 1

Servlet技术是Java开发Web应用的一种底层技术，主要用来生产动态的Web内容，大多数情况用来进行一些后台管理。而JSP是为了简化Servlet程序开发而发布的技术，语言基本由HTML和Java代码组成。Servlet/JSP出现后，涌现出了大量的框架来帮助程序猿快速开发。今天就写一写Servlet/JSP的应用架构。Servlet其实就是一个Java程序，一个Servlet应用包含多个S

2017-06-20 20:44:31 2343

BestbpF的博客