白墨Blake-CSDN博客

原创 JAVA自定义排序

import java.util.Arrays;//实现Comparable接口可以进行比较大小public class People implements Comparable<People>{ private String name; private Integer age; public People(String name, Integer a...

2019-09-27 14:56:30 919

原创 MapReduce练习IpAction

统计每个 ip 做了多少次操作统计每个操作，执行了多少次每个 ip 的每个操作执行了多少次（包括分区）192.168.10.109 这个 ip 执行了多少次操作每个 ip 的每个操作执行了多少次，只看次数大于 400 的ip-action数据文件下载：...

2019-09-27 11:37:44 227 1

原创 MapReduce保存计算结果到数据库

------------- 创建数据库和表 ---------------mysql -u root -p 登录数据库create database if not existsii; 创建数据库useii; 使用数据库create table if not exists `ii` ( `id` int primary key auto_increment, `word` varc...

2019-09-27 11:10:21 810

原创 MapReduce的优化

Map Join：在 Map 阶段拼接数据，效率高，只适合一个文件小到能够读取到内存中job： 1. 添加小文间到 classpath job.addFileToClassPath() map： 1. 在 setup 读取小文间的内容，保存到内存中的 HashMap 中以关联条件为 key，其它字段为 value ...

2019-09-27 11:05:12 205

原创 MapReduce的排序

排序是数据分析中最常用的操作，没有之一。单字段升序：利用 mapreduce 自身的排序机制，把需要排序的字段作为 key 即可自定义排序规则：方案一：自定义 key 1. 自定义类实现 WritableComparable 接口，设置泛型为自定义类 2. 声明需要排序的字段，添加 setter && getter 3...

2019-09-27 11:03:57 767

原创使用Scala编写Map Reduce的模板

def main(args: Array[String]): Unit = { //1.配置 spark 任务相关信息 val sparkConf = new SparkConf(); //配置人物名字 sparkConf.setAppName("word count") //配置运行模式：本地模式 sparkConf.setMaster(...

2018-12-26 09:57:20 615

原创使用HQL分析数据的脚本

清洗数据#!/bin/bashhadoop jar jar路径类路径.NginxAccessETL $1hive -e "USE 数据库;CREATE TABLE IF NOT EXISTS dwb_nginx_access_log( ip string, time string, path string)PA...

2018-12-13 10:36:37 1083

原创数据分析—排序

排序是数据分析中最常用的操作，没有之一。单字段升序：利用 mapreduce 自身的排序机制，把需要排序的字段作为 key 即可其它排序：自定义排序规则方案一：自定义 key 1. 自定义类实现 WritableComparable 接口，设置泛型为自定义类 2. 声明需要排序的字段，添加 setter && getter ...

2018-12-04 21:27:36 968

原创 WordCount代码模板

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable...

2018-12-03 21:06:17 385

原创 MapReduce的使用

MapReduce：分布式离线计算框架**分布式：**程序多节点（resourceManager 和 nodeManager）多角色（map 和 reduce）组成**离线：**计算过程中产生中间数据，会保存在硬盘上**计算框架：**提供了一个编程模型，可以很轻松的实现分布式数据分析程序使用 MapReduce 需要先启动 hdfs 和 yarn： 1. 启动 3 个节点的 zoo...

2018-12-03 19:35:08 1243

原创 Java中HBase的使用

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.filter.*;import org.apache.hadoop.hbase.util.Byt...

2018-11-29 14:25:01 980

原创 Linux 安装 redis

安装 redis：1. 下载：http://www.redis.cn/2. 上传到 root，解压3. 安装编译 redis 需要的 gcc-c++ 和 tcl 软件 yum install -y gcc-c++ yum install -y tcl4. 进入解压后的目录，使用 make 命令编译源代码5. 使用 make test 测试是否缺少依赖缺什么用 y...

2018-11-23 21:17:58 249

原创 Linux中Hadoop 集群搭建

零、下载Hadoop：http://archive.cloudera.com/cdh5/cdh/5/?tdsourcetag=s_pctim_aiomsg一、集群规划：搭建的 hadoop 集群由 3 台服务器组成，分别叫做 master，salve1 和 slave2。其中 master 作为主节点，slave1 和 slave2 作为从节点。二、网络配置：1.查看 3 个节点的主机名...

2018-11-22 11:52:13 3776 1

原创 Linux 发布项目（发现问题）

1. 需要服务器 —> 安装 Linux（master）2. 需要 tomcat 和 mysql —> jdk, tomcat, mysql3. 打包 web 项目上传到 webapps一台服务器达到性能上限，进行扩容：再安装两台 Linux（slave1 和 slave2），分别安装 jdk 和 tomcatmysql 都是用 master 的即可项目发布到 3 个服务器...

2018-11-22 09:56:46 136

原创 Linux中session共享

有的项目的所有功能都要进行登录验证，验证条件是判断 session 中是否有 user 对象，如果有就认为登录过，如果没有就进行登录session（会话）：服务器上的一块存储空间，和客户端一一对应。一一对应靠的是 sessionId 和 cookie sessionId 是每个 session 的唯一标识cookie：服务器发送给浏...

2018-11-22 09:46:29 1284

原创 Linux 安装 nginx

http://nginx.org/en/linux_packages.html#stable 1. 创建 nginx 的 yum 源文件 touch /etc/yum.repos.d/nginx.repo 2. 添加如下内容： [nginx] name=nginx repo baseurl=http...

2018-11-22 09:41:09 142

原创 Linux 发布程序

打包 web 项目： 0. 上传数据库脚本到 /root 目录使用 mysql -u root -p 登录 MySQL 数据库使用 source /root/zy_clooud_disk_v1.sql 生成数据库 1. 修改 db.properties 的 localhost 为 master 的 ip jdbc...

2018-11-22 09:35:36 1094

原创 Linux 安装 mysql

https://dev.mysql.com/doc/mysql-yum-repo-quick-guide/en/yum 是 centos 自带的管理软件，可以帮我们一键安装或者删除软件 1. 下载 mysql 的 yum 源文件，并上传到 root 目录 mysql80-community-release-el7-1.noarch.rpm 2. 安装 ...

2018-11-22 09:29:58 200 2

原创 Linux的基本操作

web 项目开发完成后需要打包，放到专业的服务器上运行服务器：软件：把写好的网站共享到网络上让别查看使用Tomcat, nginx, apache硬件：安装了服务器软件的计算机企业中的服务器配置和普通的计算机大不相同，也需要安装操作系统才能使用windows 收费，功能多Linux 开源免费，效率高，企业主流内核版本：核心代码版本发行版本：企业...

2018-11-19 18:03:15 396

原创 MyBatis 基础

MyBatis 是一个持久层半自动 ORM 框架，用来简化 JDBC 代码数据持久化：把内存中的数据保存到硬盘上系统架构中用来做数据持久化的代码叫做持久层（dao）ORM： Object Relationship Mapping：对象关系映射通过配置来实现 model 和数据库记录之间的相互转换，在这个过程中不用编写 ...

2018-10-31 08:58:26 176

原创 Spring 框架图解

图解：

2018-10-25 08:59:02 1272 1

原创 Spring框架

Spring：最初是作为 IOC 和 AOP 框架产生的，推出后受到广大企业和 Java 程序员的追捧。作为一开源项目飞速发展，目前以前涵盖 JavaWeb 开发中的每一个角落。 IOC：控制反转，把创建对象和设置依赖的权力从类中转移到一个无关的第三方类中。依赖：类 A 调用类 B 的方法完成功能，就称为类 A 依赖于类 ...

2018-10-24 08:40:07 170

原创框架的介绍

框架：常用代码的封装，项目的半成品，开发项目的辅助工具 jar 包的进一层封装把繁琐重复的代码交给框架处理，我们只需编写使用框架的代码即可 Dao 和 Servlet 处理流程是通用的，只是参数不同 Service 是业务逻辑，不同的项目有不同的功能，不通用框架可以帮我们从繁琐的 Dao 和 Servlet 中解放出来， ...

2018-10-24 08:39:11 185

原创 JDBC 重复使用的数据库链接代码

//存放 JDBC 中重复使用的代码，封装为方法放在这个另类中//使用方法的调用，代替代码的复制粘贴//方便使用和维护public class DBUtils { //封装为static方法，可以雷鸣直接调用，方便实用 //这里不再处理代码产生的异常，抛出给方法调用者进行处理 //把链接数据库的5行代码，封装成为一个getConnection() 方法 public stati...

2018-10-23 08:55:28 925

原创登录登出，自动登录

UserLoggingDao：public interface UserLoggingDao { // 根据账号获取用户信息 User findByAccount(String account);}UserLoggingDaoImpl：public class UserLoggingDaoImpl implements UserLoggingDao{ @Override...

2018-10-23 08:53:58 798

原创 cookie和session存储数据

cookie 存储数据到浏览器 Cookie cookie = new Cookie("key", "value"); cookie.setMaxAge(3600); // 默认随着浏览器关闭删除 response.addCookie(cookie); 浏览器收到 cookie 后会自动保存，并在下次请求的时候，自动把所有的 cookie 放入请求头，发...

2018-10-16 15:34:22 3251

原创 filter 用于对请求和响应进行预处理操作

filter 用于对请求和响应进行预处理操作一个 filter 可以针对多个请求做过滤，url mapping 配置为 /* 自定义 filter 需要实现 Filter 接口，预处理工作在 doFilter 中完成 1. 强制转换 request 和 response 类型为 Http 类型 2. 筛选出不需要进行预处理的请求...

2018-10-16 15:22:48 2070 1

原创 web的连接

CS 应用：Client/Server 电脑上安装的程序 1. 使用麻烦，需要下载安装 2. 更新麻烦，由用户进行控制BS 应用：Browser/Server 浏览器中的网页 1. 使用方便，打开浏览器输入网址 2. 更新方便，完全由服务器控制 BS 应用程序就是网站，通常称为 Web 应用程序，就是通过网络把服务器的数据（网页）展示在浏览器上请求-响应模型是一种通用的网...

2018-10-15 10:15:56 1655

原创 service 的使用

Servlet 负责处理请求，发送响应数据一个 Servlet 默认只能处理一个 URL 请求Tomcat 是 Servlet 的容器，提供了运行 Servlet 程序所必备的条件Tomcat 可以同时运行多个 Servlet 程序Eclipse 集成 Tomcat 后，可以自动把写好的 WebApp 部署到 Tomcat 中部署/发布/上线/deploy：把写好的 WebApp 复...

2018-10-15 10:13:10 158

原创 JSP 基础

JSP 本质就是一个 Servlet，用来简化拼装 HTML 的代码。只需要编写 HTML 网页，由 Tomcat 帮我们拼装输出。 JSP 文件在第一次使用的时候会编译为 java 文件，保存在 Tomcat 的 work 目录中。在 java 文件中通过 out.write() 拼装网页内容。从 Servlet 跳转到 JSP 有两种方法： 1. 请求转发 requ...

2018-10-15 10:12:07 135

原创 HTML 基本操作

<!DOCTYPE html><html><head><meta charset=&qu

2018-09-28 13:47:16 269

原创 JDBC 增删改查

增：import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.SQLException;public class Application { public static void main(String[] args) { ...

2018-09-25 15:22:50 157

原创 MySQL 高级使用

DISTINCT 用于对查询的记录去重分组函数：COUNT(*) 用于获取查询的记录总数COUNT(DISTINCT xxx) 用于获取查询的记录中不重复内容的总数MAX(xxx) 用于获取查询记录中的最大值MIN(xxx) 用于获取查询记录中的最小值AVG(xxx) 用于获取查询记录中的平均值SUM(xxx) 对于查询记录中的数据求和GROUP BY xxx 把数据按照指定...

2018-09-25 08:55:49 200

原创 MySQL 介绍与基本使用

介绍使用文件系统存储数据并不是很好的选择：1. 对数据的管理不方便任何一个数据的修改，都要保存全部的数据2. 数量大了以后，读写速度很慢在企业中使用数据库软件来管理需要存储的数据数据库：用来组织、存储和管理数据的仓库软件。常见的数据库软件：MySQL、Oracle 和 SQLServer 等Oracle（甲骨文）：主打产品是数据库，收购了：Java 和 MySQLMySQL：...

2018-09-19 20:52:41 216

原创 MySQL 数据类型

使用文件系统存储数据并不是很好的选择： 1. 对数据的管理不方便任何一个数据的修改，都要保存全部的数据 2. 数量大了以后，读写速度很慢在企业中使用数据库软件来管理需要存储的数据数据库：用来组织、存储和管理数据的仓库软件。常见的数据库软件：MySQL、Oracle 和 SQLServer 等 Oracle（甲骨文）：主打产品是数据库，收购了：Java 和 MySQ...

2018-09-19 17:25:52 105

原创 Java IO流（下）

字节流：新建一个Student类：import java.io.Serializable;//Serializable 接口中没有任何方法需要实现，它就是一个标志//表示这个类的对象可以进行序列化和反序列化的操作//序列化：Java对象转化为byte[]数组（二进制数据）//反序列化：二进制数据还原为Java对象//保存数据的时候进行序列化操作，把Java对象转化为二进制数...

2018-09-13 14:42:32 128

原创 Java IO流（上）

IO流的基本介绍，输出文件属性：import java.io.File;public class Application { public static void main(String[] args) { // 通过IO流把程序中的数据保存到硬盘上以及读取硬盘上的数据到程序内。 //IO = Input（从硬盘读取数据到程序）和 Outpu...

2018-09-13 11:12:37 132

原创 Java 小练习—用户注册登录（含异常处理）

需求：A：请选择要使用的功能1. 登录请输入账号请输入密码调用 B 的方法获取登录结果登录成功/登录失败2. 注册请输入账号请输入密码调用 B 的方法获取注册结果注册成功/注册失败B：登录根据账号获取密码比较输入的密码和保存的密码是否一致返回比较结果...

2018-09-12 16:22:21 3567

原创 Java 异常

public class Application { public static void main(String[] args) { /* * Java 中程序执行过程中产生的错误分为两种：error 和exception * error 是外部环境导致的错误，例如： JVM 内存不足，硬盘炸了等等... * ...

2018-09-12 16:17:38 148

原创 Java 小练习—学生成绩管理系统

需求：A：欢迎使用学生信息管理系统请选择要使用的功能：1. 录入学生信息请输入学号请输入姓名请输入成绩调用 B 的方法添加学生数据录入成功2. 查看学生信息调用 B 的方法获取所有学生数据遍历展示：学号姓名成绩3. 修改学生成绩请输入要修改的学生学号请输入修改后的成绩...

2018-09-12 16:14:57 971

ip-action.dat MR练习数据资源

空空如也