- 博客(52)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 放一些MR案例
1.partitioner分区1.概念1、将map输出的kv对，按照相同key分组，然后分发给不同的reducetask默认的分发规则为：根据keyhashcode%reducetask2、一般返回值从0开始，并且定义多少的reduce数，就有多少分区2.实例class MyPartition extends Partitioner<Text, IntWritable> {...
2019-09-26 16:19:16
743
2
原创 简单的总结MR
1.MapReduce前言1.为什么需要MR1、海量数据在单机上处理因为硬件资源限制，无法胜任2、而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难度3、引入 MapReduce 框架后，开发人员可以将绝大部分工作集中在业务逻辑的开发上，而将 分布式计算中的复杂性交由框架来处理单机版磁盘受限，内存受限，计算能力受限分布式1、 数据存储的问题，h...
2019-09-26 16:17:45
414
1
转载 简单的总结zookeeper
1.功能分布式同步配置管理集群管理命名管理队列管理2.实现数据模型（znode）+原语+通知机制（watch）Znode：[外链图片转存失败(img-FIvIHuUU-1569485738656)(assets\35-356798741.png)]介绍：ZooKeeper的数据模型，在结构上和标准文件系统的非常相似，都是采用这种树形层次结构，ZooKeeper树中的每个节点被...
2019-09-26 16:16:24
326
原创 简单的总结了下hdfs
1. HDFS前言HDFS：Hadoop Distributed File System ，Hadoop分布式文件系统，主要用来解决海量数据的存储问题重点：文件切块，副本存放，元数据2. HDFS特性1.概念：首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色；2.特性：（1）H...
2019-09-26 16:15:06
714
原创 springboot整合mybatis
1.导入mybatis的依赖 <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId...
2019-08-22 08:41:08
104
原创 Springboot连接数据库的demo
SpringBoot的简单使用1.启动类@SpringBootApplication 是spring boot的核心注解，包含了@ComponentScan、@Configuration@EnableAutoConfiguration注解。@ComponentScan 组件扫描，可自动发现和装配一些Bean。@Configuration 等同于spring的XML配置文件；@EnableA...
2019-08-21 19:24:50
2098
2
原创 Linux安装mysql
一，下载mysql:http://dev.mysql.com/downloads/mysql/；打开页面之后，在Select Platform:下选择linux Generic，如果没有出现Linux的选项，请换一个浏览器试试。我用的谷歌版本不可以，换一个别的浏览器就行了，如果还是不行，需要换一个翻墙的浏览器。二，下载完后解压缩并放到安装文件夹下：MySQL-client-5.6.24-1.l...
2019-08-20 19:50:40
116
1
转载 大数据学习
前言一、背景介绍大数据真的强二、大数据介绍大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非结构化数据、Excel文件、文本文件等）、数据量大（最少也是TB级别的、甚至可能是PB级别）、数据增长速度快等。针对以上主要的4个特征我们需要考虑以下问题：数据来源广，该如何采集汇总？，对应出现了Sqoop，Cammel，Datax等工具。数据采集之后，该如...
2019-08-20 17:29:49
295
2
原创 MongoDb连接java
import org.bson.Document; public static void update(MongoCollection<Document> collection){ //更新文档 将文档中likes=100的文档修改为likes=200 collection.updateMany(Filters....
2019-08-20 17:28:07
130
原创 mongodb的insert和save问题
mongodb的insert和saveinsertinsert()方法:当插入数据时,_id重复,则mongodb会直接报错,并返回对应的_idsavesave()方法:当插入数据时,它会先去循环一遍集合中的所有数据,判断插入的数据的_id是否存在于集合中,如果不存在则会直接插入一条新的文档,如果存在,则会调用mongodb的update()方法,更新_id对应的数据(相当于覆盖该_i...
2019-08-20 17:24:55
1685
原创 MongoDB的安装
到MongoDB的官网进行并根据个人电脑的情况下载指定版本的软件开始安装一、1，打开安装程序，点击next2、勾选协议，点击next3、选择自定义也就是custom4、选择路径（browse），点击next。这里注意不选择有空格的路径。像是坑爹的program file这样的不要选择5、点击安装二、创建文件夹a.在安装目录下创建data文件夹(就是bin的那个目录)b.在d...
2019-08-20 16:59:46
139
原创 java代码优化原则
java代码的六大原则看前须知：以下的“抽象”俩字的意思所指的不只是抽象类，包括接口细节是指实现接口或者继承抽象类1.单一原则一个类最好只做一件事，只有一个东西能引起它的变化。提高内聚性2.开闭原则一个对象应该对扩展开放，例如继承，但是不能修改。当然这是理想的，所以实际应该是尽量减少影响原有的代码块。3.里氏替换原则父类存在的地方都可以由子类来替代。基于抽象两字。但是明显的，此...
2019-08-19 17:51:43
351
2
原创 编码
1.编码表1.定义字符和计算机二进制的对应关系表,就是编码表2.分类ascii：一个字节中的7位就可以表示。对应的字节都是正数。0-xxxxxxxiso-8859-1拉丁码表 latin，用了一个字节用的8位。1-xxxxxxx 负数。GBK目前最常用的中文码表，2万的中文和符号。用两个字节表示，其中的一部分文字，第一个字节开头是1，第二字节开头是0GB180...
2019-08-17 17:46:37
144
原创 50道sql
学生表 Studentcreate table Student(Sid varchar(6), Sname varchar(10), Sage datetime, Ssex varchar(10));insert into Student values('01' , '赵雷' , '1990-01-01' , '男');insert into Student values('02' , '钱...
2019-08-17 17:44:19
175
原创 注解
注解:Java5开始 Java支持对元数据的支持, 就是是Annotation(注解)元数据: metadata描述数据的数据注解:标签 Annotation所有的Annotation都是java.Lang.annotation.Annotation接口的子接口所有Annotation是一种特殊的接口回顾注解:@Override -->重写@Deprecated -->...
2019-08-17 16:27:15
125
原创 枚举和异常
1.枚举1.特有属性默认继承类，所以只能实现接口枚举类构造方法默认为私有方法。枚举可以有属性，但是属性需要在构造方法中赋值public class Demo4 { public static void main(String[] args) { Sex sex = Sex.woman; //name为sex的名字，woman ordinal为位...
2019-08-16 21:10:36
304
转载 UUID
1.UUID 简介UUID 含义是通用唯一识别码 (Universally Unique Identifier)，这是一个软件建构的标准。也是被开源软件基金会 (Open Software Foundation, OSF) 的组织应用在分布式计算环境 (Distributed Computing Environment, DCE) 领域的一部分。UUID 的目的，是让分布式系统中的所有元素，...
2019-08-16 20:04:47
266
原创 配置tomcat
1.Tomcat1.安装：直接解压到指定目录即可。（注：目录不要太深；目录不要有中文或空格）2、启动服务器：F:\apache-tomcat-7.0.52\bin\startup.bat启动服务器的前题：配置JAVA_HOME:jdk的安装路径 path=%JAVA_HOME%\bin进入到F:\apache-tomcat-7.0.52\bin>startup.bat 才能执...
2019-08-16 19:53:32
147
原创 mysql8连接数据库连接
1.数据库连接的问题驱动com.mysql.cj.jdbc.Driver连接数据库的参数useUnicode=true&characterEncoding=utf8&userSSL=false&serverTimezone=GMT%2B8注意：xml文件中的&需要加上amp和； serverTimezone是时区 ss...
2019-08-16 19:46:18
1425
原创 Mysql的安装问题
Mysql卸载和安装Mysql安装失败的解决办法--------------------------------以下是错误的类型----------------------------------- The security settings could not be applied to the database because the connection has failed with...
2019-08-16 19:45:24
356
原创 事务
一、Mysql事务事务：事务指逻辑上的一组操作，组成这组操作的各个单元，要么全成功，要么全不成功。１.Mysql中的事务a、mysql引擎是支持事务的b、mysql默认自动提交事务。每条语句都处在单独的事务中。c、手动控制事务开启事务：start transaction | begin提交事务：commit回滚事务：rollback2.JDBC如何控制事务public sta...
2019-08-16 19:44:43
104
原创 多表查询
1.多表查询1.分类多表查询有如下几种：1.合并结果集UNION 、 UNION ALL2.连接查询内连接 [INNER] JOIN ON外连接 OUTER JOIN ON左外连接 LEFT [OUTER] JOIN右外连接 RIGHT [OUTER] JOIN全外连接（MySQL不支持）FULL JOIN自然连接 NATURAL JOIN子查询2.合并结果集...
2019-08-16 19:43:27
221
原创 单表查询
1.单表查询1.基础查询1.查询所有列SELECT * FROM stu;2.查询指定列SELECT sid, sname, age FROM stu;3.条件查询SELECT sid, sname, age FROM stu where sid = 3;2.条件查询介绍1.运算符及关键字WHERE子句中可以使用如下运算符及关键字：=、!=、<>、<、&l...
2019-08-16 19:39:39
373
原创 DDl，DML语句
1.数据库1.概述数据库（DataBase，DB）：指长期保存在计算机的存储设备上，按照一定规则组织起来，可以被各种用户或应用共享的数据集合。数据库管理系统（DataBase Management System，DBMS）：指一种操作和管理数据库的大型软件，用于建立、使用和维护数据库，对数据库进行统一管理和控制，以保证数据库的安全性和完整性。用户通过数据库管理系统访问数据库中的数据。数...
2019-08-16 19:39:04
597
原创 数据库的恢复和完整性
1.数据库的恢复1 生成SQL脚本在控制台使用mysqldump命令可以用来生成指定数据库的脚本文本，但要注意，脚本文本中只包含数据库的内容，而不会存在创建数据库的语句！所以在恢复数据时，还需要自已手动创建一个数据库之后再去恢复数据。现在可以在C盘下找到mydb1.sql文件了！注意，mysqldump命令是在Windows控制台下执行，无需登录mysql！！！勾选2，3，5，6四个选项...
2019-08-16 19:37:22
784
转载 ValidateCode使用
1、将ValidateCode.jar放到WebRoot/lib目录下。2、Servlet编写：public class ServletDemo4 extends HttpServlet {public void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletExce...
2019-08-15 14:13:39
3567
1
原创 dbutils的总结
1.DbUtils1.概述DBUtils封装了对JDBC的操作，简化了JDBC操作，可以少写代码。DBUtils就是JDBC的简化开发工具包。需要项目导入commons-dbutils-1.6.jar才能够正常使用DBUtils工具。2.核心功能update(Connection conn, String sql, Object… params) ，用来完成表数据的增加、删除、更新操作...
2019-08-13 10:20:45
245
2
原创 jdbc
1.Jdbc的使用1.简述JDBC（Java Data Base Connectivity,java数据库连接）是一种用于执行SQL语句的Java API。可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。是Java访问数据库的标准规范**总结：**JDBC是java提供给开发人员的一套操作数据库的接口 数据库驱动就是实现该接口的实现类2.原理Jav...
2019-08-13 10:20:08
127
原创 并查集的理解和实现
并查集1.介绍用并查集解决连通之类的问题会更加简单，而且并查集的结构便于理解。在这里用数组来做简单的并查集。2.实现代码这里就不废话了，代码贴上来也不用看那麽多字。int pre[1000 ];int find(int x) //查找根节点{ int r=x; while ( pre[r] ...
2019-08-09 08:10:01
193
2
原创 查找排序的简单算法
1.排序1.冒泡int arr = {1,3,5,2,4,6,9,0,7,8};for (int i = arr.length -1; i > 0 ; i--){ for (int j = 0 ; j <i ; j++){ if(arr[j] > arr[j+1]){ int tem...
2019-08-09 08:07:11
90
1
原创 对于换行符和转义字符以及文件路径的总结
1.换行符windows系统 换行符 \r\n 占两个字节linux/unix 换行符 \n2.转义字符在Java中，不管是String.split()，还是正则表达式，有一些特殊字符需要转义，这些字符是 ( [ { / ^ - $ ¦ } ] ) ? * + .转义方法为字符前面加上\\，这样在split、replaceAll时就不会报错了；3.文件路径最好是这...
2019-08-08 15:07:22
985
1
原创 对于动态代理的详细解释
1.动态代理import java.lang.reflect.InvocationHandler;import java.lang.reflect.InvocationTargetException;import java.lang.reflect.Method;import java.lang.reflect.Proxy;class Bingbing implements TestI...
2019-08-08 15:05:42
264
原创 反射和动态代理
1.反射1.反射详解[外链图片转存失败(img-jhHXJ0rY-1565247824215)(C:\Users\root\Desktop\总结\assets\反射原理-1565176374510.png)]1.定义反射:动态获取类的字节码文件,并对其成员进行抽象整体的含义:就是想通过字节码文件直接创建对象.2.获取字节码文件方式1.通过Object提供的getClass()方法2...
2019-08-08 15:04:29
587
原创 NIO和网络编程
1.NIO1.组成Channels：通道Buffer：缓冲区Selectors：选择器2.Buffer和Channels概括Channels和Buffer是新IO中的两个核心对象,Channel是对传统的输入/输出系统的模拟,在新IO系统中所有的数据都需要通过通道传输。1.ChannelsChannels与传统的InputStream,OutputStrem最大的区别在于它提供了一...
2019-08-08 15:03:27
157
原创 IO流2
1.标准输入流输出流默认字节流1.标准输入流1.System.in属性1.当前的流已经打开并关联了输入源–键盘2.如果不想让键盘充当输入源,可以通过setIn进行更换标准输入流的read方法为阻塞式方法2.阻塞式方法程序一直停在read()方法这里，等待数据。没有数据就不继续往下执行，至到得到数据。2.标准输出流System.out定义：1.此流已打开并准备接受输出数据。...
2019-08-08 15:02:50
81
原创 IO流总结1
1.IO流[外链图片转存失败(img-77G3gPx9-1565247696317)(C:\Users\root\Desktop\总结\assets\字节继承.png)][外链图片转存失败(img-e9nXexKQ-1565247696318)(C:\Users\root\Desktop\总结\assets\字节继承2-1565014548388.png)][外链图片转存失败(img-SSZ...
2019-08-08 15:02:14
110
原创 File类
1.File类1.概念：文件或者目录（文件夹）都封装成File对象构造方法：（windows中的路径或文件名不区分大小写）File(String pathname)File(File parent,String child)（父路径加上子路径）2.File方法：注意：很多方法有File和String两种返回类型创建：public boolean createNewFile() ...
2019-08-08 08:02:24
96
原创 多生产者消费者问题，Lock锁以及懒汉式的优化
public class Demo10 {public static void main(String[] args) {//准备数据Product1 product = new Product1();//准备任务Producer1 producer = new Producer1(product);Consumer1 consumer = new Consumer1(product)...
2019-08-08 08:01:50
259
1
原创 简单的多线程
1.线程1.特点多个线程之间是抢cpu的关系有随机性2.命名主线程的名字:main 子线程的名字:从Thread-0开始命名setName可以命名3.开启start()方法,来开启线程,继而实现run方法的自动调用.4.注意手动调用run的时候,他失去了任务区的功能,变成了一个普通的方法.2.Runnable接口1.作用线程和任务分离 ,哪个线程需要工作,就将任务交给谁...
2019-08-08 08:00:25
135
原创 lambda表达式，增强for，collection工具，可变参
1.lambda1.定义：lambda表达式就是简单的匿名内部类，实现接口中只能有一个抽象方法，可以有多个其他方法。2.特点：Lambda表达式只能为函数式接口创建实例(即只能有一个抽象方法)Lambda表达式的代码块不允许调用接口中的默认(default)方法3.基本语法：(参数)->表达式 或 (参数)->{方法体;}4.例子1.基本interface Inte...
2019-08-08 07:59:44
286
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人