qq_35573689的博客

原创 mysql学习收获

1一个查询的过程2 一个update的过程3 order的执行过程4事务的隔离 事务的特性 事务的隔离级别： 查询数据库的默认隔离级别： show VARIABLES LIKE 'transaction_isolation' show VARIABLES LIKE 'tx_isolation' 读未提交 read uncommit ...

转载 mysql数据库 造千万测试数据

CREATE TABLE `t_user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `c_user_id` varchar(36) NOT NULL DEFAULT '', `c_name` varchar(22) NOT NULL DEFAULT '', `c_province_id` int(11) NOT NULL, `c_city_id` int(11) NOT NULL, `create_t...

原创 设计模式学习

设计模式：单例 工厂 适配器 装饰器 代理 观察者 建造者 桥接 过滤器 原型 组合 外观 享元 责任链 命令 解释器 迭代器 中介 备忘录 状态 空对象 策略 模板 访问者 MVC 业务代表 组合实体 数据访问对象 前端控制器 拦截过滤器 服务定位器 传输对象 ...

原创 lambda 内使用的局部变量必须是final的

在开发代码中遇到一个问题，使用lambda遍历map，外部有一个String，在循环中把 String 字符串的关键字进行替换，但是一直不能替换成功。 错误提示，使用的这个变量必须是final或者是实际上final的？为什么？ lambda是一个匿名内部类，内部类是指在一个外部类内部再定义一个类。内部类可以被static public default protected private修饰，外部顶级类（类名和文件名相同）只能使用public 和 default。 ...

原创 数据结构学习网站

https://www.cs.usfca.edu/~galles/visualization/Algorithms.html常见的数据结构都能通过这个网站演示，包括arrary，list，tree等建议使用google演示，360在演示页不兼容

原创 count(0) count(1) count(索引字段） count（非索引字段）（修正）

在自己电脑上没有很大的数据量所以在公司的测试环境进行了测试验证，不便截图我在一个有100多万的表中执行了select count（0）select count（1）select count（*）select count（唯一索引字段）select count（没有索引字段）经过执行计划比较性能： count（唯一索引字段）>count（0）= count（1）= count（*）>count（没有索引字段）count(0)和count（1）和count..

原创 java中的序列化

什么是序列化？ 把数据或者对象信息转换成可以持久化或者在进行传输的数据格式的一个过程。 序列化的使用场景包括 1你要把数据进行持久化，无论你是持久化到磁盘和数据库，都要把数据进行序列化。 2 在网络间以字节流的形式进行传输，需要把数据进行序列化 3 让数据在进程间进行传递 java序列化： java为序列化提供了两个接口Serializab...

原创 mybatis

mybatis 的缓存 mybatis的一级缓存： mybatis的一级缓存是默认开启的，在配置文件中的对应属性是localCacheScope，它有两个属性分别是SESSION和STATEMENT，默认的是SESSION.。一级缓存是sqlsession级别的，SESSION和STATEMENT有什么区别 1 假如一个线程已经进行了查询，那么查询结果已经缓存到了sqlsession中，再起一个线程调用同样的方法，同样的参...

原创 Rest 风格

从入行开始面试基本上会问rest是怎么理解的。现在面试别人，也有人会说就是使用put、get、post、delete等方式进行请求。我觉得这种字面上的理解不能说是不对的，但是没有抓到点上。rest应该是一种对资源的操作方式，rest风格是重资源轻操作。举例来说我要查询一个id是1的学生信息：有部分访问url是这样的：http://localhost:8000/getStu?stuid=1rest的访问应该是这种：http://localhost:8000/stu/1...

原创 mybatis plus 分页+乐观锁 +多租户

mybatis plus代码生成请参考：https://blog.csdn.net/qq_35573689/article/details/105828867mybatis plus 需要引入依赖： <!--mybatis--> <dependency> <groupId>org.mybatis.spring.boot</...

原创 mybatis plus使用 及使用过程中问题处理

mybatis plus 生成代码示例： https://blog.csdn.net/qq_35573689/article/details/105828867mybatis plus 真分页示例： pom.xml依赖： <!--mybatis baomidou--> <dep...

原创 mybatis plus 生成代码示例

package com.wxj.bootmq.genecode;import com.baomidou.mybatisplus.annotation.DbType;import com.baomidou.mybatisplus.annotation.IdType;import com.baomidou.mybatisplus.generator.AutoGenerator;import...

原创 base rabbitmq springboot+rabbitmq 消息幂等性

direct one2many 的情况下，发送和消费的情况如下：发送的消息是 one2many====>0第1接受者接收到的额消息是one2many====>0发送的消息是 one2many====>1第2接受者接收到的额消息是one2many====>1发送的消息是 one2many====>2第3接受者接收到的额消息是one2many====...

原创 集合框架---笔记

原创 kettle的测试数据

两表和多表的测试数据：课程表/* Navicat Premium Data Transfer Source Server : localhost Source Server Type : MySQL Source Server Version : 80016 Source Host : localhost:3306 Source S...

原创 数据仓库工具 kettle 持续更新

获取文中mysql数据库中表结构和数据文件导入导出Hop眺： 就是步骤之间带箭头的连线，眺定义了步骤之间的数据通路。跳实际是两个步骤之间的被称为——行集的数据缓存，在流程运行过程中数据会先往hop中写。当行集满了，向行集数据写入数据就会停止，知道行集里又有了空间。当行集空了，从行集读取数据的步骤会停止，直到行集里又有了可读的数据。行集的大小可以在转换的设置里进行设置，如下图：...

原创 hadoop 求共同好友

以下是qq的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的）A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,I,J求出哪些人两两...

原创 hadoop 的 join 用法

需求： /* * 把订单和商品表进行关联查询 */订单表： id date pid amount 1001 20150710 P0001 2 1002 20150710 P0001 3 1002 20150710 P0002 3 商品表： id pname category_id price P0001 小米5 1000 ...

原创 hadoop中的文件压缩

在大数据中为什么要使用压缩1 减少磁盘的存储空间2 减少磁盘IO和网络IO3 加快数据传输速度（磁盘和网络），如果小文件多明显文件传输会明显降低怎么选一个压缩方式，需要考虑的是什么？1 考虑文件的压缩效率------》压缩快慢2 考虑文件的压缩比----------》解压快慢第一点好理解，压缩的快肯定好第二点是压缩比，举例现在有一个10G的文件，一种压缩算法能...

原创 mapreduce 排序

需要进行排序的文本：a 1a 9b 3a 7b 8b 10a 5a 9主类package com.wxj.sort;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apac...

原创 (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks

public class HashPartitioner<K2, V2> implements Partitioner<K2, V2> { public HashPartitioner() { } public void configure(JobConf job) { } public int getPartit...

原创 mapreduce -天龙八部 示例wordcount

下面是要执行单词统计的文本hello,helloworld,worldhadoop,hadoophello,worldhello,flumehadoop,hivehive,kafkaflume,stormhive,oozie主类package com.wxj.mapreduce;import org.apache.hadoop.conf.Configura...

原创 java api操作hdfs

package com.wxj.hdfs;import org.apache.commons.io.IOUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.junit.Test;import java.io.File;import java.io.Fi...

原创 在学习hadoop中遇到的问题

错误内容包括mapreduce、hive、flume、azkaban、sqoop、1 启动程序报错:19/08/02 16:19:12 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicab...

转载 一文了解事务的传播行为

https://blog.csdn.net/soonfly/article/details/70305683参考该链接 解释的比较清楚，最好是在代码中实践一下，文中有少量错误不影响理解

原创 浏览器不能使用主机名访问，能使用ip访问的问题处理记录

第一 我已经设置的主机名 为 node01.hadoop.com第二 我已经通过修改 /etc/hosts/文件为 192.168.xxx.xxxnode01.hadoop.com node01 完成了域名映射第三 通过ping node01 或者node01.hadoop.com 都能正常解析第四 在centos上启动服务后，访问http://node...

原创 垃圾回收中的几个概念（未完，待补充）

大对象：（概念取自深入理解java虚拟机 jvm最佳实践）所谓的大对象是指需要大量连续内存空间的java对象，最典型的大对象就是那种很长的字符串以及数组。大对象对虚拟机的内存分配来说是一个坏消息，经常出现的大对象容易导致内存还有不少空间时就提前触发垃圾收集以及获取足够的连续的内存空间来存放GC ROOTS 访问连接Help - Eclipse Platform 中的解释是：...

原创 jvm理解+实战

两个概念写在前面： 内存泄漏 memory leak：程序申请内存后，无法释放已申请的内存空间造成了内存泄漏，一次内存泄漏可能不会影响很大，但内存泄漏堆积就会造成内存溢出，比如一个对象被创建以后，你不在使用它了，但是由于某种原因它没有被系统识别成垃圾，这块内存就不会再被分配使用。 内存溢出 out of memory：程序申请内存时，没有足够的内存空间供申请者使用，或者说...

原创 zookeeper部分简单操作示例

zookeeper 核心作用-----------------保持数据一致性import org.apache.curator.RetryPolicy;import org.apache.curator.RetrySleeper;import org.apache.curator.framework.CuratorFramework;import org.apache.curator....

原创 处理zookeeper查询状态报错

再配置zookeeper中遇到了一个问题： 使用命令 start 启动zookeeper时没有报错，使用jps查询java进程的时候，每个服务器上都能显示zookeeper的进程信息但是使用 status 命令时却报错，报：Error contacting service. It is probably not running.遇到这个问题先别直接报读这个错误，首先要做的...

原创 百度云多线程下载加速方法

有些文件在百度云盘上下载的时候会比较慢，可能只能到一个文件20kb左右的速度。但是按照下面的做法可以做到多线程加速完全参考下面的链接文章就可以做到不是会员也可以完成加速（已自测，好用）：https://github.com/syhyz1990/baiduyun/...

原创 数据库严格级别---踩过的大坑

一个项目在开发和测试环境上运行测试一直没有问题，上生产后发现部分功能报错报的错如下： ###Error querying database. cause:java.lang.RuntimeException:java.lang.reflect.InvocationTargetException### The error may exist in URL[此处是一个可...

原创 Scala的隐式参数和隐式转换

隐式（implicit）是scala中最重要的内容同时也是最难懂的概念。在scala中隐式的概念主要包括三个方面的内容： 1隐式参数 2隐式转换 3隐式调用 首先隐式implicit 是什么意思？ 在scala中implicit是在编译器需要修复类型匹配时，可以用来自动插入的定义。比如举个例子，我要把2.33赋值给一个int类型的a肯定会报错，但是通过隐式转换...

原创 Scala的高阶函数

如果从网上找到一些基础教程，有java基础肯定学的很快。但是我看了几个教程里好像都没有scala的进阶教程。下面说一下scala中的高阶函数。 几个重要的高阶函数有：值函数（作为值的函数），匿名函数，闭包，柯里化等 首先值函数和匿名函数比较好理解，值函数就是把一个函数赋值给一个变量，然后这个变量代表这个函数在程序中传递。 匿名函数就是，我们不用把函数赋值...

原创 scala学习记录

package firstscalaobject FirstWc { def main(args: Array[String]): Unit = { val list = List("hello tom hello jerry","hello kitty hello hello") //第一种计数器方式 val wc = list.flatMap(_.split...

原创 volatile 是否是线程安全的

volatile是线程不安全的首先通过一个代码来验证一下：public class TestVolatile { public static volatile int numb = 0; public static void main(String[] args) throws InterruptedException { for (int i = 0...

原创 工作流activiti 插件actiBPM

使用环境IDE        百度idea安装actiBPM会搜索到很多结果，这里对actiBPM的安装不再介绍。我的不知道什么原因导致不能在idea中搜索到actiBPM，我使用的是离线安装actiBPM。      新建一个bpmn文件，idea右侧会有如图组件：           这里的图跟我们原来看到的可能不一样，例如：原来的开始画图是空心圆 ，结束是实心圆。 ...

原创 定时任务

       今天有系统对接需要使用接口推送历史数据，因为是小程序的后台，不能写一个按钮来调用方法推送历史数据，就想通过定时任务来向其他系统推送历史数据。      目前定时任务的种类有四种：名称 特点 quartz quartz 是一个开源组织提供的功能强大的开源项目，既能按照一个指定的时间进行简单的调度作业，也能根据一个时间间隔进行循环调度作业，还能把多个作业和多个不同...

原创 MQ

目前已有的MQ大致有：      什么是MQ？    MQ就是消息总线/消息队列 （Message Queue），消息对列是一种应用程序对应用程序的通信方法、应用程序通过写和检索入队列的针对应用程序的数据来进行通信，不是通过专用链接来链接这些数据。消息传递是指程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信的。通俗的来讲就是我是一个超市卖鸡蛋的，我把鸡蛋放在一个篮子里...

原创 hadoop（八） hadoop源码导入eclipse（IDEA）

环境:eclipse,hadoop-2.6.4.tar.gz 解压包第一步  新建一个java project；第二步  把share下的hadoop做成一个lib库；  向library添加jar包添加common中jar包添加hdfs的jar包： ...