- 博客(196)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 hadoop hdfs dfs基本操作
hadoop hdfs dfs基本操作本文主要参考：http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/FileSystemShell.html根据上面官方文档的提示我们能够知道可以通过shell的方式访问hdfs中的数据，对数据进行操作。那么首先让我们看一下hdfs的版本，使用命令hdfs ve...
2018-08-06 17:39:28
1820
原创 mysql查询表死锁和结束死锁的方法
1、查询是否锁表show open tables where in_use>0; 2、查询进程show processlist查询到相对应的进程，然后 kill id 3、查看正在锁的事务select * from information_schema.innodb_locks; 4、查看等待锁的事务select * from information_schema....
2018-08-06 14:15:06
2080
原创 maven打包排除指定文件（jar包）
在使用maven打包时，有些时候需要排除某些文件或者排除某些jar，不把这个文件和jar打入到war包里面一、在项目的pom.xml文件里面添加如下配置：<!-- war包 --><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-war...
2018-08-05 18:37:51
2978
转载 Neo4j
1.下载地址 https://neo4j.com/download/other-releases/#releases 社区版、 企业版 版本对比 https://neo4j.com/subscriptions/#editions节点数量、 性能、集群支持上有差异 2.解压3.修改配置文件4.打开注释5.启动服务6.w...
2018-07-27 09:58:31
1732
转载 @SelectProvider，@Select和xml用法的一点理解
1.@Select同@select功能类似的还有@insert,@delete,@update，对应于数据库语句的CRUD。使用@select很方便，不用写配置文件，一般是写在mapper的interface类中，用法如下：public interface AdmainMapper{@Select("SELECT * FROM userinfo WHERE username = #{...
2018-07-25 14:16:58
5112
转载 Mybatis事务下解决多次select语句查询结果一致的问题+案列（获取全局序列ID）
这个问题困扰我有一段时间了，问题应用的场景是：数据库有三张表，两两之间是互相关联的，关联的ID就是各个Table中的主键ID；涉及多表的关系插入，显然在创建表的时候，表的主键ID不能设置成自增（MySql下，auto_increament）键，而且自增主键在并发的场景下，同一时刻如果产生了两个一样的主键ID，是不是insert的时候服务就要崩掉了，就算在事物控制下也会造成用户数据的丢失，非常不友好...
2018-07-25 11:43:38
2234
转载 java8 对象转map时重复key Duplicate key xxxx
我们在利用java8 Lambda 表达式将集合中对象的属性转成Map时就会出现 Duplicate key xxxx , 说白了也就是key 重复了！案例如下： @Getter @Setter @AllArgsConstructor public class Student{ private String className;...
2018-07-24 18:23:48
2578
转载 一步步分析SpringMVC源码
一、处理过程分析 1、首先，Tomcat每次启动时都会加载并解析/WEB-INF/web.xml文件，所以可以先从web.xml找突破口，主要代码如下：<servlet > <servlet-name >spring-mvc</servlet-name> <!-- servlet类 --> <serv...
2018-07-17 15:41:31
174
原创 如何快速的解决Maven依赖冲突
首先要说明Maven的依赖管理，具体的可以参考这边 Maven学习——依赖管理 这篇文章，maven在依赖冲管理中有一下几个原则。依赖是使用Maven坐标来定位的，而Maven坐标主要由GAV（groupId, artifactId, version）构成。如果两个相同的依赖包，如果groupId, artifactId, version不同，那么maven也认为这两个是不同的。 依赖会传递...
2018-07-16 22:10:47
179
转载 redis跳跃表
一：基本概念 跳跃表是一种随机化的数据结构，在查找、插入和删除这些字典操作上，其效率可比拟于平衡二叉树（如红黑树），大多数操作只需要O(log n)平均时间，但它的代码以及原理更简单。跳跃表的定义如下： “Skip lists are data structures that use probabilistic balancing rather than ...
2018-07-16 21:40:16
164
转载 Netty入门教程3——Decoder和Encoder
Netty强大的地方，是他能方便的实现自定义协议的网络传输。在上一篇文章中，通过使用Netty封装好的工具类，实现了简单的http服务器。在接下来的文章中，我们看看怎么使用他来搭建自定义协议的服务器。要做到这点，第一步要做的，就是要自定义编码器和解码器。什么是Decoder和Encoder 在学习Decoder和Encoder之前，首先要了解他们在具体是个什么东西。在Netty里面，有...
2018-07-14 12:46:42
249
1
转载 BeanPostProcessor（后处理器）的简单使用
Spring创建bean是根据配置来的，你可以通过xml文件配置，也可以通过java 的方式来配置，Spring在IOC容器完成bean的实例化、配置和初始化后可以通过BeanPostProcessor（后处理器）对创建的bean进行各种处理。你可以在这里修改bean的属性或者增强bean,spring AOP创建jdk代理或者cglib代理的过程就是在BeanPostProcessor（后处理器...
2018-07-14 12:12:10
990
转载 【RabbitMQ】三种类型交换器 Fanout,Direct,Topic
RabbitMQ服务器会根据路由键将消息从交换器路由到队列中，如何处理投递到多个队列的情况？这里不同类型的交换器起到了重要的作用。分别是fanout,direct，topic，每一种类型实现了不同的路由算法。 Fanout Exchange 不处理路由键。你只需要简单的将队列绑定到交换机上。一个发送到交换机的消息都会被转发到与该交换机绑定的所有队列上。很像子网广播，每台子网内的主机都获得了一份...
2018-07-01 17:15:57
426
转载 Neo4j介绍与使用
Neo4j简介Neo4j是一个高性能的,NOSQL图形数据库，它将结构化数据存储在网络上而不是表中。Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享受到具备完全的事务特性、企业级的数据库的所有好处。Neo4j因其嵌入式、高性能、轻量级等优势，越来越受到关注。图形数据结构在一个图中包含两种...
2018-06-27 18:33:42
462
转载 MySQL索引原理
B-Tree是为磁盘等外存储设备设计的一种平衡查找树。因此在讲B-Tree之前先了解下磁盘的相关知识。系统从磁盘读取数据到内存时是以磁盘块（block）为基本单位的，位于同一个磁盘块中的数据会被一次性读取出来，而不是需要什么取什么。InnoDB存储引擎中有页（Page）的概念，页是其磁盘管理的最小单位。InnoDB存储引擎中默认每个页的大小为16KB，可通过参数innodb_page_size将页...
2018-06-23 20:36:18
153
转载 浅谈服务治理与微服务
本篇文章先简单介绍了互联网架构的演变，进而介绍了服务化，最后再介绍微服务，微服务是服务治理的升级也是互联网架构的进一步延伸。互联网架构演变一体架构在计算机软件发展早期，一般桌面软件都是采用这种架构，不管是界面还是业务处理还是数据处理都放到一个包中。这种其实谈不上架构，但也可以说是很好的架构，因为它足够简单。mvc架构但随着浏览器的出现便产生了web应用，web应用的特点是界面部分是显示在浏览器中，...
2018-06-23 09:26:10
367
原创 dubbo中的group与version
group：当一个接口有多种实现时，可以用group区分； 1 <!-- start--服务提供者 --> 2 <!-- dubbo中当一个接口有多个实现类时，需要添加group来区分 --> 3 <!-- 机器A：服务提供者 --> 4 <bean id="zhenliangsongA" class="com.x...
2018-06-14 21:03:47
2066
原创 Intellij IDEA基于Springboot的远程调试
简介本篇博客介绍一下在Intellij IDEA下对Springboot类型的项目的远程调试功能。所谓的远程调试就是服务端程序运行在一台远程服务器上，我们可以在本地服务端的代码（前提是本地的代码必须和远程服务器运行的代码一致）中设置断点，每当有请求到远程服务器时时能够在本地知道远程服务端的此时的内部状态。方法首先，打开Edit configurations，点击+号，创建一个Remote应用。 填...
2018-06-12 14:43:03
320
转载 大众点评开源分布式监控平台 CAT 深度剖析
一、CAT介绍CAT系统原型和理念来源于eBay的CAL的系统，CAT系统第一代设计者吴其敏在eBay工作长达十几年，对CAL系统有深刻的理解。CAT不仅增强了CAL系统核心模型，还添加了更丰富的报表。自2014年开源以来，CAT在携程、陆金所、猎聘网、找钢网等多家互联网公司生产环境应用。CAT是一个实时和接近全量的监控系统，它侧重于对Java应用的监控，基本接入了美团点评上海侧所有核心应用。目前...
2018-06-11 21:04:25
866
转载 Django 命令行工具django-admin.py与manage.py
django-admin.py是Django的一个用于管理任务的命令行工具，manage.py是对django-admin.py的简单包装，每个Django Project里面都会包含一个manage.py语法：1django-admin.py <subcommand> [options] 1manage.py <subcommand> [options]subcomm...
2018-06-05 22:04:24
552
转载 Hadoop之HDFS文件读写过程
一、HDFS读过程 1.1 HDFS API 读文件 [java] view plain copyConfiguration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path file = new Path("demo.txt"); FSDataInputStream inStream = ...
2018-06-04 21:19:48
392
转载 hive本地模式 schematool无法初始化mysql数据库
异常信息：[root@kdg01 bin]# schematool -initSchema -dbType mysqlwhich: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/tmp/myshell:/root/myshell:/usr/mysoft/jdk1.8.0_111/bin:/usr/mysoft/jd...
2018-05-14 14:26:51
20280
6
转载 hive环境部署
$ tar -zxvf apache-hive-2.1.1-bin.tar.gz $ mv apache-hive-2.1.1-bin.tar.gz hive-2.1.1 配置环境变量(同上)export HIVE_HOME=/home/ranrl/opt/hive-2.1.1 export HIVE_CONF_DIR=$HIVE_HOME/conf export PATH=\$P...
2018-05-14 14:25:57
224
转载 mysql5.7密码过期ERROR 1862 (HY000): Your password has expired. To log in you must change
环境：ubuntu14.04 mysql5.7一、mysql5.7 密码过期问题报错：ERROR 1862 (HY000): Your password has expired. To log in you must change it using a client that supports expired passwords.翻译：错误1862(HY000):你的密码已经过期。登录必须改变它...
2018-05-12 22:56:42
2482
转载 开启MySQL远程访问权限 允许远程连接
1、登陆mysql数据库 mysql -u root -p 查看user表mysql> use mysql;Database changedmysql> select host,user,password from user;+--------------+------+-------------------------------------------+| host...
2018-05-12 22:18:42
357
转载 修改MySQL 5.7.9 新版本的root密码方法
MySQL 5.7版本开始，增强密码验证机制，网上说安装的时候会在/root/.mysql_secret 文件中生成默认密码，这一点自 5.7.6版本以后也去掉了。 针对如果生成默认密码，网上有一个版本，内容如下：1、修改配置文件，一般在 /etc/my.cnf， 在[mysqld]字段下增加skip-grant-tables 字段，用以忽略权限验证；2、重启MySQL服务器，CentOS 7....
2018-05-12 22:14:03
360
原创 MySQL5.7安装与配置（YUM）
安装环境：CentOS7 64位，MySQL5.71、配置YUM源在MySQL官网中下载YUM源rpm安装包：http://dev.mysql.com/downloads/repo/yum/ # 下载mysql源安装包shell> wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm#...
2018-05-12 21:59:12
523
转载 Storm最基本的例子
1. 建立Maven项目我们用Maven来管理项目，方便lib依赖的引用和版本控制。建立最基本的pom.xml如下：[html] view plain copy<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaL...
2018-05-08 21:13:04
809
转载 Netty入门教程2——动手搭建HttpServer
认识Http请求在动手写Netty框架之前，我们先要了解http请求的组成，如下图：HTTP request component partsHTTP Request 第一部分是包含的头信息HttpContent 里面包含的是数据，可以后续有多个 HttpContent 部分LastHttpContent 标记是 HTTP request 的结束，同时可能包含头的尾部信息完整的 HTTP reque...
2018-05-08 21:05:25
99
转载 Netty入门教程——认识Netty
什么是Netty？Netty 是一个利用 Java 的高级网络的能力，隐藏其背后的复杂性而提供一个易于使用的 API 的客户端/服务器框架。Netty 是一个广泛使用的 Java 网络编程框架（Netty 在 2011 年获得了Duke's Choice Award，见https://www.java.net/dukeschoice/2011）。它活跃和成长于用户社区，像大型公司 Facebook...
2018-05-08 21:00:02
151
转载 HBase简介
一、 简介history started by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop become Apache top-level...
2018-05-08 20:45:41
143
转载 什么是高可用
一、什么是高可用高可用HA（High Availability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。假设系统一直能够提供服务，我们说系统的可用性是100%。如果系统每运行100个时间单位，会有1个时间单位无法提供服务，我们说系统的可用性是99%。很多公司的高可用目标是4个9，也就是99.99%，这就意味着，系统的年停机时间为8.76个小时。百度...
2018-05-07 21:32:44
1093
1
转载 运行Hadoop自带的wordcount单词统计程序
1.使用示例程序实现单词统计（1）wordcount程序wordcount程序在hadoop的share目录下，如下：[root@linuxidc mapreduce]# pwd /usr/local/hadoop/share/hadoop/mapreduce[root@linuxidc mapreduce]# ls hadoop-mapreduce-client-app-2.6.5.jar ...
2018-04-27 20:19:24
2665
转载 CentOS 7.0系统安装配置图解教程
注：virtualBox虚拟机没有64位选项问题解决： 首先：你要确认你的CPU是64位的，如果是那么继续查看 然后：进入BIOS将 intel virtual technology 设置为 enable 如何进入BIOS，自行百度，根据自己电脑型号搜索一般是开机按F2（联想z470）或者F12一、安装CentOS 7.0成功引导系统后，会出现下面的界面界面说明：Install CentOS 7 ...
2018-04-27 13:49:28
435
转载 SynchronousQueue
前言SynchronousQueue是一个比较特别的队列，由于在线程池方面有所应用，为了更好的理解线程池的实现原理，笔者花了些时间学习了一下该队列源码(JDK1.8)，此队列源码中充斥着大量的CAS语句，理解起来是有些难度的，为了方便日后回顾，本篇文章会以简洁的图形化方式展示该队列底层的实现原理。SynchronousQueue简单使用经典的生产者-消费者模式，操作流程是这样的：有多个生产者，可以...
2018-04-26 22:09:24
324
1
转载 Disconf实践指南：使用篇
在上一篇文章Disconf实践指南：安装篇介绍了如何在本地搭建Disconf环境，下面我们介绍如何在项目中使用Disconf。由于某些功能特性对源码做了修改，所以在官方文档并没有提及。环境基于macOS Sirerra。Windows建议安装Linux虚拟机首先打开disconf控制台：http://localhost:8091，第一步：创建应用，awesome-project（自定）；第二步：创...
2018-04-26 21:38:21
633
转载 Disconf实践指南：安装篇
Disconf是百度开源出来的一款基于Zookeeper的分布式配置管理软件。目前很多公司都在使用，包括滴滴、百度、网易、顺丰等公司。通过简单的界面操作就可以动态修改配置属性，还是很方便的。使用Disconf后发现的一大好处是省却应用很多配置，而且配置可以自动load，实时生效。Disconf优点总结如下：部署简单：同一个上线包，无须改动配置，即可在多个环境中上线 部署动态化：更改配置，无需重新打...
2018-04-26 21:37:16
213
转载 Java8新特性——StreamAPI
1. 收集器简介收集器用来将经过筛选、映射的流进行最后的整理，可以使得最后的结果以不同的形式展现。collect方法即为收集器，它接收Collector接口的实现作为具体收集器的收集方法。Collector接口提供了很多默认实现的方法，我们可以直接使用它们格式化流的结果；也可以自定义Collector接口的实现，从而定制自己的收集器。这里先介绍Collector常用默认静态方法的使用，自定义收集器...
2018-04-16 19:47:05
376
转载 设计模式系列—适配器模式和外观模式
适配器模式和外观者模式一，写在最前面1，为什么要将这两个设计模式写在一起？不仅这两个设计模式都比较简单，而且我们可以通过这两个设计模式更好的理解OO思想。2，在本章节的最后会引入了最少知识设计原则。二，适配器模式1，生活中的适配器如果你自己接过水管或者自己接过洗衣机的水管头，你肯定有过类似的体验，无论你怎么接，它都会漏水，然后去店里一问，就知道有水管转换接头这么个东西。他可以让两个粗细不同对接不上...
2018-04-15 20:49:19
226
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人