- 博客(25)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 九、SpringBoot整合中遇到的问题
一、ERR This instance has cluster support disabled这个Error是redisServer没有开启集群模式导致的，修改redis.conf文件，添加cluster-enabled yes
2018-08-28 17:19:06
286
原创 三、Idea不能自动导入java.util.Date
可以在Settings -> Editor -> General -> Auto Import，将Exclude中的java.util.Date删除。
2018-08-28 14:41:29
2663
原创 二、Idea自动生成serialVersionUID
当我们用 IntelliJ IDEA 编写类并实现 Serializable（序列化）接口的时候，可能会遇到这样一个问题，那就是：无法自动生成serialVersionUID.而serialVersionUID又是一个非常重要的字段，因为 Java 的序列化机制是通过在运行时判断类的serialVersionUID来验证版本一致性的。在进行反序列化时，JVM 会把传来的字节流中的serial...
2018-08-28 14:33:13
526
原创 七、MongoTemplate使用介绍
一、mongo实体类的映射实体类/* *功能：用户 *@author:victor.z *@date:2018/8/17 下午5:37 *@version:1.0 */@Document(collection="user")public class User implements Serializable { @Id private String id; ...
2018-08-27 17:07:50
9360
原创 三十一、SpringBoot整合redis
前言在本篇文章中将SpringBoot整合Redis，使用的是RedisTemplate，分别实现了SpringBoot与redis的单机版、集群版、哨兵模式的整合。Maven依赖<!-- 整合redis --> <dependency> <groupId>org.springframework.boot&l...
2018-08-24 17:17:18
1445
原创 六、Mongo数据库操作命令
一、数据库常用命令二、Collection聚集集合三、用户相关 四、聚集集合查询 五、索引六、修改、添加、删除集合数据七、语句块操作 八、其他 MongoDB文档常用操作一、增删改查二、索引：三、固定集合(capped collection)四、备份(mongodump)和恢复(mongorestore)五、导入(mongoimpor...
2018-08-24 11:25:20
840
原创 五、Mongo常用命令
1：启动和停止Mongodb 1）从命令行启动 执行mongod，启动MongoDB服务器，mongod有很多可配置的启动选项，可以使用mongod --help查看所有选项 --dbpath：指定数据目录，默认是/data/db下，每个mongod进程都需要独立的数据目录，加入有3个mongod实例，就必须要有3个独立的数据目录。当mongod启动时，会在数据目...
2018-08-24 11:23:41
1062
原创 二十九、shiro框架(下)
以下都是综合之前的人加上自己的一些小总结 Apache Shiro是一个强大且易用的Java安全框架,执行身份验证、授权、密码学和会话管理。使用Shiro的易于理解的API,您可以快速、轻松地获得任何应用程序,从最小的移动应用程序到最大的网络和企业应用程序。Shiro 主要分为来个部分就是认证和授权，在个人感觉来看就是查询数据库做相应的判断而已，Shiro只是一个框架而已，其中的内容...
2018-08-23 17:21:22
114
原创 一、大数据学习路线
大数据学习路线java(Java se,javaweb)Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume)机器学习(R,mahout)Storm(Storm,kafka,redis)Spark(scala,spark,spark core,sp...
2018-08-23 13:41:50
444
原创 八、Hbase搭建安装
HBase介绍、搭建、环境、安装部署hadoop培训课程：HBase介绍、搭建、环境、安装部署1、搭建环境部署节点操作系统为CentOS，防火墙和SElinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建...
2018-08-22 10:38:15
133
原创 七、Hive搭建安装
本文介绍在Mac上搭建Hive环境。建议首先配置好Hadoop，搭建与配置可以参考我之前的博文Mac Hadoop的安装与配置。当然你也可以选择使用Docker搭建环境，本文不作介绍。安装（如果是Linux请看Linux下安装Hive）对于MacOs，推荐使用HomeBrew安装hive，一步到位。$ brew install hive创建元数据库Hive默认用derby...
2018-08-19 18:48:00
439
原创 六、Spark-shell执行计算
本章节通过spark-shell进入我们的单机spark的终端进行一些简单的运算。 本节内容如下新建RDD 进行乘法操作 新建RDD 进行过滤操作 编写wordCount小例子 union的使用 groupByKey join reduce lookup首先安装和启动spark，此部分请参照mac 单机版 spark 安装启动后进入spark 的bin 目录运行spa...
2018-08-19 18:45:31
1825
原创 四、Spark安装与搭建
本文介绍安装mac单机版的spark，和spark 集群安装 分以下步骤安装scala 下载spark 压缩包并解压 修改spark的配置文件 配置环境变量 验证安装情况 安装Scalahttps://blog.csdn.net/u010285974/article/details/86253627下载spark压缩包并解压到官网下载spark的安装包（我用的是sp...
2018-08-19 18:39:06
568
原创 五、Spark上运行Scala版本helloworld
摘要：Spark作为新一代大数据计算引擎，因为内存计算的特性，具有比hadoop更快的计算速度。这里总结下对Spark的认识、虚拟机Spark安装、Spark开发环境搭建及编写第一个scala程序、运行第一个Spark程序。1.Spark是什么Spark是一个快速且通用的集群计算平台2.Spark的特点1）Spark是快速的 Spark扩充了流行的Mapreduce计算模型...
2018-08-19 18:31:37
4209
原创 一、在Idea下开发Scala
一. IntelliJ IDEA安装及配置1.1 IntelliJ IDEA下载及安装 首先在CHOOSE YOUR EDITION这里选择Community版本，这个版本是免费提供的，对我们的Spark使用来说，用这个版本已经足够了。如下图所示： 直接点击黑色的DOWNLOAD按钮会默认开始下载Windows版本的IntelliJ IDEA，如果需要其他平台的版本，可...
2018-08-19 16:22:27
1486
原创 九、mysql锁
如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来说，锁对数据库而言显得尤其重要，也更加复杂。本章我们着重讨论MySQL锁机制的特点，常见的锁问题，以及解决MySQL锁问题的一些方法或建议。 第一章 MySQL锁概述 相对其他数据库而言，MySQL的锁机制比较简单，其最显著的特点是不同的存储引...
2018-08-15 23:30:41
122
原创 三十、JAVA中的Optional
我们知道 Java 8 增加了一些很有用的 API, 其中一个就是 Optional. 如果对它不稍假探索, 只是轻描淡写的认为它可以优雅的解决 NullPointException 的问题, 于是代码就开始这么写了Optional<User> user = ...... if (user.isPresent()) { return user.getOrders();...
2018-08-15 09:57:32
296
原创 八、mysql死锁问题分析
线上某服务时不时报出如下异常（大约一天二十多次）：“Deadlock found when trying to get lock;”。 Oh, My God! 是死锁问题。尽管报错不多，对性能目前看来也无太大影响，但还是需要解决，保不齐哪天成为性能瓶颈。 为了更系统的分析问题，本文将从死锁检测、索引隔离级别与锁的关系、死锁成因、问题定位这五个方面来展开讨论。 图1 ...
2018-08-14 11:13:23
246
原创 七、MySQL 死锁检查处理
正常情况下，死锁发生时，权重最小的连接将被kill并回滚。但是为了找出语句来优化，启用可启用死锁将死锁信息记录下来。 #step 1：窗口一 mysql> start transaction; mysql> update aa set name='aaa' where id = 1; #step 2：窗口二 mysql>...
2018-08-14 11:00:54
417
原创 二、手写WordCount
一：问题介绍统计每一个单词在整个数据集中出现的总次数。 数据流程： 二：需要的jar包Hadoop-2.4.1\share\hadoop\hdfs\hadoop-hdfs-2.4.1.jarhadoop-2.4.1\share\hadoop\hdfs\lib\所有jar包hadoop-2.4.1\share\hadoop\common\hadoop-commo...
2018-08-13 20:50:23
526
1
原创 三、Hadoop运行自带wordcount
1.首先确认你的hadoop启动了。master与slave启动方式相同，进入hadoop目录下的sbin目录，命令:$cd /home/hadoop/hadoop/sbin (根据个人安装的hadoop目录调整)启动hadoop：(1)$./start-dfs.sh (2)$./start-yarn.sh启动后的效果如图：master如图1，slave如图2图1 ...
2018-08-13 20:44:29
21137
3
原创 一、Hadoop搭建
一、环境选择1，服务器选择阿里云服务器:入门型(按量付费)操作系统:linux CentOS 6.8Cpu：1核内存：1G硬盘:40Gip:39.108.77.2502，配置选择JDK:1.8 （jdk-8u144-linux-x64.tar.gz）Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)3，下载地址官网地址:JDK：http://...
2018-08-13 17:11:26
270
原创 二十八、Shiro框架(上)
本篇内容大多总结自张开涛的《跟我学Shiro》原文地址：http://jinnianshilongnian.iteye.com/blog/2018936我并没有全部看完，只是选择了一部分对我来说急需在项目中使用的知识加以学习。并且对于大多数第一次接触Shiro的同学来说，掌握这些也应该足够了。一、架构要学习如何使用Shiro必须先从它的架构谈起，作为一款安全框架Shiro的设计相当精妙...
2018-08-13 14:10:51
120
原创 三、ZK事件类型
ZooKeeper的Watch事件类型session eventsWatcher.Event.EventType.NoneTrigger Event Type AUTH_FAILED event Watcher.Event.KeeperState.AuthFailed CONNECTED event Watcher.Event.KeeperState.Conn...
2018-08-08 18:41:55
320
原创 一、ZK单机多实例+分布式配置
介绍zookeeper单机多实例部署（实验性质）以及生产环境的分布式部署1. 准备工作： 1）需要linux环境，推荐用ubuntu的系统。学习的话使用oracle的virtual box安装虚拟机，网上找下安装文档就可以装好了，而生产环境一般都会装好的。ubuntu下载链接： 32位：http://mirrors.zju.edu.cn/ubuntu-releases/...
2018-08-08 17:57:22
828
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人