Royi的博客

Java build errors and warnings limit

SpringBatch两种实现方式：Tasklet和Chunk

【代码】给Linux上部署的Springboot项目创建启动/关闭sh脚本。

RSA免密码登录Linux

=SUBSTITUTE(ADDRESS(1,COLUMN(),4),"1","")如：第一列返回“A"，第27列返回“AA”

最近遇到一个系统需要进行ID采番。但是既存的系统中，既没有用UUID，也没有通过自增长进行ID获取，而是在某个OID管理表中，记录最大Number，并在下次获取的时候+1并更新最大值的方式进行管理。这种做法虽然能比较自由的插入ID，但是在多线程同时采番的时候，可能会获取到相同的ID，这就导致在Insert表的时候，由于ID插入了相同的值，发生主键冲突，有的数据无法插入DB。如果...

听说最近大家都不用虚拟机，开始用Docker进行微服务部署了，所以稍微学习了一下，下面是使用Docker进行微服务部署的一个简单的例子。一.环境准备1.centOS7安装如果是windows下需要用VMWare搭建centOS7的环境。过程略2.jdk安装我下载的是jdk1.8.0_172，放在 /usr/lib/java/jdk1.8.0_172目录下。过程略...

前一阵子一直在忙着做项目，最近有空，把项目中用到的SpringBoot微服务相关架构再梳理一遍。项目资源：https://github.com/sunroyi/SpringCloud主要分为以下几步：（1）搭建SpringBootService，这里是各个微服务的业务逻辑。（这里搭建了2个Service，用来测试熔断）（2）搭建SpringBootEureka，用来发现服务。（...

一. 思路最近想要自己做个爬取股票信息然后分析的工具。主要思路是，通过调用东方财富网的接口，获取所有股票的代码列表。然后通过网易财经的股票信息的下载接口获取股票信息。数据分析以后再说。二. 代码实现1. 代码结构如下：2. clsDir.py（创建目录）def mkdir(path): # 引入模块 import os # 去除首位空...

前一阵子突然对网络安全和数据传输这方面有了点兴趣，加上朋友介绍了新的CrossWall的工具，便也想自己做个小工具试试看。因为我觉得如果只是简单的使用工具，而不去深入理解原理，作为一个程序员就不会有进步。这里只是分享一下我的思路和简单的例子，并没有使用复杂的数据加密和协议（像SSR）。但仍然需要购买海外服务器，具体哪个我就不介绍了，只要海外的都行。一. 思路：原理其实...

一. 背景及需要实现的功能：1. 按照固定格式采集日志【Hadoop+Flume+log4j进行数据采集】2. 日志数据清洗【定时器+MapReduce+Java/Spark+Scala，从Hadoop读取数据并处理后，存储到Hbase】3. 数据查询接口【以服务的方式提供数据查询接口】4. 日志服务部署【需要部署到linux上】 二. 架构： 三. hadoop和...

一. 简介MapReduce是一个高性能的批处理分布式计算框架，用于对海量数据进行并行分析和处理。与传统方法相比较，MapReduce更倾向于蛮力去解决问题，通过简单、粗暴、有效的方式去处理海量的数据。通过对数据的输入、拆分与组合（核心），将任务分配到多个节点服务器上，进行分布式计算，这样可以有效地提高数据管理的安全性，同时也能够很好地范围被管理的数据。mapreduce核心就是map+sh...

一. 简介Apache Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。可以让用户在不了解分布式底层细节的情况下，开发出可靠、可扩展的分布式计算应用。Apache Hadoop 框架，允许用户使用简单的编程模型来实现计算机集群的大型数据集的分布式处理。它的目的是支持从单一服务器到上千台机器的扩展，充分利用了每台机器所提供本地计算和存储，而不是依靠硬件来提供高可用性。...

1. Hadoop主要目录：各组件配置文件路径：/usr/local/hadoop-3.0.3/etc/hadoop各组件启动/关闭目录：/usr/local/hadoop-3.0.3/sbin  2. Hadoop3的集群配置文件从slaves变成workers了，被坑了好久啊ToT 3. 能打开8088端口，但是打不开50070等（1）看下端口是否已占用：net...

1. 命令行界面和图形界面切换：在图形界面使用 ctrl+alt+F2切换到dos界面  dos界面 ctrl+alt+F2切换回图形界面在命令上 输入 init 3 命令 切换到dos界面 输入 init 5命令 切换到图形界面2. 安装图形界面：1.在命令行下输入下面的命令来安装 Gnome 包 $sudo yum groupinstall "GNOME Desktop" ...

一. 安装Apache从http://www.apachelounge.com/download/  下载最近版本的Apache解压到D盘下，我的80端口已经被占用了，所以需要修改配置文件：D:/Apache24/conf/httpd.conf找到Define SRVROOT，改为：Define SRVROOT "d:/Apache24"找到Listen，改为：Lis...

一. Neo4j简介：Neo4j是一个高性能的,NoSQL图形数据库，它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享...

最近在弄Maven项目的时候发觉项目一直报错，而且以前见过的Maven Dependencies找不到了，随后在pom.xml中加入的dependencies都无法自动加载到项目中了。跟同事的项目一比较，发觉是项目的.classpath中缺少一些东西，加上以后就好了：