西安小伙儿

brew updatebrew install go@1.14brew link go@1.14 --force

打开nginx.conf文件，在location server 段中加入autoindex on;autoindex_exact_size off;默认为on，显示出文件的确切大小，单位是bytes。改为off后，显示出文件的大概大小，单位是kB或者MB或者GBautoindex_localtime on;默认为off，显示的文件时间为GMT时间。改为on后，显示的文件时间为文件的服务器时间配置如下 location /logs { alias.

一、spring-boot-maven-pluginpom配置引入本地jar包 <dependency> <groupId>com.xavier</groupId> <artifactId>json-lib</artifactId> <version>1.0</version> <scope>system</scope>

下载wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.4.2-linux-x86_64.tar.gz用户useradd eschown -R es:es elasticsearch-7.4.2修改配置文件/data/elasticsearch-7.4.2/config/elasticsearch.yml# ======================== Elasticsearch Confi

总核数 = 物理CPU个数 X 每颗物理CPU的核数总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数# 查看物理CPU个数cat /proc/cpuinfo | grep "physical id" | sort | uniq | wc -l# 查看每个物理CPU中core的个数(即核数)cat /proc/cpuinfo | grep "cpu cores" | uniq# 查看逻辑CPU的个数cat /proc/cpuinfo | grep..

拉取镜像docker pull consul:1.6启动容器docker run -d -p 8500:8500 --name consul 01ff071ff980

cd "$(brew --repo)"git remote set-url origin https://mirrors.ustc.edu.cn/brew.gitcd "$(brew --repo)/Library/Taps/homebrew/homebrew-core"git remote set-url origin https://mirrors.ustc.edu.cn/homebrew-core.gitbrew update

拉取镜像docker pull redis:5.0启动容器docker run -d -p 6379:6379 --name redis f60d84d4d72c --appendonly yes查看日志docker logs 67dade7133d01:C 03 Sep 2020 09:59:07.277 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo1:C 03 Sep 2020 09:59:07.277 # Red...

自动生成serialVersionUID关闭每次打开上次默认项目关闭自动更新编码显示行号maven配置自动构建（不推荐）自动引包和优化设置不检查重复代码设置不检查未使用变量设置不检查错误拼写显示内存代码自动完成忽略大小写显示悬浮提示鼠标滚轴修改字体大小显示多行Tab配置浏览器...

实体类@Getter@Setter@TableName("user")public class User { @TableId(type = IdType.ASSIGN_UUID) private String id; private String name; private Integer age; private String email; @TableField(fill = FieldFill.INSERT) private S.

idea新建一个Remote远程服务器启动命令java -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=8888 \-jar dm-admin-service.jar --spring.profiles.active=releaseListening for transport dt_socket at address: 8888本地idea启动debugConnected to t...

FastDFS安装GitHubhttps://github.com/happyfish100下载https://github.com/happyfish100/libfastcommon/archive/V1.0.42.tar.gzhttps://github.com/happyfish100/fastdfs/archive/V6.04.tar.gz安装FastDFStar -xzvf libfastcommon-1.0.42.tar.gzcd libfa..

镜像下载docker pull nacos/nacos-server:1.3.1docker run -d --name nacos --env MODE=standalone -p 8848:8848 nacos/nacos-server:1.3.1docker exec -it 83270df66a49 /bin/bashspring.datasource.platform=mysqldb.num=1db.url.0=jdbc:mysql://10.95.30.61:33.

镜像拉取docker pull elasticsearch:7.6.1配置网络docker network create somenetwork运行容器docker run -d --name elasticsearch --net somenetwork -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.6.1可视化工具安装docker pull mobz/elast...

公要加密System.out.println(RSAUtil.publicKeyEncrypt(keyConstant.PUBLIC_KEY, "12345"));私钥解密System.out.println(RSAUtil.privateKeyDecrypt(keyConstant.PRIVATE_KEY, "上一步加密后的密钥串"));

/* * Copyright 2002-2018 the original author or authors. * * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance with the License. * You may obtain a copy of the License at * * http:.

接口public interface MyService { String get();}实现一@Servicepublic class MyServiceImpl1 implements MyService { @Override public String get() { return "Impl_1"; }}实现二@Servicepublic class MyServiceImpl2 implements MyServi

启动[root@xavierzyxue /usr/local/sonar/bin/linux-x86-64]# ./sonar.sh consoleRunning SonarQube...wrapper | --> Wrapper Started as Consolewrapper | Launching a JVM...jvm 1 | Wrapper (Version 3.2.3) http://wrapper.tanukisoftware.orgjvm 1 ...

搜索Centos镜像docker search centosNAME DESCRIPTION STARS OFFICIAL AUTOMATEDcentos ...

旧仓库停服务bin/nexus stop旧仓库备份tar -czvf sonatype-work.tgz sonatype-work新仓库上传备份文件并覆盖alias cp='cp'cp -rf temp/sonatype-work .重置密码java -jar ./lib/support/nexus-orient-console.jar...

准备数据1SOH{"name":"aaa","cource":"english","score":"90"},{"name":"bbb","cource":"chinese","score":"80"},{"name":"ccc","cource":"math","score":"70"}2SOH{"name":"aaa","cource":"english","score":"90"}...

git clonegit@gitlab.xxx.com:xxx/xxx.gitgit branch -agit checkout devgit fetch origin dev

创建数据库--创建名称为“testdb”数据库，并设定编码集为utf8CREATE DATABASE IF NOT EXISTS testdb DEFAULT CHARSET utf8 COLLATE utf8_general_ci;新建用户--创建了一个名为：test 密码为：1234 的用户create user 'test'@'localhost' identifie...

安装包下载新建etc目录mkdir -p /opt/presto-server/etc新建文件：etc/node.propertiesnode.environment=productionnode.id=hadoopnode.data-dir=/opt/presto-server/data新建文件：etc/jvm.config-server-X...

配置依赖<dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-bus-amqp</artifactId></dependency>配置参数spring.rabb...

代码实现：package thread;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;import java.util.concurrent.locks.Condition;import java.util.concurrent.locks.Lock;impor...

今天发现一个怪事，第一次遇到root用户也没有删除权限，如下：[root@hadoop etc]# rm -f networkservicerm: cannot remove `networkservice': Operation not permitted再次确认权限是否正确[root@hadoop etc]# ll networkservice-rwxrwxrwx ...

go.sh脚本#!/usr/bin/env bashprojectName=group-servicetarget=$1port=$2config_uri=$3health_url="http://127.0.0.1:$port/actuator/health"echo "target = "$targetpid=`ps -ef |grep 'java' |grep ...

安装包redis-3.2.6.tar.gz解压tar -xzvf redis-3.2.6.tar.gz安装gcc和makeyum install -y gccyum install -y make编译（在根目录执行）make如下所示： CC slowlog.o CC scripting.o CC bio.o...

参考http://spark.apache.org/docs/2.3.0/sql-programming-guide.html#broadcast-hint-for-sql-queries说明广播提示引导Spark在将每个指定表与另一个表或视图连接时广播它们。当Spark决定连接方法时，广播散列连接(i.e., BHJ)优先，即使统计数据高于配置spark.sql.autoBro...

第一种：SQL风格package sqlimport org.apache.log4j.{Level, Logger}import org.apache.spark.rdd.RDDimport org.apache.spark.sql.{DataFrame, SparkSession}/** * * @ClassName: SparkSQL * @Descripti...

参考http://kylin.apache.org/blog/2019/05/23/saiku-kylin-molap/https://mondrian.pentaho.com/documentation/schema.php简介Saiku 是一个用于 OLAP 分析的套件。用户可在浏览器中通过拖拽的方式进行分析。降低了使用者的学习成本。它能够连接多种数据源，如 Micros...

本篇文章主要针对在大数据实战过程中遇到问题的总结！！！Yarn连接错误：20/01/27 15:29:53 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(...

参考http://zeppelin.apache.org/docs/0.8.2/quickstart/install.html#installhttp://zeppelin.apache.org/docs/0.8.2/interpreter/hive.htmlhttp://zeppelin.apache.org/docs/0.8.2/interpreter/jdbc.html#apac...

报错：2020-01-05 12:58:48,019 INFO [ProcedureExecutor-2] master.AssignmentManager: Unable to communicate with hadoop,16020,1578200311421 in order to assign regions,java.io.IOException: java.io.IOEx...

版本相关show variables like 'version%'version 5.7.28version_comment MySQL Community Server (GPL)version_compile_machine x86_64version_compile_os Linux密码相关show variables like ...

Hue安装关于Hue的编译和安装详见我的另一片博客：https://blog.csdn.net/DataIntel_XiAn/article/details/103543368配置Hue[hbase] hbase_clusters=(Cluster|hadoop:9090) hbase_conf_dir=/home/hadoop/hbase/conf启动测...

介绍当您需要对大数据进行随机、实时的读写访问时，请使用Apache HBase™。该项目的目标是在普通硬件集群上托管非常大的表(数十亿行X数百万列)。Apache HBase是一个开源的、分布式的、版本化的、非关系型数据库，它模仿了谷歌的Bigtable:一个用于结构化数据的分布式存储系统。正如Bigtable利用谷歌文件系统提供的分布式数据存储一样，Apache HBase在Hadoop和H...

Hue安装关于Hue的编译和安装详见我的另一片博客：https://blog.csdn.net/DataIntel_XiAn/article/details/103543368Hue配置 [[yarn_clusters]] [[[default]]] resourcemanager_host=hadoop resourcemanager_p...

Hue安装关于Hue的编译和安装详见我的另一片博客：https://blog.csdn.net/DataIntel_XiAn/article/details/103543368配置Hue [[[mysql]]] nice_name="My SQL DB" name=huemeta engine=mysql host=mysql port=3308...

Hue安装关于Hue的编译和安装详见我的另一片博客：https://blog.csdn.net/DataIntel_XiAn/article/details/103543368配置Hivehive-site.xml <!-- TCP的监听端口 --> <property> <name>hive.server2.thrift.port...

Hue安装关于Hue的编译和安装详见我的另一片博客：https://blog.csdn.net/DataIntel_XiAn/article/details/103543368配置hadoophdfs-site.xml <!-- Enable WebHDFS (REST API) in Namenodes and Datanodes. --> <prop...

介绍Hue是一个基于web的交互式查询编辑器，允许您与数据仓库进行交互参考https://gethue.com/https://github.com/cloudera/huehttps://docs.gethue.com/administrator/installation/https://docs.cloudera.com/documentation/enter...

参考https://dev.mysql.com/doc/refman/5.7/en/create-table.html#create-table-partitioning分类1.HASH哈希一个或多个列，以创建用于放置和定位行的键。expr是一个使用一个或多个表列的表达式。这可以是任何有效的MySQL表达式(包括MySQL函数)，生成一个整数值。例如，它们都是使用分区BY散列...

创建一个工具类：JDBCUtilspackage com.example.demo.Util;import lombok.extern.slf4j.Slf4j;import java.io.InputStream;import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLExcepti...

Controller/** * @ClassName: UserController * @Description: * @Author: xuezhouyi * @Version: V1.0 **/@RestController@RequestMapping("/user")public class UserController { @Autowired ...

添加依赖<dependency> <groupId>com.spring4all</groupId> <artifactId>swagger-spring-boot-starter</artifactId> <version>1.7.0.RELEASE</version></dependency...

参考https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Mergehttps://community.cloudera.com/t5/Community-Articles/Hive-ACID-Merge-by-Example/ta-p/245402说明Hiv...

Apache Curator是Apache ZooKeeper(一种分布式协调服务)的Java/JVM客户端库。它包含一个高级的API框架和实用程序，使Apache ZooKeeper的使用更加容易和可靠。它还包括常见用例和扩展(如服务发现和Java 8异步DSL)的方法。效果展示：代码如下：package ha;import org.apache.curator.fram...

前言维度表中的数据来源于操作型系统。在多维数据仓库或独立型数据集市中，数据直接来源于操作型系统。在企业信息化工厂中，来自于操作型系统的数据首先移到企业数据仓库中，然后进入多维数据集市。进入到维度表的信息，在操作型系统中仍然有可能发生改变。例如：客户的生日出现错误可能需要更新以纠正，客户的地址发生变化也需要更新等。由于下游的星型模式使用代理键作为每个维度表的主键，因此不需要像原系统那样处理信...

一、复制Hadoop配置文件（core-site.xml，hdfs-site.xml，hive-site.xml）到Spark的conf下二、复制Hive的mysql-connector-java-5.1.40-bin.jar到Spark的jars中三、启动Spark下的Thriftserver服务sbin/start-thriftserver.sh \--...

参考http://mybatis.org/generator/running/runningWithMaven.htmlhttps://github.com/GuoGuiRong/mybatis-generator-lombok-plugin配置在配置文件mybatis-generator.xml中新增一张数据库表配置（shop_map）<?xml version...

背景最近在使用redis保存对象时发现，对象是被序列化之后存入到redis中的，这样就不能直观的看到对象的属性信息，所以还是希望使用简单的json格式来保存对象到redis中。那让我们来查看一下SpringBoot中默认的RedisTemplate的实现是什么/** * Helper class that simplifies Redis data access code. * ...

语法结构：C:\Users>jps -helpusage: jps [-help] options:命令选项，用来对输出格式进行控制 jps [-q] [-mlvV] [<hostid>] hostid:指定特定主机，可以是ip地址和域名, 也可以指定具体协议，端口。Definit...

Spark优化主要分为两个方面的优化，一是代码逻辑的优化，二是资源配置的优化1.代码逻辑1.1.RDD优化RDD优化主要也有两个方面的考虑，一是RDD的复用，二是RDD的持久化。那么主要针对RDD的持久化进行说明。在Spark中多次对同一个RDD执行算子时，每次都会对这个RDD的父RDD重新计算一次，所以要避免这种重复计算的资源浪费，那么就需要对RDD进行持久化。Memory_...

package exerciseimport org.apache.spark.{SparkConf, SparkContext}/** * @ClassName: Exec03 * @Description: * @Author: xuezhouyi * @Version: V1.0 **/object Exec03 { def main(args: Array[Str...

package list.list;import java.util.ArrayList;import java.util.Arrays;import java.util.List;import java.util.Set;import java.util.stream.Collectors;/** * @ClassName: JavaListOps * @Descripti...

介绍Apache Maven是一个软件项目管理和理解工具。基于项目对象模型(POM)的概念，Maven可以从中心信息段管理项目的构建、报告和文档。下载http://maven.apache.org/download.cgi安装下载安装包解压到磁盘配置环境变量M2_HOME=C:\Program Files\apache-maven-3.3.9Path=...

参考http://kylin.apache.org/docs24/install/index.html介绍Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。安装报错Caused by:...

Flink安装包下载【flink-1.9.0-bin-scala_2.11.tgz】略启动[hadoop@hadoop flink-1.9.0]$ ./bin/start-cluster.shStarting cluster.Starting standalonesession daemon on host hadoop.Starting taskexecutor dae...

Java版本package sort;import java.util.Arrays;/** * @ClassName: Sort * @Description: * @Author: xuezhouyi * @Version: V1.0 **/public class Sort { public static void main(String[] args) { ...

什么是MongoDBMongoDB是当前最受欢迎的新一代数据库。相比于传统关系数据库，MongoDB对于大数据，高并发以及高可靠性有强大的支持。相比于其他的NoSQL数据库，MongoDB的基于文档的数据模型及其动态建模的特性使得它更加自由灵活，适用于各种应用场景如CRM，内容管理，事件纪录，商情分析，手机应用，社交等等JavaAPI的简单操作import com.alib...

背景需求中位数（Median）又称中值，统计学中的专有名词，是按顺序排列的一组数据中居于中间位置的数，代表一个样本、种群或概率分布中的一个数值，其可将数值集合划分为相等的上下两部分。对于有限的数集，可以通过把所有观察值高低排序后找出正中间的一个作为中位数。如果观察值有偶数个，通常取最中间的两个数值的平均数作为中位数。准备1～7个乱序数字奇数个数字经过排序【1，2，3，4，5，6，7...

参考http://phoenix.apache.org/Phoenix-in-15-minutes-or-less.html简介简单科普一下Phoenix其实就是SQL on HBase，也就是说我们可以使用简单的SQL来操作HBase，类比SQL on Hadoop的Hive。然后我们就快速体验一下官方的入门案例，我这里已经有了HBase的集群，所以HBase的安装略过，以下只...

源码包准备【apache-phoenix-4.10.0-HBase-1.2-src.tar.gz】我的HBase版本是1.2.6，所以这里选择的是HBase-1.2，HBase的源码编译可以参考我的另一篇博客：HBase编译：https://blog.csdn.net/DataIntel_XiAn/article/details/99874230因为之前编译过Hadoop所以整个环...

源码包准备【hbase-1.2.6-src.tar.gz】略因为之前编译过Hadoop所以整个环境基本不需要新增什么配置，关于hadoop源码编译可以参考我的另一篇博客：Centos下编译：https://blog.csdn.net/DataIntel_XiAn/article/details/98106631Windows下编译：https://blog.csdn.net/D...

需求统计一个字符串在另一个字符串中出现的次数，比如："a or b or c"中出现了多少个"or"分析Hive内置函数中并没有可以直接使用的函数，嵌套起来比较麻烦，所以需要自定义实现代码package udf;import org.apache.hadoop.hive.ql.exec.UDFArgumentException;import org.apache.had...

需求：用数组实现环形队列代码实现：/** * @ClassName: CircleQueue * @Description: * @Author: xuezhouyi * @Version: V1.0 **/public class CircleQueue { private static class Test { public static void main(...

需求：将不必要的数据进行压缩以节省空间（如下图所示）代码实现：import java.util.Arrays;/** * @ClassName: SparseArray * @Description: * @Author: xuezhouyi * @Version: V1.0 **/public class SparseArray { public static ...

参考https://cwiki.apache.org/confluence/display/Hive/Hive+on+Sparkhttps://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Startedhttps://cwiki.apache.org/confluence/display/Hive/...

什么是DockerMysql多实例安装其实是比较麻烦的，所以最近发现了一个运维神器那就是Docker，接下来让我们感受一下Docker的便捷，操作系统centos7.6，最好7以上版本，6的话还要升级内核，问题是升级了貌似还有坑，所以直接选择7版本安装Dockeryum install docker启动Dockersystemctl start dock...

参考http://tez.apache.org/install.htmlhttps://cwiki.apache.org/confluence/display/Hive/Hive+on+Tezhttps://cwiki.apache.org/confluence/display/Hive/Hive-Tez+Compatibilityhttps://github.com/apache...

什么是TezTez 是 Apache 最新的支持 DAG 作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升 DAG 作业的性能【下图摘自官网】源码包准备【apache-tez-0.9.1-src.tar.gz】略解压后找到构建说明【BUILDING.txt】，看一下基本要求都有什么* JDK 1.7+Maven 3.1 or lat...

安装前清理检查rpm -qa | grep -i mysql | xargs rpm -e --nodepsrpm -qa | grep -i mariadb | xargs rpm -e --nodeps创建mysql用户useradd mysql安装包准备【mysql-5.7.17-linux-glibc2.5-x86_64.tar.gz】解压重命名并修改目录权限给m...

源码包准备【apache-hive-2.3.2-src.tar.gz】略因为之前编译过Hadoop所以整个环境基本不需要新增什么配置，关于hadoop源码编译可以参考我的另一篇博客：Centos下编译：https://blog.csdn.net/DataIntel_XiAn/article/details/98106631Windows下编译：https://blog.csdn...

数据：班级|姓名|学科|成绩（存在重复）ClassA|Jack|Math|95ClassA|Jack|Math|95ClassA|Jack|English|95ClassA|Jack|English|95ClassA|Tom|Math|85ClassA|Tom|Math|85ClassA|Tom|English|85ClassA|Tom|English|85ClassA|...

源码包准备【hadoop-2.7.7-src.tar.gz】略解压后找到构建说明【BUILDING.txt】，看一下基本要求都有什么* Windows SystemWindows7* JDK 1.7+* Maven 3.0 or later* Findbugs 1.3.9 (if running findbugs)findbugs -version...

需求：求出所有具有爷孙关系的人数据来源：儿子 父亲Tom LucyTom JackJone LucyJone JackLucy MaryLucy BenJack AliceJack JesseTerry AliceTerry JessePhilip TerryPhilip AlmaMark TerryMark Almareduce-join 处理...

自定义类中重写write和readFields方法@Overridepublic void write(DataOutput out) throws IOException { out.writeUTF(this.name); out.writeUTF(this.course);}@Overridepublic void readFields(DataInput i...

源码包准备【hadoop-2.7.7-src.tar.gz】略解压后找到构建说明【BUILDING.txt】，看一下基本要求都有什么安装以下软件【以防万一】没有列全：yum install -y gccyum install -y gcc-c++yum install -y make* Unix SystemCentos6.10* JDK 1.7+略...

打开mysql.server你就会发现conf=/etc/my.cnf居然是写死的！！！# Get arguments from the my.cnf file,# the only group, which is read from now on is [mysqld]if test -x ./bin/my_print_defaultsthen print_defaults="....

package reflect;import java.lang.reflect.Field;/** * @ClassName: TestReflect * @Description: * @Author: xuezhouyi * @Version: V1.0 **/public class TestReflect { public static void main...

package reflect;import java.lang.reflect.Field;/** * @ClassName: TestReflect * @Description: * @Author: xuezhouyi * @Version: V1.0 **/public class TestReflect { public static void main...