自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Fate is about choice

经不住似水流年,逃不过此间少年。

  • 博客(47)
  • 资源 (2)
  • 收藏
  • 关注

原创 博客迁移至博客园

后续使用使用博客园,有兴趣的同学可以继续关注我。https://www.cnblogs.com/wanchen-chen/

2020-05-21 23:14:32 52

原创 Kubeedge-mapper 实现

应用场景:利用GitHub上的温度传感器的例子作为讲解,实现从云端获取设备终端状态及使用Java模拟设备数据。需要使用的文件及技术1.Kubeedge:device.yaml //案例中的设备配置devicemodel.yaml ...

2020-05-09 14:43:27 289

原创 Solr-常见问题汇总(持续更新)

本文主要记录solr使用中遇到的一些常见问题及命令关于solrConfig.xml的配置博客:https://blog.csdn.net/yuh_LLllccy/article/details/88552673solr查询报错:问题1:solr查询三万条以上的数据时报错"error": { "msg": "Expected mime type application/o...

2020-04-20 15:56:27 140

原创 hadoop(hbase)副本数修改

一、需求场景随着业务数据的快速增长,物理磁盘剩余空间告警,需要将数据备份从3份修改为1份,从而快速腾出可用磁盘容量。二、解决方案1. 修改hdfs的副本数Hbase 的数据是存储在 hdfs 上的,Hbase的副本数是默认读取hdfs的配置进行副本备份的,所以需要修改hdfs上的副本数据。2.删除重复数据修改hdfs-site.xml的副本数,只能对以后的数据有效,不能修改...

2020-04-13 18:22:26 380

原创 Hive-拉链表

一、问答介绍1.什么是拉链表? 维护历史状态,以及最新状态数据的一种表,拉链表根据拉链粒度的不同,实际上相当于快照,只不过做了优化,去除了一部分不变的记录,通过拉链表可以很方便的还原出拉链时点的客户记录。记录一个事物从开始,一直到当前状态的所有变化的信息(生命周期)。核心字段为生效开始日期与生效结束日期(粒度)。2.为什么用拉链表(应用场景决定)?1)原数据量很大(查询费劲...

2020-01-14 09:36:30 112

原创 JAVA-POI

import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.util.HashMap;import java.util.List;import java.util.Map;import org.apache.poi.hssf.u...

2020-01-08 18:10:40 46

原创 GreenPlum-数据存储目录迁移及常用操作

一、环境介绍Greenplum5 3节点集群,Centos7.2虚拟机,二、需求因为/home目录磁盘空间已满,需要将Greenplum的数据存储目录转移到新的分区/opt目录下,虚拟机磁盘管理没有用LVM逻辑卷管理,无法动态扩容/home。动态扩容分区博客教程:https://blog.csdn.net/qq_40570699/article/details/8897533...

2020-01-08 18:05:45 340

原创 CDH6 高版本hbase+solr实现二级索引

之前的环境是单独下载的CDH组件包搭建的集群,但是因为hadoop版本过低导致漏洞无法修复,重新搭建高版本集群环境。新集群环境:主要组件:hadoop,hbase,zookeeper,Key-Value Store Indexer1.创建hbase表:hbase shellcreate 'users', { NAME => 'info', REPLICATION...

2019-12-17 17:24:47 119

原创 GreenPlum执行gpfdist报错:libssl.so.1.0.0: cannot open shared object file: No such file or directory

当你报这个错时,是因为你执行 ./gpfdist 时默认去找寻/usr/lib64的环境依赖,没有去找寻你gpfdist安装目录中lib的目录。解决方法:根据报错提示,将你gpfdist安装目录中lib目录下的对应文件拷贝到/usr/lib64。再执行命令,就ok了。...

2019-12-02 09:47:41 253

原创 rasdaman介绍及安装

一、分布式介绍 Rasdaman中的主节点称为Rasdaman的主机,它充当中央Rasdaman请求分派器并且控制所有服务器进程。Rasdaman管理器接收客户机请求并将这些请求分配给服务器进程。服务器进程解析和分配请求,然后生成对数据库主机上的关系服务器的调用。根据调用,关系服务器从关系数据库存储中检索指定的数据。检索到的数据通过网络发送到客户机的节点。 ...

2019-10-29 14:34:13 205

原创 Hbase-二级索引 Hbase+Hbase-indexer+solr (CDH)

最近一段时间工作涉及到hbase sql查询和可视化展示的工作,hbase作为列存储,数据单一为二进制数组,本身就不擅长sql查询;而且有hive来作为补充作为sql查询和存储,但是皮皮虾需要低延迟的sql及复杂sql的查询(根据值查找数据的情况),这就要用到hbase的二级索引。这里的二级索引方式采用的Hbase+Hbase-indexer+solr,还有Phoenix等方式。...

2019-09-10 16:44:30 424

原创 Hbase2.0-源码阅读环境

最近准备开始研究Hbase源码,因为第一次研究源码,所以做片笔记,踩坑踩的很耗时。1.我用的IDE是IDEA,本地window需要配置JDK,MAVEN,HADOOP环境2.上GitHub下载Hbase源码(可以使用git或直接下载):https://github.com/apache/hbase,并解压到电脑3.在解压后的目录中执行命令:mvn clean package -...

2019-07-31 09:44:37 180

原创 关于hadoop3.x MR报错:找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

用的apache Hadoop3.X,今天运行MR报错:找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster关键需要配置两个配置:mapred-site.xml 和 yarn-site.xml下面配置hadoop classpath。先运行shell命令:hadoop classpath复制输出到上面两个文件中...

2019-07-26 15:22:47 191

原创 Jenkins-Sonar集成配置及注意点

首先说说关于Jenkins集成Sonar的相关配置:我jenkins与Sonar不在同一个服务器上!先现在SonarQube Scanner 插件。SonarQube Servers:系统配置全局工具配置:SonarQube Scanner官网下载地址:https://docs.sonarqube.org/display/SCAN/Analyzing+with+Sonar...

2019-07-04 14:16:01 953 1

原创 Jenkins-gogs安装及使用

很多同学可能第一次了解什么是ci-cd,什么是Jenkins,首先会介绍下cicd的概念及应用场景,之后再详细介绍下Jenkins的概念、安装及使用。什么是CI-CD?首先明确CI-CD是一种技术,而并不是指一个软件。CI:可持续集成(简单将就是通过公用代码仓库将开发人员的代码进行统一集成管理,与集中测试)CD:可持续部署(将集成测试后的代码自动部署到你需要的地方)注意:这...

2019-07-03 10:13:08 493

原创 Jenkins-插件开发(简单demo)

推荐:官网创建插件案例:https://jenkins.io/doc/developer/tutorial/run/官方的这篇文章讲的很详细了,我就补充补充其中遇到的一些问题。前置条件:maven3.0以上、jdk1.81.配置setting.xml需要按照上面的配置否则会报错找不到hip插件,主要用于配置jenkins仓库。<?xml version="1.0" enco...

2019-07-03 09:23:29 235

原创 Jenkins-插件开发-BUG-Messages类编译报错

注意:下载Jenkins插件源码后报错Messages这个类怎么导包都报编译错误的问题!今天从GitHub下载了Jenkins的一些插件源码,准备自己研究研究写个插件。但是发现每个源码中都存在一个编译错误。那就是'Messages'这个类怎么导包,都在报编译错误。百度也没找到合适的答案,只好goole了。之后发现一个帖子说需要:发现使用mvn package打包下,就会出现这样...

2019-07-02 10:23:05 205

原创 apache.zookeeper-3.4与apache.kafka-2.11的安装

zookeeper与Kafka集群安装集群安装以三台机器(虚拟机,物理机等等)为例子:192.168.200.100 kafka01 (主节点)192.168.200.101 kafka02 (从节点)192.168.200.102 kafka03 (从节点)一、进入集群kafka01(...

2019-06-06 10:19:40 89

原创 Json转化与ExtJS树(后台处理)

一、JSON对格式化数据的操作:1.导入依赖包:import org.json.JSONArray;import org.json.JSONException;import org.json.JSONObject;2.Map转化为JSON数组://声明一个Hash对象并添加数据Map params = new HashMap();params.put("userna...

2019-05-23 17:45:17 85

原创 shell脚本定时执行|关闭jar文件

编写shell脚本,用于启动、关闭jar程序:#!/bin/bash#description: 启动重启server服务 #需要配置环境变量后才能直接使用java这些变量export JAVA_HOME=/data/jdk1.8.0_111export PATH=$PATH:$JAVA_HOME/bin #启动命令所在目录 HOME='/data/dingtalk' #...

2019-05-14 11:01:07 400

原创 Centos7访问Win7/Win10系统中的共享文件

服务器挂在U盘:1.先将U盘格式化为Fat格式或其他服务器能识别的格式。2.使用fdisk -l,找到自己的U盘(根据盘大小)3.新建一个文件夹(mkdir /mnt/usb)用于挂在数据4.挂载时使用mount -t vfat /mnt/usb的方式挂载5.cd /mnt/usb 查看U盘中的文件配置共享文件网络地址:1.共享文件2.使用IP的方式...

2019-04-17 09:22:18 631

原创 H3C S5500三层交换机划分Vlan与H3C路由组网

基本属性:vlan特性:三层互通,两层隔离。三层交换机不同vlan之间默认是互通的,两次交换机不同vlan是隔离的。vlan IP:就是定义一个vlan下所有机器的网关地址,该vlan下的机器网关必须是这个IP。接口:就是交换机后面可以插网线的端口,可以设置为Access、Trunk、Hybrid等注意点:交换机与相关设备(路由、交换机)相连时,建议将接口设置为Trunk...

2019-04-12 15:45:05 5135

原创 H3C S5500V2交换机误格式化恢复

一、格式化后,bin文件及视图全部被删除需要联系H3C客服报交换机后面的序列号,然后根据工单中给你的账号密码去H3C官网下载对应的软件包。二、下载3CDaemon使用TFTP方式将解压出来的.ipe文件传输到交换机上,下载完成后重启,Ctrl+C进入Cli命令。...

2019-04-10 12:31:28 1113

原创 linux_centos7_时间更新

EDT:美国时间 CST:中国北京时间方法一、使用ntpdate从时间服务器更新时间:1、下载ntpdate组件yum install -y ntp2、完成后直接测试[root@git conf.d]# ntpdate asia.pool.ntp.org21 Mar 10:52:01 ntpdate[9247]: step time server 2...

2019-04-08 18:10:25 179

原创 Centos7安装mysql数据库

一、查看当前Centos版本[root@yl-web yl]# cat /etc/redhat-release CentOS Linux release 7.1.1503 (Core)二、安装mysql数据库一般网上的方法都是:#yum install mysql#yum install mysql-server#yum install mysql-devel结果:...

2019-04-02 19:29:26 3199

转载 Centos7中磁盘管理及扩展

前提要求:虚拟机:centos7 虚拟机软件:VMware Workstation 12在安装Centos系统时,磁盘选择为LVM逻辑卷。当选择为LVM后才能创建逻辑卷等(必须)数据格式选择的是xfs,很多讲解使用的是ext3,但以后xfs的优势会比ext越来越大。(可选)参考原博主文章:https://blog.csdn.net/geoffreychan/article/deta...

2019-04-02 17:18:24 521

原创 centos7安装后不能连接外网

测试外网:1,测访问外网能力:curl -lhttp://www.baidu.com2,测访问外网能力:wget http://www.baidu.com注:ping命令不一定能正确反映系统的网络能力虚拟机不能流通外网的原因:1、最常见的网关配置问题与ONBOOT未配置问题。解决:配置正确的网关,设置BOOTPROTO=dhcp,ONBOOT=yes即可。2、...

2019-03-28 18:01:15 1551

原创 React安装及使用

学习React之前。你可能需要学习:Html5、Css3、React、Antd.js。Html5的学习网站:http://www.w3school.com.cn/Css3学习网站:http://www.runoob.com/css3/css3-tutorial.htmlReact技术学习网站:https://react.bootcss.com/react/Antd.js学习网站...

2019-03-28 15:54:43 33

转载 oracle关于rownum的使用【oracle】

转自:https://blog.csdn.net/qiuzhi__ke/article/details/78892822关于rownum是怎么产生的(网上有不少的文章,下面是摘录):rownum是在where条件过滤之后,在任何排序(order by)或聚集(aggregation)之前赋给行的。同时,只有当rownum被分配给行后才会递增。rownum的初始值为1。rownum在查询中产...

2019-03-06 16:56:28 52

转载 oracle 去重查询

-------------------- 原作者:搬长城的红砖 原文:https://blog.csdn.net/yin_jia_521/article/details/72626182  oracle 数据库多字段去重方法介绍:distinct 关键字、group by  、row_number ()over(partition by 列 order by 列 desc)我的需...

2018-11-23 10:26:33 27293

原创 Hbase javaAPI报错:Callexception,tries=10,retries=35,started=38465msago

[client.RpcRetryingCaller(142)]Callexception,tries=10,retries=35,started=38465msago,cancelled=false,msg=row'bvuser,195861-魂牵梦萦555,99999999999999'ontable'hbase:meta'atregion=hbase:meta,,1.1588230740,ho...

2018-11-05 20:10:45 4104 2

转载 orcle报错:ORA-12737:Instant Client Light:unsupported server character set ZHS16GBK

 我们用Navacat连接Oracle数据库的时候,会提示ORA-12737:Instant Client Light:unsupported server character set ZHS16GBK解决办法是将navicat的oci.dll指向oracleclient的oci.dll就可以了。具体操作方法:将oracleclient 安装到本地的磁盘里面,我这里提供一个绿色...

2018-10-30 15:11:22 249

转载 使用CountDownLatch等待多线程

前言 CountDownLatch 允许一个或多个线程等待其他线程完成操作。 应用场景 假如有一个列表的大量数据等待处理,最后全部处理完毕后返回处理结果。普通做法就是从头遍历,一个个顺序执行,这样单线程处理效率不高,我们希望使用多线程的方式处理,同时在主线程等待所有子线程处理完成。CountDownLatch的构造函数接收一个int类型的参数作为计数器,如果你想等待N个点完成,这里就传入...

2018-10-29 10:42:16 55

转载 fastDFS多线程并发执行出现的问题

--------------------- 原作者:Java高级开发 来源:CSDN 原文:https://blog.csdn.net/hang1995/article/details/79242571  前一段时间,业务部门同事反馈在一次生产服务器升级之后,POS消费上传小票业务偶现异常,上传小票业务有重试机制,有些重试三次也不会成功,他们排查了一下没有找到原因,希望架构部帮忙解决。...

2018-10-26 17:12:34 3373

原创 strom_hdfs与Sequence详解

这片博客主要是讲解storm-hdfs,Squence及它们的trident方法使用,不多说上代码:pom.xml &lt;dependency&gt; &lt;groupId&gt;org.apache.hadoop&lt;/groupId&gt; &lt;artifactId&gt;hadoop-client&lt;/artifactId&gt; &l...

2018-07-30 21:05:21 236

原创 HttpClient使用详解

                     这段时间有些忙,写的文章讲的没有那么细,不过尽量分享给大家,今天说下httpClient的使用。客户端依赖:&lt;dependency&gt; &lt;groupId&gt;org.apache.httpcomponents&lt;/groupId&gt; &lt;artifactId&gt;httpclient&lt;/art...

2018-07-16 20:53:23 90

原创 javaWeb普通类获取ApplicationContext

             网上看了很多关于获取ApplicationContext的方法,五大方法,但是我用web服务使用成功的就这一个,自己记忆下。import javax.servlet.ServletContextEvent;import javax.servlet.ServletContextListener;import org.springframework.web.conte...

2018-07-12 17:09:36 907

原创 servlet--http接口简单的创建及调用

          很久没有用servlet的交互技术,生疏的遭不住。现在简单的说说servlet中http接口的创建及调用,便于大家理解,使用。先说说服务端,就是提供服务方的代码:pom.xml &lt;dependencies&gt; &lt;dependency&gt; &lt;groupId&gt;junit&lt;/groupId&gt; &lt;arti...

2018-07-09 16:47:34 5033 4

原创 Storm-jdbc-2讲 高级API及Trident

                      之前对Storm集成JDBC写了一个简单的demo,最近深度研究了下,代码如下首先,先写一个抽象类,便于减少代码的重复性:import com.google.common.collect.Lists;import com.google.common.collect.Maps;import org.apache.storm.Config;impor...

2018-07-04 19:07:04 190 1

原创 kudu_遇到的一些问题

java连接kudu,出现超时的问题,是因为kudu开启了认证模式:通过查找官方发现:kudu有安全认证:服务器配置:--rpc-authentication 默认(optional,强验证);disabled,required。受信任的子网可通过--trusted_subnets标志进行配置为0.0.0.0/0所有都可以连接。解决方法:[work@good ~]$ cat /etc/kudu/...

2018-06-28 17:08:19 1283

HDFSTrident.java

针对storm对与hdfs的高级接口Trident的写入的java代码,现拿现用

2018-06-05

浅谈spark技术,pdf版本

spark技术的流程及简单的概述,又兴趣的朋友可以下载看看

2018-04-01

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除