自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 关于java 实体类与json 实体类集合与jsonArray的相互转换

最近项目中要多次使用到java 实体类与json 实体类集合与jsonArray的相互转换,接下来把遇到的问题和方法分享一下: class Stu { private String s1; private String s2; private String s3; ...

2019-10-23 17:03:14 73 0

原创 关于Map的几种遍历方式

Map之遍历:关于集合这块需要写的东西其实挺多的,集合有自己的顶级接口Collection,底下又有map和list两个接口,接下来我们谈一谈关于map集合方面的东西。map是java中非常常用的一种数据结构,提供get和put两个常用的方法;map虽然继承了Collection,但却没有实现Co...

2018-03-16 10:16:29 185 0

原创 svn没有绿色的对勾处理

在java开发过程中,通常会用到版本管理工具svn,可是在安装好checkout文件后经常会发现没有小绿勾,很不自然,以下是几种解决方案,一种不行可以多试几种。 第一步: 进入任意一个svn checkout下来的文件夹,鼠标右键,依次进入TortoiseSVN---Settings 。 如...

2020-05-07 13:52:13 59 0

原创 js onclick传递 对象

在html onclick中如果参数直接传递一个参数js会报错。 如果想要onclick传递参数需要这么做: var obj = {id: 1, name: 'jimc', age: 20}; 传json对象 var jsonObj = '<a oncl...

2020-04-03 15:25:55 58 0

原创 H2数据库入门

一、H2简介   1、H2是一个用Java开发的嵌入式数据库,它本身只是一个类库,可以直接嵌入到应用项目中。   H2最大的用途在于可以同应用程序打包在一起发布,这样可以非常方便地存储少量结构化数据。   它的另一个用途是用于单元测试。启动速度快,而且可以关闭持久化功能,每一个用例执行完随即还原到...

2020-04-03 15:20:05 67 0

原创 kafka单机搭建及操作--做个记录

最近一直在搞springboot整合kafka,于是自己搭建了一套单机的kafka环境,以便用于测试 环境搭建 1.下载解压kafka_2.11-1.1.0.tgz,创建移动到kafka文件夹中 wget http://archive.apache.org/dist/kafka/1.1.0/...

2020-03-31 13:44:21 69 0

原创 Hadoop YARN中内存优化的设置---yarn.scheduler.maximum-allocation-mb

在YARN中,资源管理由ResourceManager和NodeManager共同完成,其中,ResourceManager中的调度器负责资源的分配,而NodeManager则负责资源的供给和隔离。ResourceManager将某个NodeManager上资源分配给任务(这就是所谓的“资源调度”...

2020-03-31 13:29:14 123 0

转载 [Apache软件下载]-- apache各种版本的软件和源码下载网址(包含历史版本)

一、链接:http://archive.apache.org/dist/ 二、举例 1、spark下载:http://archive.apache.org/dist/spark/ 2、hadoop下载:http://archive.apache.org/dist/hadoop/ 3、flu...

2020-03-27 10:34:01 66 0

原创 Docker基础学习--搭建环境

Docker 是一个开放源代码软件项目,让应用程序布署在软件容器下的工作可以自动化进行,借此在 Linux 操作系统上,提供一个额外的软件抽象层,以及操作系统层虚拟化的自动管理机制。 1、Docker安装 相对而言,Linux 上安装 Docker 是最容易的,其次是 Mac ,最后是 Win...

2020-03-25 14:15:43 53 0

原创 Could not initialize class sun.awt.X11GraphicsEnvironment异常处理

原因导致: 经过Google发现很多人也出现同样的问题。从了解了X11GraphicEnvironment这个类的功能入手, 一个Java服务器来处理图片的API基本上是需要运行一个X-server以便能使用AWT(Abstract Window Toolkit,抽象窗口工具集)。 所以,问...

2020-03-25 13:34:22 102 0

原创 Spark集群无法停止的原因分析和解决(Hadoop集群也有这个问题)

今天想停止spark集群,发现执行stop-all.sh的时候spark的相关进程都无法停止。提示: no org.apache.spark.deploy.master.Master to stop no org.apache.spark.deploy.worker.Worker to sto...

2020-03-25 13:24:03 64 0

原创 centos7挂载磁盘-五步走

首先解释一下磁盘挂载的含义: 挂载通常是指给磁盘分区(包括被虚拟出来的磁盘分区)分配一个盘符。 第三方软件,如磁盘分区管理软件、虚拟磁盘软件等,通常也附带挂载功能, 通俗的说一下,就说给Linux分一块盘,LInux是用目录管理盘符的,跟windows刚好相反:windows是用盘符管理目录的...

2020-03-23 11:10:26 153 0

原创 oracle或mysql获取分组后每组的前三条数据

mysql : select a.* from ( select t1.*,(select count(*)+1 from 表 where 分组字段=t1.分组字段 and 排序字段<t1.排序字段) as group_id from 表 t1 ) a where a.group_id...

2020-03-16 15:57:58 87 1

原创 关于Mysql关键字报错 (`这个符号在mysql中的作用)

`这个符号在mysql中的作用 ` 是MySQL的转义符,避免和 mysql 的本身的关键字冲突,只要你不在列名、表名中使用mysql的保留字或中文,就不需要转义。 所有的数据库都有类似的设置,不过mysql用的是`而已。通常用来说明其中的内容是数据库名、表名、字段名,不是关键字。例如: ...

2020-03-13 10:17:31 75 0

原创 随笔

pg 语法上和其他数据库还是有些许不同,工作中常用的操作语句分享给大家! -- 建表语句 create table ods.ods_b_bill_m ( acct_month text, user_id text, city_code text ) WITH ( appendonl...

2020-03-12 15:43:51 43 0

原创 Linux下分卷Zip文件的合并并解压缩

有时候给项目上发包是分好几个压缩包发过去的,在Linux下怎么去解压合并 方法: 首先 cat piflow-server-0.9.zip* > piflow-server-0.9.zip #合并为一个zip包 然后 unzip piflow-server-0.9.zip #解压...

2020-02-12 09:57:25 72 0

转载 RDD和DataFrame和DataSet三者间的区别

https://blog.csdn.net/deng624796905/article/details/80216168 https://blog.csdn.net/weixin_43087634/article/details/84398036 这两篇文章讲的很详细,大神级别的,可以拜读 ...

2020-01-07 16:27:11 45 0

原创 Kafka Consumer深入理解

最近项目需要进行实时读取服务端信息,在网上看到kafka可以解决这个问题,开发完成后对kafka做一个简单的整理,希望可以帮助到刚开始学习kafka 的同学,给自己也做个笔记: 首先说一下kafka是个什么东西: kafka是一个分布式、支持分区的(partition)、多副本的(replic...

2019-12-23 08:39:49 53 0

原创 java 读取hdfs上的文件内容

用java读取hdfs的文件 直接撸代码: package com.nature.base.util; import com.nature.component.process.vo.DebugDataResponse; import org.apache.commons.lang3.Str...

2019-12-20 16:00:41 214 0

原创 关于 工具连接 mysql1045,本地Linux连接正常的问题解决

缘由: 一直连接mysql都好好的,结果早上刚到发现mysql 在我本地和程序突然连接不上,报了个1045错误,网上有很多都说是我的用户名密码错误,都不是我想要的答案,因为我在虚拟机里面mysql -uroot -p*** 是OK的,所以排除这种可能, 原因:各种查找,说是其他ip地址没有...

2019-12-17 08:55:18 57 0

原创 MySQL 之使用uuid_short 报错 Out of range value for column 'id' at row 1 问题

这几天开发过程遇到一个关于MySQL报错的问题,最后归根揭底找到问题所在,分享一下心得 先看这个错误是怎么出来的: 我写了一个关于 uuid_short的函数, 结果发现执行这个函数的时候报错了 SELECT SEQNEXTVAL('MDM_KH_SEQ') AS I...

2019-11-20 08:54:59 87 0

原创 ealsticsearch+kibana安装搭建使用

ealsticsearch版本:elasticsearch-7.0.0 kibana版本:kibana-7.0.0 本文修改配置,创建文件皆是root用户,启动都是新增的用户 下载地址: (官网下载) ealsticsearch:https://www.elastic.co/downl...

2019-11-14 20:41:06 129 0

原创 spark on yarn 集群搭建

1.首先准备软件包 下载地址:https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz 2.解压到对应目录后,修改配置文件(前提Java已经安装过了) 解压的Linux命令:ta...

2019-11-14 16:29:08 62 0

原创 关于spark on yarn 的那些事

在Spark Standalone模式下,集群资源调度由Master节点负责。Spark也可以将资源调度交给YARN来负责,其好处是YARN支持动态资源调度。Standalone模式只支持简单的固定资源分配策略,每个任务固定数量的core,各Job按顺序依次分配资源,资源不够时排队等待。这种策略适...

2019-11-14 16:06:59 47 0

原创 Linux安装mysql以及遇到的问题解决办法

话不多说,直接开干: 1.mysql下载地址(这里使用的是5.7.28) 官网地址: https://dev.mysql.com/downloads/mysql/ 百度云地址: https://pan.baidu.com/s/1kGXBgt1KP8UzD68iJ-jgFg 提取码:hre...

2019-11-14 00:02:58 89 0

原创 超详细的Hadoop集群部署

本文建立在已经把虚拟机ip环境等已经下载好情况下。 那么,直接开始今天的正题: 搭建集群 环境准备 这里提供两种思路:一种是将一台直接搭建好,后面的克隆或者copy虚拟机 一种是3台并进,多次进行虚拟机之间文件互传,各有利弊,第一种方式容易漏改ip等问题,第二种方式简单明了,一遍过手,就是步...

2019-11-08 00:07:13 189 2

原创 安装:Microsoft Project 2010

安装:Microsoft Project 2010 安装包路径:https://www.pcsoft.com.cn/soft/116774.html 密钥: 8XWTK-7DBPM-B32R2-V86MX-BTP8P MVR3D-9XVBT-TBWY8-W3793-FR7C3 26K3G...

2019-11-07 09:03:39 273 0

原创 centOS6.9 防火墙的关闭以及开启

(一)通过service命令 打开防火墙:service iptables start 关闭防火墙:service iptables stop 查看防火墙状态:service iptables status (二)通过:/etc/init.d/iptables 进行操作 查看防火墙状态:...

2019-10-30 23:19:06 62 0

原创 关于虚拟机设置静态ip和克隆后重启网关报错的问题以及配置DNS

1.首先,用 ifconfig 命令查询是否存在eth0网卡 2.vi /etc/sysconfig/network-scripts/ifcfg-eth0 编辑ifcfg-eth0文件,如图: 加入如下配置 BOOTPROTO=static IPADDR=192.168.183.201...

2019-10-30 23:02:06 114 0

原创 动态form刷新grid

关于Ext如果动态生成 form 下拉框的,并且可以动态改变内容可以改变刷新的方法: 需要效果如下图: 直接上代码: <?xml version="1.0" encoding="UTF-8"?> <Application tit...

2019-10-24 18:42:47 54 0

原创 关于java语法写spark sql 获取java对应bean对象的写法

用spark实现查数据库对象的方法,话不多说直接撸代码: SparkSession spark = SparkSession .builder() .appName("JavaWordCount").master("local&qu...

2019-10-23 17:44:27 91 0

原创 linux安装redis 详细完整步骤

最近在linux服务器上需要安装redis,来存放数据,增加用户访问数据的速度,由于是第一次安装,于是在百度上搜了一篇文章,按照这篇博客,顺利安装好了,因此将博主的文章拷过来记录一下,方便以后使用,也为需要的朋友提供一个方便, 安装: 1.获取redis资源   wget http://d...

2019-09-26 17:41:17 52 0

转载 LINUX安装nginx详细步骤

1.安装依赖包 //一键安装上面四个依赖 yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel 2.下载并解压安装包 //创建一个文件夹 cd /usr/local mkdir nginx cd nginx...

2019-09-26 15:58:08 59 0

原创 maven mvn 命令行 编译打包

首先添加环境变量 ** 添加MAVEN_HOME环境变量到 Windows 环境变量,并将其指向你的 Maven 文件夹 ** Path环境变量添加%MAVEN_HOME%\bin 测试 mvn -version 查看mvn版本 ** 先把命令行切换到Maven项目的根目录 编译 m...

2019-09-17 16:34:43 74 0

原创 数据泵方式导入Oracle数据库操作流程

最近经常处理项目中的问题,没法没库什么都搞不了,于是记录一下导库的过程,给自己做个笔记,以备后用: 直接上命令: 1.--创建临时表空间 create temporary tablespace cnoocEng_temp tempfile '/home/oracle11g/produ...

2019-08-29 16:06:53 102 0

原创 单机部署spark环境

最近需要搭建单机版sprak环境,分享一下: 1.首先准备软件包 下载地址:https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz 2.解压到对应目录后,修改配置文件(前提Ja...

2019-08-27 14:34:27 601 0

原创 轻松搞定 ssh localhost 免密码登陆

每次搞ssh locahost无密码登陆都要查半天,比较麻烦 2 如果不输入口令就无法用ssh登陆localhost,执行下面的命令就Ok: ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub ...

2019-08-27 14:05:09 84 0

原创 利用反射遍历查询对象中所有属性的内容

实体类 package com.sunwayworld.reflect; public class TetsObj { public TetsObj() { super(); } public TetsObj(String desc1, String desc2, String ...

2019-08-26 15:56:37 93 0

原创 Linux系统(X64)安装Oracle11g安装

首先,准备工作: (前提是系统已经安装完成,jdk已经正确安装, 关于jdk安装请参考博主另外一篇文章:https://blog.csdn.net/Alex_81D/article/details/96915293) 我的版本是11.2.0.1 --系统安装包 yum install co...

2019-08-20 14:04:16 68 0

原创 linux环境部署两个WEB服务,使用不同的jdk版本

背景:linux服务器普通用户默认版本为jdk6,jboss项目使用jdk6版本 ,但是tomcat需要使用jdk7。当然也可以分开使用不同账户来启用这两个项目,下面主要介绍单修改tomcat配置来解决。 一、下载JDK,官网下载地址:http://www.oracle.com/technetw...

2019-08-16 17:14:36 80 0

提示
确定要删除当前文章?
取消 删除