自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(40)
  • 收藏
  • 关注

原创 spark 累加器实现

因为spark的map的操作是闭包的,所以想对外部变量操作像java一样设置一个外部flag是行不通的,因此可以采用累加器来实现 val sd = spark.sparkContext.longAccumulator val res = df.map{ item =>{ val arr: Array[String] = item.split("...

2019-08-16 15:01:37 454

原创 spark基础调优

本文仅涉及基础代码等设置调优,更深入的还请大家指出~~1.RDD调配 对象 优化手段 RDD、DF、DS 对于同一数据源只创建一次,尽量多次使用 错误示范:val newRDD1 = spark.read.csc("/helloworld")val newRDD2 = spark.read.csc...

2019-08-09 16:12:22 186

原创 linux下ssh免密钥登录

在linux集群下配置ssh免密钥登录,以及scp分发命令的使用样例环境:   linux: node1    node21、在node1创建rsa密钥ssh-keygen -t rsa一路回车就好 2、使用node1给node2发密钥ssh-copy-id node2_ip3、在node2上测试是否可以登录node1ssh node1_ip4、在no...

2019-02-02 16:01:16 176

原创 mapreduce的数据清洗具体过程???

对于这个问题一般来说我们在使用mapreduce进行数据清洗的时候,只是用map端,因为数据的清洗一般不会涉及到聚合的问题,所以我们经常是设置reduce的个数为0我想这个问题,问的应该是mapreduce的运行过程吧(个人理解)mapreduce运行过程如下:           mapreduce主要分为5个过程          input>>map&gt...

2018-11-16 17:20:48 3144 1

原创 spark运行模式

简单简述一下spark有一个主节点master和从节点worker而spark在运行在集群的时候,由driver来负责job的调度,Exexutor来运行task因此,spark的部署模式通俗的讲便是driver的运行位置主要由两个1、client(本地)2、cluster(集群)而由于spark可以交由自带的standalone集群资源管理框架管理,也可以交由ya...

2018-11-14 23:19:00 144

原创 Hbase架构

1、regions    Hbase表按照 rowkey来水平划分region块。每一个region块包括start rowkey和end rowkey,region是由regionserver管理,regionserver把region块分配到集群的各个节点中,对数据提供读和写的功能。当一个region变的太大的时候,它会分裂成两个子Region。ps:一个regionserve...

2018-11-10 20:24:14 143

原创 mapreduce自定义分组、自定义分区、二次排序

mapreduce中二次排序的思想中,我们常常需要对数据的分区分组进行自定义,以下就介绍一下自定义分区分组的简单实现1、自定义分区:public class demoPartitioner<K, V> extends Partitioner<K, V>{ @Override //注意有几个分区reduce任务就有几个 public int g...

2018-10-19 20:59:17 357

原创 DNS是什么

DNS(omain Name System)域名系统    平时上网的时候,我们访问的实际上是IP地址(192.168.1.1),但是像这样的ip地址一旦多了我们是很难记忆的,所以通过更改本地的hosts文件,使得ip映射为域名,这样我们就可以使用域名来访问网址了。    但是,hosts文件我们总不能包含世界上所有的域名,因此,这个时候就需要DNS域名系统来解析域名来得到ip...

2018-10-13 08:44:27 822

原创 线程的创建方式

一、继承Thread1、创建类继承Thread2、重写类的run方法3、调用时创建实例对象然后调用start方法举例:class MyThread extends Thread{ @Override public void run() { for(int i=0;i<10;i++){ System.out.prin...

2018-10-05 09:43:35 133

原创 NOSQL与RDBMS,非关系与关系型数据库的区别是什么

一:关系型数据库1、关系型数据库:RDBMS(Relational Databa指se Management System) 指采用了关系模型来组织数据的数据库,简单来说是一张二维表,而表中的数据之间有关系其中的代表有:mysql、sql server 、oracle特点:          》:事务的一致性(ACID)原子性、一致性、隔离性、持久性          》:...

2018-10-04 22:05:15 1374

原创 jvm虚拟机内存详解

基础数据类型:boolean、char、byte、double、float、int、long、short引用类型:类、接口、数组早都应该写了!!!我们平时口头上说的就是 堆、栈、方法区,下面先解释一下这三个:1、栈:这个栈就是我们平时说的栈,全名是:虚拟机栈  》1、栈中只保存基础数据类型数据的对象和自定义对象的引用(地址),而实例对象都存储在堆中。  》2、一条线程包...

2018-10-02 17:25:50 131

原创 java8新特性的简单记录

1、Lambda语法格式:parameters -> expression即:参数 -> 执行例如 x -> 2*x  ----这个表达式就是把x作为参数传给 2*x 然后返回结果注:参数的类型可以不用传2、对于方法的调用语法格式:双冒号构造器、静态方法、特定类的任意对象方法:这三种调用的时候都是Class :: 方法名即-----类名 :: 方法...

2018-09-28 22:59:11 142

原创 谈谈对jvm的理解

jvm:java虚拟机,java的核心与基础,用来运行java的程序1、java程序的运行过程    1)java源文件被编译器编译成.class文件    2).class文件被类加载器加载至内存//--------类加载器:将.class文件加载至内存并且生成相应的class对象    3)执行2、jvm程序执行的顺序   加载.class文件>>>&...

2018-09-16 20:32:40 1836

原创 jdk的安装目录下的jre与独立的jre有什么区别

jdk的全称是:java development kit ---即java开发工具jre的全称是:java runtime environment----即java运行环境jdk安装目录下的jre可以看做是一个私有的jre环境,而外部独立的jre文件可以看做是一个共有的jre环境,这两者的本质实际上是相同的。...

2018-09-16 20:01:17 4889

原创 crontab设置开机启动的的shell脚本

1、打开crontab任务    crontab -e2、设置脚本的启动时间@reboot ( sleep 60 ; sh \path\demo.sh )设置脚本在启动后的60s启动\path\demo.sh 就是脚本的存放地址

2018-09-16 17:12:26 9743

原创 httpclient基本get用法

public class HttpClientDemo { public void doGet() throws URISyntaxException, IOException { String url = "http://192....."; //创建client CloseableHttpClient client = HttpClients.crea...

2018-09-16 15:05:28 1112

原创 java反射机制怎么使用

什么是反射?    java的反射机制是在运行状态中,对于任意一个类,都能知道它的属性和方法,对于任意一个对象,都能调用它的方法和属性。常用的反射使用:    class:    Class classDm = class.forName("类的完整类名")--------获取一个类对象    ClassDm.newInstance();-------获取类的实例对象这...

2018-09-08 14:26:24 158

原创 Hadoop常用端口号有哪些?

这里包含使用的组件:HDFS、YARN、HBase、Hive、Zookeeper:组件 节点 默认端口 配置 用途说明 HDFS DateNode 50010 dfs.datanode.address datanode服务端口,用于数据传输 HDFS DateNode 50075 dfs.datanode.http.ad...

2018-09-07 08:50:24 7287

原创 No 'Access-Control-Allow-Origin' maven管理的项目跨域问题怎么解决

pom.xml添加依赖<!-- 跨域支持-->     <dependency>            <groupId>com.thetransactioncompany</groupId>            <artifactId>cors-filter</artifactId>         ...

2018-09-03 14:20:15 646

原创 linux自带上传下载--lrzsz

linux系统自带文件的上传与下载功能使用yum安装:yum install -y lrzsz安装完成rz:上传 sz:下载上传会直接上传至当前目录以上~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~·...

2018-09-03 10:22:05 244

原创 hibernate配置文件详解

一、映射文件<!DOCTYPE hibernate-mapping PUBLIC "-//Hibernate/Hibernate Mapping DTD 3.0//EN" "http://www.hibernate.org/dtd/hibernate-mapping-3.0.dtd"><!--package:相当于import以下的类名可以...

2018-08-31 17:14:04 88

原创 linux下mysql添加数据库乱码

在终端,mysql -u root -p 登录; 查看当前数据库的相关编码集。show variables like 'character%'; 然后查看  /etc/my.cnf添加以下[mysql] default-character-set=utf8[mysqld] character-set-server=utf8然后保存,重启mysql这时再 查看 sh...

2018-08-30 22:05:15 127

原创 web项目部署到linux下总是提示404

在我们打包项目之前,一定要把所有的localhost换为IP,并且你的项目指向后台的所有url路径需要在端口号之后加上包名

2018-08-30 21:58:13 5790

原创 web项目部署到linux下

1、使用maven管理web项目,然后使用命令mvn package 打包成war包2、在linux下安装tomcat,然后把war包上传到tomcat的webapps目录下3、在tomcat的bin目录下运行start.sh文件[root@********/]# ./start.sh然后查看webapps目录可以发现上传的war包已经被自动解压了4、然后此时就可以访问我们的...

2018-08-30 21:55:52 418

原创 git的基本使用

从svn转移到git来 遇到了一些小问题 随笔一下在windows上使用。所以这里使用sourcetree来管理官网下载链接:https://www.sourcetreeapp.com/sourcetree在安装的时候会需要登录,跳过的方法:https://blog.csdn.net/qq_40757296/article/details/81976669使用:1、点击这个克隆...

2018-08-23 10:59:57 85

原创 sourcetree安装-跳过登录

1、打开安装文件之后,关掉窗口,打开我的电脑在地址栏输入下面地址%LocalAppData%\Atlassian\SourceTree\2、在此 目录下创建一个accounts.json的文件,然后把 下面代码粘贴复制进去[ { "$id": "1", "$type": "SourceTree.Api.Host.Identity.Model.Identity...

2018-08-23 10:51:41 627

原创 sql常用语句

1、增加insert into tableName values(val1,val2,val3) //必须与数据库对应insert into tableName(columnName1,columnName2) values(val1,val) 2、删除delete from tableName where columnName=valuedelete from tableNa...

2018-08-13 11:04:58 99

原创 ssh框架整合之配置文件

1、约束、这个就不用多说了<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:con...

2018-08-12 22:07:35 164

原创 linux下jdk安装(懒人脚本)

1、把你下载好的jdk传到linux系统下2、创建一个文件touch filename3、编写此脚本#!/bin/bashtar -xvf /usr/jdk/jdk-8u91-linux-x64.tar.gzcd /usr/jdkint/jdk1*home=`pwd`echo $homeecho "JAVA_HOME=${home}" >>/etc/pr...

2018-08-12 21:29:57 1322

原创 linux_centos下使用yum安装mySql

直接上操作1、系统会自带mysql、删掉删掉      查看有没有rpm -qa | grep mysql    如果有使用命令删除 rpm -e --nodeps 查出的mysql  2、下载      可以先查询一下子mysql的版本号yum list | grep mysql    3、执行命令下载yum install -y mysq...

2018-08-12 21:17:02 95

原创 final、finally和finalize的区别

1、final被final修饰的类不能更改、不能被继承、不能被重载、只能被引用2、finallyfinally是在异常处理的时候提供的代码块,在异常处理中,无论是否发生异常,finally块中的代码都会执行,在有什么代码是必须执行的时候就可以把代码放在finally块中3、finalizefinalize是方法,在jvm垃圾回收机制将要回收对象之前,会对此对象执行final...

2018-08-09 21:49:55 101

原创 hashcode与equals的关系

equals与hashcode的联系便是两个对象在equals相等的情况下,hashcode有可能相等也有可能不相等,而两个对象在hashcode不相等的情况下,equals也必定不相等理解equals的应用:它是用于用户在进行对比的时候,这个时候对比的是内容是否相等理解hashcode的应用:例如set集合,它的不可重复,进行对比的便是hashcode是否相等,因此set集合...

2018-08-09 21:02:15 347

原创 java四大引用类型 强、软、弱、虚 引用

    java中提供了4个级别的引用类型 strong(强引用)、soft(软引用)、weak(弱引用)、phantom(虚引用)以下对四中类型简单介绍1、strong(强引用)    例如 Object object = new Object()此时的object对象就是一个强引用对象强引用的对象特点是:永远不会被jvm垃圾回收机制回收,就算是抛出异常此对象也会存在,并...

2018-08-09 20:32:20 157

原创 Struts2中stream流的应用

文件的上传的上传和下载在hibernate中可以使用stream流的方式来返回具体如下配置struts.xml的配置文件<!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Configuration 2.3//EN" "http://struts.apache.or...

2018-07-30 11:25:40 750

原创 异常捕获后再次抛出java

捕获了异常之后,希望再次向上抛出如下:public void demo() throws Exception{ try{ System.out.println(1/0); }catch(Exception e){ throw e; }}此时 向上抛出的异常还是原异常...

2018-07-29 11:41:03 4368 1

原创 struts2 http status 404 result 'null' not found----ssh框架

出现这个错误的时候基本就是struts.xml的配置问题了其一:<result name="success">/index.jsp</result>   <result name="error">/error.jsp</result>其二:!!错误的地方来了:package name 虽然没有其他的package,但是此处的名字...

2018-07-28 17:01:37 1350 1

原创 IDEA-web项目的部署

一、创建新项目 二、创建web模块--module    》》勾选Web application 》》next;填写web项目名地址》》在WEB-INF文件下创建classes文件与lib文件classes文件:存放编译后的class文件;lib文件:导入的包》》配置class与lib文件点击file下的 Project Structur...

2018-06-13 10:55:06 1415

原创 equals方法与“==”的不同详解

在进行字符串的比较时,都知道不能用“==”来比较,要使用equals的方法例如:String a ="asd";a.equals("asd");这样才是进行了字符串的比较。而这就形成了误区,使得一部分初学者认为equals比较的就是内容,而“==”比较的是地址。这样的是不太正确的。如下:这是Object类中的equals方法,可以看到,此时比较的是地址,而不是内容。...

2018-05-18 10:10:58 122

原创 包装类的封箱拆箱

java是面向对象的编程语言,而八种基础类型不包含属性,因此使用的时候有诸多不便,这时基础类型的包装类就出现了。int---Integer;char---Character;short---Short;long---Long;double---Double;float---Float;boolean---Boolean;byte---Byte;除了int、cha...

2018-05-17 11:22:21 174

原创 编程基础:java--常见的格式化(printf)输出

  转  换  符 类型 示    例 %s 字符串类型(String) "你好" %c 字符类型(char) 's' %b 布尔类型(boolean) ...

2018-05-03 23:08:13 164

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除