自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 linux系统开发scala hello world(scala 2.13.2)

1,scala版本包安装执行tar zxvf scala-2.13.2.tgz -C ./ 解压scala-2.13.2.tgz包到当前文件夹2,scala配置环境变量执行vi ~/.bash_profile 进入bash_profile文件,末尾增加 export PATH="$PATH:/home/ap/xxx/scala-2.13.2/bin"编辑完成,执行:wq保存退出执行source ~/.bash_profile使得环境变量配置生效执行scala出现下面画面表示.

2020-05-29 23:39:42 76

原创 windows10 scala安装

前提:已安装Java 8 JDK或以上版本1,下载安装包 (地址https://www.scala-lang.org/download/)下载后双击scala-2.13.2.msi一步一步安装即可2,配置环境变量1)新建SCALA_HOME2)编辑Path,添加%SCALA_HOME%\bin、%SCALA_HOME%\jre\bin3)设置Classpath"变量名":Classpath"变量值":.;%SCALA_HOME%\bin;%SCALA..

2020-05-29 21:48:28 62

转载 JDK1.8为什么废弃永久代【一篇就够】

JDK8-废弃永久代(PermGen)迎来元空间(Metaspace)1.背景2.为什么废弃永久代(PermGen)3.深入理解元空间(Metaspace)4.总结========正文分割线=====一、背景1.1 永久代(PermGen)在哪里?根据,hotspot jvm结构如下(虚拟机栈和本地方法栈合一起了):上图引自网络,但有个问题:方法区和heap...

2019-04-22 17:10:22 2263

原创 ArrayList非线程安全的原因

【ArrayList的实现】ArrayList的实现主要有: 一个Object的elementData的数组保存所有的元素;一个size变量保存当前数组中已经添加了多少元素。 /** * The array buffer into which the elements of the ArrayList are stored. * The capacity of ...

2019-04-22 16:48:39 428

转载 线程阻塞机制

参考的文章==》https://blog.csdn.net/weixin_41101173/article/details/79679300一、为什么引入线程阻塞机制为了解决对共享存储区的访问冲突,Java 引入了同步机制,现在让我们来考察多个线程对共享资源的访问,显然同步机制已经不够了,因为在任意时刻所要求的资源不一定已经准备好了被访问,反过来,同一时刻准备好了的资源也可能不止一个。为了...

2019-04-19 12:03:50 405

原创 彻底搞懂单例模式【一篇就够】

一、【饿汉模式】-多线程安全单例模式实例一(不使用同步锁)缺点:对象在没有使用之前就已经初始化了。这就可能带来潜在的性能问题:如果这个对象很大呢?没有使用这个对象之前,就把它加载到了内存中去是一种巨大的浪费。另外,当系统中这样的类较多时,会使得启动速度变慢 。public class EagerSingleton { private static final EagerSing...

2019-04-17 16:29:06 130

转载 Java内部类【一篇就够】

Java内部类详解  说起内部类这个词,想必很多人都不陌生,但是又会觉得不熟悉。原因是平时编写代码时可能用到的场景不多,用得最多的是在有事件监听的情况下,并且即使用到也很少去总结内部类的用法。今天我们就来一探究竟。下面是本文的目录大纲:  一.内部类基础  二.深入理解内部类  三.内部类的使用场景和好处  四.常见的与内部类相关的笔试面试题  若有不正之处,请多谅解并欢迎...

2019-04-17 11:35:45 85

原创 Java的变量类型、String相关、打印乘法表、类的继承

1、下面程序的期待结果编译出错:str,i 为局部变量局部变量声明在方法、构造方法或者语句块中; 局部变量在方法、构造方法、或者语句块被执行的时候创建,当它们执行完成后,变量将会被销毁; 访问修饰符不能用于局部变量; 局部变量只在声明它的方法、构造方法或者语句块中可见; 局部变量是在栈上分配的。 局部变量没有默认值,所以局部变量量被声明后,必须经过初始化,才可以使用。Err...

2019-04-02 20:29:35 48

原创 打印RDD中的内容到logs中【一篇就够】

Printing elements of an RDDAnother common idiom is attempting to print out the elements of an RDD using rdd.foreach(println) or rdd.map(println). On a single machine, this will generate the expected...

2019-03-25 11:05:31 541

转载 分布式与集群的区别【一篇就够】

转自:https://blog.csdn.net/jiangyu1013/article/details/80417961转过来只是为了以后翻看方便。一、大白话解说,半分钟就懂,用生活中的例子来说明:小饭店原来只有一个厨师,切菜洗菜备料炒菜全干。后来客人多了,厨房一个厨师忙不过来,又请了个厨师,两个厨师都能炒一样的菜,两个厨师的关系是集群。为了让厨师专心炒菜,把菜做到极致...

2019-03-24 08:36:54 696 1

原创 PyCharm代码含有中文报错SyntaxError: Non-ASCII character的解决方法【一篇就够】

RMB_value = input("请输入人民币金额 :")print(RMB_value)PyCharm中执行上述代码报以下错误:SyntaxError: Non-ASCII character '\xe8' in file C:/Users/Administrator/PycharmProjects/currency_convert/currency_cvt.py on lin...

2019-03-14 23:25:57 850

转载 Java反射入门、简单实用【一篇就够】

摘自==》http://www.cnblogs.com/chanshuyi/p/head_first_of_reflection.html反射之中包含了一个「反」字,所以想要解释反射就必须先从「正」开始解释。一般情况下,我们使用某个类时必定知道它是什么类,是用来做什么的。于是我们直接对这个类进行实例化,之后使用这个类对象进行操作。Apple apple = new Apple(); ...

2019-03-09 16:45:02 52

原创 如何优雅的停止Spark streaming服务【一篇就够】

参看网上查阅的一些资料,结合自己实践,整理如下:方法一、程序中设置一个开关来停止服务(推荐)当检查到HDFS中存在"/user/root/stop_sparkStreaming"目录时,则优雅地停止服务package com.sjmz.sparkdemoimport org.apache.hadoop.conf.Configurationimport org.apache.ha...

2019-01-08 00:55:22 1569

原创 Spark学习日志

一、Spark读取Linux本地文件val textFile = spark.read.textFile("file:///usr/spark-2.3.1-bin-hadoop2.7/README.md")[root@master spark-2.3.1-bin-hadoop2.7]# ./bin/spark-shell2019-01-06 21:48:02 WARN NativeC...

2019-01-06 23:31:18 296

原创 IDEA+Maven构建scala项目【一篇就够】

一、新建项目输入项目名称:SparkDemo_WordCount,点击“完成”项目创建成功,如下所示:"C:\Program Files\Java\jdk1.8.0_45\bin\java" -Dmaven.multiModuleProjectDirectory=C:\Users\Administrator\AppData\Local\Temp\archetype1t...

2019-01-06 02:39:40 1617 1

原创 构建Maven项目并上传到码云gitee【一篇就够】

一、构建Java项目create is deprecated in maven 3.0.5 and beyond,在maven3.0.5以上版本舍弃了create,使用generate生成项目mvn archetype:generate -DgroupId=com.sjmz.javademo -DartifactId=javademo -DarchetypeArtifactId=maven...

2019-01-03 00:17:33 1149 1

原创 Git使用问题-fatal: refusing to merge unrelated histories

【问题】git pull失败,提示 fatal: refusing to merge unrelated historiesAdministrator@SJMZ MINGW64 ~/learngit (master)$ git pull origin masterFrom https://gitee.com/sjmz30071360/learnGit * branch ...

2018-12-27 01:35:54 376

原创 Solr admin查询、删除

一、查询Requeest-Handler(qt)/selectq{!parent which="CUST_ID:*"}fqCUST_ID:1610003511fl*,[child parentFilter="CUST_ID:*" limit=20]二、删除Requeest-Handler(qt)/updateDocument TypeXMLDocumen...

2018-12-18 22:56:43 679

原创 Java VisualVM监视CUP、堆、类、线程情况

一、启动Java VisualVM命令行输入 jvisualvm,点击确定即可。二、监视远程服务器待补充。。。

2018-11-03 13:42:31 768

原创 通过yarn执行spark作业应用实例

submit_spark.sh#!/bin/bash################################################### @date 2018/11/03# @author sjmz# @desc 启动spark作业示例##################################################HOME="/ho...

2018-11-03 13:16:46 219

原创 expect命令应用实例

前提:当前Linux服务器已安装expect命令在当前Linux服务器上,通过执行命令 sudo -u testid expect /home/test/expect.sh 20181103 201811达到调用远程服务器(192.168.1.1)上/home/testid/remote_test.sh的目的。#!/usr/bin/expectset timeout -1set US...

2018-11-03 12:48:50 90

原创 sed、awk实际应用

1,给数据文件加一行头记录sed '1i\aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa' test.dat > tmp.dat 2,给数据文件添加一列(文件分隔符为'|',将第一列添加到最后一列)awk -F'[:|]' '{print $0,$1}' OFS="|" test.dat > test.dat.okawk -F'[:|]' '{...

2018-11-02 00:55:23 141

原创 DbVisualizer Pro 9.1.1连DB2数据库中文显示乱码的解决【一篇就够】

一、修改安装目录下配置文件 安装目录/resources/dbvis-custom.prefs增加配置如下:dbvis.grid.encode=truedbvis.grid.fromEncode=ISO8859_1dbvis.grid.toEncode=GBK二、保存,修改重新启动DbVisualizer发现中文显示依旧是乱码。。。没有丝毫变化三、再次修改配置如下,发现...

2018-09-22 10:05:14 2523

原创 Spark(2.3.1)集群安装【一篇就够】

操作系统:Linux(CenOS7)Spark集群至少需要有JDK、Hadoop、Scala、Spark一、安装Spark依赖的Scala(每个节点都安装)1.1 下载Scala(2.11.12)wget "https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz"1.2 解压、配置环境变量vi /etc...

2018-09-09 22:17:10 1990

原创 Linux环境 solr-7.4.0安装【一篇就够】

一、环境说明三台安装了CenOS7操作系统的虚拟机master(192.168.11.128)、slave1(192.168.11.129)、slave2(192.168.11.30)二、下载solr安装包地址:http://mirrors.shu.edu.cn/apache/lucene/solr/7.4.0/solr-7.4.0.zip三、解压solr安装包[root@...

2018-09-03 01:09:23 7478

原创 修改CentOS7系统时间EDT为CST【一篇就够】

EDT:指美国东部夏令时间,波士顿、纽约市、华盛顿哥伦比亚特区,都在这个时区内,跟北京时间有12小时的时差,晚12小时。CST:可以指下面两种:1. 美国中部标准时间(西六区,-6:00),中国是东八区(+8:00),北京时间比美国中部标准时间早14个小时。3:45 PM CST 是北京时间凌晨1:45。2. 中澳大利亚标准时间(+10:30),中国是东八区(+8:00),北京时间比中澳...

2018-08-29 09:44:19 4216

原创 zookeeper log及out文件输入路径配置【一篇就够】

1、修改$ZOOKEEPER_HOME/bin目录下的zkEnv.sh文件   ZOO_LOG_DIR指定想要输出到哪个目录,   ZOO_LOG4J_PROP,指定INFO,ROLLINGFILE的日志APPENDER.     54 if [ "x${ZOO_LOG_DIR}" = "x" ]     55 then     56     ZOO_LOG_DIR="/usr/zook...

2018-08-29 09:23:21 2506

原创 zookeeper(3.4.12)集群模式安装【一篇就够】

一、下载安装包http://www-eu.apache.org/dist/zookeeper/stable/zookeeper-3.4.12.tar.gz二、解压tar xzvf zookeeper-3.4.12.tar.gz三、配置环境变量vi /etc/profile末尾追加:# zookeeper environmentexport ZOOKEEPER_HOME...

2018-08-28 20:10:21 1352

原创 Hive安装(3.0.0)【一篇就够】

前提:Java 和 Hadoop已经安装一、下载hive安装包地址:http://mirrors.shu.edu.cn/apache/hive/hive-3.0.0/apache-hive-3.0.0-bin.tar.gz[root@master usr]# wget http://mirrors.shu.edu.cn/apache/hive/hive-3.0.0/apache-hiv...

2018-08-26 23:39:14 2091

转载 Windows 设置CMD命令行编码【一篇就够】

转自:https://blog.csdn.net/wyl530274554/article/details/74642697命令CHCP:显示或设置活动代码页编号  CHCP [code]  code指定代码页编号。不加参数键入 CHCP 显示活动代码页编号。加参数会更改当前编码。 MS-DOS为以下国家和语言提供字符集:编号 语言 编号 语言 125...

2018-08-24 11:03:39 504

原创 windows环境 solr-7.4.0安装【一篇就够】

1,前提:java环境已配置好System RequirementsApache Solr runs on Java 8 or greater.It is also recommended to always use the latest update version of your Java VM, because bugs may affect Solr. An overview ...

2018-08-12 10:31:28 1836

原创 HBase安装(1.2.6)

一、获取安装包wget http://mirror.bit.edu.cn/apache/hbase/1.2.6/hbase-1.2.6-bin.tar.gz二、解压安装包tar -xvf hbase-1.2.6-bin.tar.gz三、配置环境变量vi /etc/profile四、在master机器上修改hbase配置/usr/hbase/hbase-1.2.6/conf/hbase-env.sh...

2018-07-10 23:42:56 641

转载 浅析数据库(DB)、操作数据存储(ODS)和数据仓库(DW)的区别与联系【一篇就够】

文章背景:相信大部分刚接触上面三个概念的同学,都多多少少会有些迷惑,现在我就给大家简单分析下这三者的关系,希望大家对这三者的概念理解有所帮助吧。本文主要从下面两类关系来叙述上面三者的关系:数据库(DB)和数据仓库(DW)的区别与联系操作数据存储(ODS)和数据仓库(DW)的区别与联系数据库与数据仓库的区别与联系数据库与数据仓库基础概念:数据库:传统的关系型数据库的主要应用,主要是基本的、日常的事务...

2018-06-26 22:48:06 3565

转载 Sql 四大排名函数(ROW_NUMBER、RANK、DENSE_RANK、NTILE)简介

排名函数是Sql Server2005新增的功能,下面简单介绍一下他们各自的用法和区别。我们新建一张Order表并添加一些初始数据方便我们查看效果。  表结构和初始数据Sql    附上表结构和初始数据图:   一、ROW_NUMBER  row_number的用途的非常广泛,排序最好用他,一般可以用来实现web程序的分页,他会为查询出来的每一行记录生成一个序号,依次排序且不会重复,注意使用row...

2018-06-13 15:09:55 1741

原创 windows上Eclipse+Python2.7+PyDev安装【一篇就够】

一、下载Eclipse1,下载地址:http://mirror.kakao.com/eclipse/technology/epp/downloads/release/oxygen/3a/eclipse-jee-oxygen-3a-win32-x86_64.zip2,解压即可二、下载安装Python2.7版1,下载地址:https://www.python.org/ftp/python/2.7.13...

2018-06-03 14:19:39 1443

原创 JVM-内存模型【一篇就够】

一、JVM内存模型(JMM) 二、程序计数器(PC)每个线程都会有自己私有的程序计数器(PC)。可以看作是当前线程所执行的字节码的行号指示器。也可以理解为下一条将要执行的指令的地址或者行号。字节码解释器就是通过改变这个计数器的值来选取下一条需要执行的字节码指令,分支、循环、跳转、异常处理、线程上下文切换、线程恢复时,都要依赖PC。1)如果线程正在执行的是一个Java方法,PC值为正在执行的虚拟机字...

2018-05-23 11:08:55 194

原创 HBase基本操作

HBase安装完成后,就可以做一些基本操作了。一、进入hbase shell二、创建、查看、删除表空间HBase系统默认定义了两个缺省的namespace:     hbase:系统内建表,包括namespace表和meta表     default:用户建表时未指定namespace的表都创建在此创建、删除表空间三、创建、查看、删除表表和表空间的隶属关系是在创建表时决定的,通过格式 <na...

2018-05-20 23:50:43 102

原创 HBase安装(1.2.6版)【一篇就够】

在Hadoop(2.9.0)完全分布式模式搭建完成的基础之上进行:一、下载HBase安装包cd /usr mkdir hbase curl -O http://mirror.bit.edu.cn/apache/hbase/1.2.6/hbase-1.2.6-bin.tar.gz (推荐,速度比wget快很多)或者wget http://mirror.bit.edu.cn/apache/hbase/...

2018-05-20 19:24:33 2129

原创 CentOS7 wget commond not found的解决办法【一篇就够】

Yum: 即Yellowdog Update Modifier,是一种基于rpm的包管理工具执行yum -y install wget进行安装

2018-05-20 16:54:33 1907

原创 Hive vs 传统数据仓库

Hive的优点:1,海量结构化数据分析汇总2,高可靠性,高容错性3,将负责的MapReduce编写任务简化为SQL语句,大大提升了开发效率4,灵活的数据存储Json,CSV,RCFile,SequenceFile,TextFile,自定义格式Hive的缺点:1,不支持事务类操作...

2018-05-20 14:52:18 1060

提示
确定要删除当前文章?
取消 删除