weixin_42767528的博客

原创 idea VM options配置

-Djava.library.path 运行时加载配置文件（lib）

原创 PostgreSQL

PostgreSQL练习建表--department(dNo,dName,officeRoom,homepage)--student(sNo,sName,sex,age,dNo)--course(cNo,cName,cPNo,credit,dNo)--sc(sNo,cNo,score,recordDate)CREATE TABLE department( dNo CHAR(2) NOT NULL UNIQUE, dName VARCHA

转载 Linux后台运行进程

最近在搭建kafka的过程中，发现启动相关服务后，终端界面无法再进行操作。每次都需要开启多个终端界面，实在是特别麻烦。于是就研究了下Linux后台启动程序的方法，并整理了如下的笔记。1 后台运行的例子nohup command > /dev/null 2>&1 &解释：nohup:no hangup，不挂断地运行命令。只用nohup命令，关闭终端，进程还存在。...

转载 kafka单机环境搭建及其基本使用

kafka单机环境搭建及其基本使用最近在搞kettle整合kafka producer插件，于是自己搭建了一套单机的kafka环境，以便用于测试。现整理如下的笔记，发上来和大家分享。后续还会有kafka的研究笔记，依然会与大家分享！1 kafka环境搭建1.1 kafka单机环境搭建(1)、解压kafka_2.11-1.1.0.tgz，得到“kafka_2.11-1.1.0”文件夹。(...

转载 Kafka单机伪分布式安装

环境： centos 6.5 x64 kafka_2.9.2-0.8.1.11.解压tar -xzf kafka_2.9.2-0.8.1.1.tgz2.配置copy两个副本：cp config/server.properties config/server-1.propertiescp config/server.properties config/server-2.pro...

转载 rdd数据类型

RDD算子分类，大致可以分为两类，即：1.  Transformation：转换算子，这类转换并不触发提交作业，完成作业中间过程处理。2.  Action：行动算子，这类算子会触发SparkContext提交Job作业。 一：Transformation：转换算子1.  map：&amp

转载 spark checkpoint机制简述

1、Spark core的checkpoint1）为什么checkpoint？分布式计算中难免因为网络，存储等原因出现计算失败的情况，RDD中的lineage信息常用来在task失败后重计算使用，为了防止计算失败后从头开始计算造成的大量开销，RDD会checkpoint计算过程的信息，这样作业失败后从checkpoing点重新计算即可，提高效率。2）什么时候写checkpoint数据？当...

转载 Spark RDD概念学习系列之RDD的5大特点

RDD的5大特点      1）有一个分片列表，就是能被切分，和Hadoop一样，能够切分的数据才能并行计算。　　一组分片（partition），即数据集的基本组成单位，对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配...

转载 Spark32个常用算子总结

<link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-d7e2a68c7c.css"> <div class="htmledit_views" id="content_views">

转载 Scala方法和函数的区别

Scala中既有函数也有方法，大多数情况下我们都可以不去理会他们之间的区别。但是有时候我们必须要了解他们之间的不同。 Scala中的方法跟Java的方法一样，方法是组成类的一部分。方法有名字、类型签名，有时方法上还有注解，以及方法的功能实现代码（字节码）。 Scala中的函数是一个完整的对象。Scala中用22个特质（trait）抽象出了函数的概念。这2...

原创 StringUtils工具类常用方法

StringUtils工具类常用方法isEmpty(String str) 是否为空，空格字符为falseisNotEmpty(String str) 是否为非空，空格字符为trueisBlank(String str) 是否为空，空格字符为trueisNotBlank(String str) 是否为非空，空格字符为falsetrim(String str)去除字符串两端的控制符，空字符...

原创 idea快捷键

Ctrl+Shift + Enter，语句完成“！”，否定完成，输入表达式时按 “！”键Ctrl+E，最近的文件Ctrl+Shift+E，最近更改的文件Shift+Click，可以关闭文件Ctrl+[ OR ]，可以跑到大括号的开头与结尾Ctrl+F12，可以显示当前文件的结构Ctrl+F7，可以查询当前元素在当前文件中的引用，然后按 F3 可以选择Ctrl+N，可以快速打开类C...

原创 scala单词统计

在list集合里输入文本scala> val lines = List(“hello tom hello jerry”, “helo jerry”,“hello kitty”)lines: List[String] = List(hello tom hello jerry, helo jerry, hello kitty)按空格切分scala> val n1=lines.fl...

原创 hive 终端产生的问题 （Failed to start database 'metastore_db', see the next exception for details.）

今天使用Hive的时候遇到一个这样的bug，上网查下原来是个小问题，在此记录下 。FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Failed to start database ‘metastore_db’, see the next exception for details.NestedThrowables...

原创 YARN资源管理框架

Hadoop2.x MapReduce V2处理流程YARNHadoop2.0中的资源管理框架(系统)它的基本思想就是将MRV1中JobTracker拆分成两个独立的服务进程一个是全局的资源管理器 ResourceManager(RM)和每个应用程序持有ApplicationMaster(AppMaster)其中RM负责资源管理和分配, AppMaster负责单个应用程序的管理ps:Job...

原创 shuffle过程文件描述

shuffle主要流程简介先对数据进行切片，然后经数据传递给map，map的输出是环形缓冲区，环形缓冲区默认大小是100M，当达到80%的时候数据就溢写到本地，剩余20%用于继续获取数据，在溢写到磁盘的时候会执行partition（分区）和sor（排序），然后对文件进行合并操作，合并完成后reducetask会启动线程去mapTask拉取数据，然后进行文件合并，并进行排序（归并），然后将小文件合...

原创 Combiner

Combiner的作用就是对map端的输出先做一次合并，以减少在map和reduce节点之间的数据传输量，以提高网络IO性能，是MapReduce的一种优化手段之一。Combiner是MR程序中Mapper和Reducer之外的一种组件Combiner组件的父类就是ReducerCombiner和Reducer对的区别在于运行的位置Reducer是每一个接收全局的MapTask所输出的结...

原创 hadoop-WordCount单词统计

/** * *Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT> * *输入 key 文本中偏移量 *value 文本中的内容 * *输出 key 是文本的内容 * *value 是单词出现的次数 */public class WordCountMap extends Mapper<LongWritable, Te...

原创 java基础

1.进制转换2.数据类型3.运算符4.流程控制语句进制转换：进制：遇几进一就是几进制常用的进制：二进制，八进制，十进制，十六进制二进制：遇二进一，是计算机能够识别的一种形式八进制，十六进制：可以更好的表示二进制计算机的存储单位：1 Byte = 8 bit1 kb = 1024 Byte1 MB = 1024 KB1 GB = 1024 MB1 TB = 10...

原创 构造方法

构造方法：调用的时候构成：类名 + （）定义时候的基本构成：修饰词 方法名（参数列表）{方法体}注意点：1.没有返回值这一项 2.方法名必须与类名保持一致构造方法的作用：对对象的属性进行初始化，如果我们自己不创建，系统会调用默认的构造方法自己创建的构造方法分类：无参的构造方法：与系统默认的构造方法一致，会将成员变量赋值成null或0或false等有参的构造方法：会将成...

原创 关于Comparable接口和Comparetor接口的两种排序

Comparable接口TreeSet:实现去重和排序的方式:1.让元素去实现Comparable接口,重写compareTo方法public class Demo { public static void main(String[] args) { // TreeSet:实现去重和排序的方式: //1.让元素去实现Comparable接口,重写compareTo方法------默认...

原创 字节流跟字符流区别

字节流什么都能读 字节 图片 音乐视频 文件 ，字符流 读取文本字节流直接操作的是文件的本身， 字符流操作之中还存在缓冲区 ，使用普通字节流处理中文的时候想要读取很多行可能出现乱码使用字节流操作文本的时候，如果不关闭资源，同样可以把内容输出到文本中，但是使用字符流操作文本的话，如果没有关闭资源，或者没有清空缓存区。内容是不会输出到文本中的...

原创 writable序列化和java序列化的区别

转载 namenode启动过程

NameNode数据存储在内存和本地磁盘，本地磁盘数据存储在fsimage镜像文件和edits编辑日志文件 第一次启动 1、格式化文件系统，为了生成fsimage镜像文件 2、启动NameNode （1）读取fsimage文件，将文件内容加载进内存 （2）等待DataNade注册与发送Block Report 3、启动DataNode ...

转载 HashMap 和 HashTable 到底哪不同 ？

<!-- BEGIN .entry-header --><div class="entry-header"> <h1>HashMap 和 HashTable 到底哪不同 ？</h1> </div><

转载 五个学生，每学生有3门课的成绩， * 从键盘输入以上数据（学生号，姓名，三门课成绩）， * 计算出 平均成绩（采用面向对象的方式，如学生

/** * 有五个学生，每学生有3门课的成绩， * 从键盘输入以上数据（学生号，姓名，三门课成绩）， * 计算出 平均成绩（采用面向对象的方式，如学生类。。。）。 * @author chenkunqing *  time : 2017/7...

转载 JAVA中关于set()和get()方法的理解及使用

hosealee的个人空间 工作日志 ...

转载 vmware虚拟机Linux(redhat)上用户密码忘记了怎么办？

版权声明：Life's tragedy is that we get old too soon and wise too late. https://blog.csdn.net/Love_Legain/article/details/54342102 虚拟机Linu...

转载 java 构造方法和一般方法的区别

构造方法特点：1.方法名称和类名相同2.不用定义返回值类型3.不可以写return语句作用：给对象初始化构造方法的细节：当一个类中没有定义构造函数时，系统会默认添加一个无参的构造方法。当在类中自定义构造方法之后，默认的无参构造方法消失（如果需要无参构造方法需手动添加）。构造方法与一般方法在写法上的不同：构造方法：p...

转载 java中静态成员变量和非静态成员变量的区别

2静态成员变量值是所有类的实例共享的，所以调用的时候只需要  类名.属性名  就可调用（也只能这样调用），而非静态成员变量的值是各个实例私有的，所以调用的时候必须是先有具体的类的实例，然后通过实例名来调用。也就是说，static修饰的成员，大家用的时候都用的一个东西，一个人改动后，大家的都变了。而非static 修饰的成员是个人私有的，允许自己修改，每个人的都不一样。所...

原创 线程通信-生产者消费者

多线程的设计模式:生产者消费者两类:1.单生产者单消费者2.多生产者多消费者先研究单生产者单消费者分析:生产线程,消费线程生产任务,消费任务产品 public static void main(String[] args) { //1.创建产品 Product product = new Product(); //2.创建生产任务,消费任务 Producer pr...

原创 冒泡选择排序 普通二分查找

冒泡排序它重复地走访过要排序的元素列，依次比较两个相邻的元素，如果他们的顺序（如从大到小、首字母从A到Z）错误就把他们交换过来。它重复地走访过要排序的元素列，依次比较两个相邻的元素，如果他们的顺序（如从大到小、首字母从A到Z）错误就把他们交换过来。走访元素的工作是重复地进行直到没有相邻元素需要交换，也就是说该元素已经排序完成。这个算法的名字由来是因为越大的元素会经由交换慢慢“浮”到数列...