- 博客(64)
- 收藏
- 关注
RSS订阅原创 spark提交任务的基础配置解释
#!/bin/bash#队列名 根据yarn的队列提交realtime_queue=root#提交的任务名my_job_name="OrderQZ"spark-shell --master yarn --deploy-mode client \--queue $realtime_queue \#总的executors数 根据数据量与自己的集群资源来分配--num-executors 35 \#每个executor的核数--executor-cores 5 \#每个executor的内存
2022-02-08 15:16:44
1624
原创 修改git提交作者名
1.在用户下的.gitconfig文件中,可以看到用户和邮箱设置的地方,可以直接进行修改2.打开git bash ,在bash中输入git config --global user.name "delta",将name修改为email就是修改邮箱的命令3.在使用idea提交时,可以选择author,可以写自己,提交就是自己的了...
2020-08-06 17:21:56
393
原创 Scala中的foreach forall exists map函数
Scala中的foreach forall exists map函数及其区别forall对集合中的元素进行某个判断，全部为true则返回true，反之返回false。例如：scala> var s = List("hello", "world")s: List[String] = List(hello, world)scala> s.forall( f => f.contains("h") )res34: Boolean = falsescala> s.
2020-07-13 14:21:54
287
原创 scala语法题练习
1、**[primary]**关于和Scala进行交互的基本方式REPL说法错误的是?CA、R 读取（read）B、E 求值（evaluate）C、P 解析（Parse）D、L 循环（Loop）2、**[primary]**不属于Scala7种数值类型的是?DA、CharB、IntC、FloatD、LongLong3、**[primary]**如果需要使用scala库中的sqrt函数,如sqrt(2)，下列引用包的方式错误的是?BA、import scala....
2020-07-07 17:38:56
1742
原创 面试问题设计模式:单例模式整理(转发)
1、懒汉式懒汉式，顾名思义就是实例在用到的时候才去创建，“比较懒”，用的时候才去检查有没有实例，如果有则返回，没有则新建。有线程安全和线程不安全两种写法，区别就是synchronized关键字。2、饿汉式饿汉式，从名字上也很好理解，就是“比较勤”，实例在初始化的时候就已经建好了，不管你有没有用到，都先建好了再说。好处是没有线程安全的问题，坏处是浪费内存空间。3、双检锁双检锁，又叫双重校验锁，综合了懒汉式和饿汉式两者的优缺点整合而成。看上面代码实现中，特点是在synchroni
2020-06-23 23:18:04
138
原创 spark常用rdd整理
tranformationRDD转换 rdd:map(func)返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成filter(func)返回一个新的RDD，该RDD由经过func函数计算后返回值为true的输入元素组成flatMap(func)类似于map，但是每一个输入元素可以被映射为0或多个输出元素（所以func应该返回一个序列，而不是单一元素）mapPartitions(func)类似于map，但独立地在RDD的每一个分片上运行，因此在类型为T...
2020-06-21 18:27:12
231
原创 Scala 中的协变,逆变和非变
协变、逆变、非变介绍协变和逆变主要是用来解决参数化类型的泛化问题。Scala 的协变与逆变是非常有特色的，完全解决了Java中泛型的一大缺憾；举例来说，Java中，如果有 A 是 B 的子类，但 Card[A]却不是 Card[B] 的子类；而 Scala 中，只要灵活使用协变与逆变，就可以解决此类 Java 泛型问题；由于参数化类型的参数（参数类型）是可变的，当两个参数化类型的参数是继承关系（可泛化），那被参数化的类型是否也可以泛化呢？Java 中这种情况下是不可泛化的，然而 Scala..
2020-06-17 23:10:15
200
转载 Spark之中map与flatMap的区别
Spark之中map与flatMap的区别一直不太明白spark之中map与flatMap之间的区别。map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。flatMap的操作是将函数应用于rdd之中的每一个元素，将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。区别1： flatMap返回的是迭代器中的元素。上面的例子说明对于传递给fla...
2018-10-08 17:39:59
234
转载 Linux命令:find
find命令用来在指定目录下查找文件。任何位于参数之前的字符串都将被视为欲查找的目录名。如果使用该命令时，不设置任何参数，则find命令将在当前目录下查找子目录与文件。并且将查找到的子目录和文件全部进行显示。语法find(选项)(参数)选项-amin<分钟>：查找在指定时间曾被存取过的文件或目录，单位以分钟计算；-anewer<参考文件或目录>：查找其...
2018-10-01 19:46:28
185
转载 Linux命令:df
df命令用于显示磁盘分区上的可使用的磁盘空间。默认显示单位为KB。可以利用该命令来获取硬盘被占用了多少空间，目前还剩下多少空间等信息。语法df(选项)(参数)选项-a或--all：包含全部的文件系统；--block-size=<区块大小>：以指定的区块大小来显示区块数目；-h或--human-readable：以可读性较高的方式来显示信息；-H或--si：与-...
2018-10-01 13:13:38
187
转载 Linux命令:netstat 网络监听
netstat命令用来打印Linux中网络系统的状态信息，可让你得知整个Linux系统的网络情况。语法netstat(选项)选项-a或--all：显示所有连线中的Socket；-A<网络类型>或--<网络类型>：列出该网络类型连线中的相关地址；-c或--continuous：持续列出网络状态；-C或--cache：显示路由器配置的快取信息；-e或...
2018-10-01 12:51:40
298
转载 HBase的rowkey的设计原则
HBase的rowkey的设计原则HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯一标识一行记录，三种查询方式通过get方式，指定rowkey获取唯一一条记录通过scan方式，设置startRow和s...
2018-09-19 10:24:08
254
转载 HBase中使用过滤器进行查询
使用过滤器进行查询比较过滤器有几种？RowFilter 基于RowKey的过滤FamilyFilter 基于列簇的过滤QualifierFilter 基于字段的过滤ValueFilter 基于值的过滤DependentColumnFilter 参考值过滤器比较运算符？LESS 匹配小于设定值的值LESS_OR_EQUAL 匹配小于或等于设定值的值EQUAL 匹配...
2018-09-18 20:36:02
548
原创 Hadoop-HA高可用集群搭建步骤整理
第一步:首先准备搭建背景1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 /etc/hosts4.关闭防火墙5.ssh免登陆6.安装JDK，配置环境变量等7.注意集群时间要同步 集群部署节点角色的规划（7节点） ------------------ server01 namenode zkfc server02 nam...
2018-09-18 17:45:23
232
原创 redis的启动
知道安装目录的直接cd到redis安装目录下不知道的输入命令:whereis redis命令:cd 路径/bin开启:./redis-server ../conf/redis-6379.conf查询:ps -ef | grep redis连接:./redis-cli -h 192.168.23.130如果连接不上,请注意防火墙是否关闭,安全模式是否关闭,protectm...
2018-09-16 21:50:44
197
转载 Flume 安装部署
Flume 安装部署Flume 的安装非常简单上传安装包到数据源所在节点上然后解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz然后进入 flume 的目录，修改 conf 下的 flume-env.sh，在里面配置 JAVA_HOME根据数据采集需求 配置采集方案，描述在配置文件中(文件名可任意自定义)指定采集方案配置文件，在相应的节点上启动 fl...
2018-09-15 18:30:37
165
原创 Linux命令：tail -f 与tail -F的区别
tail -f 等同于--follow=descriptor,根据文件描述符进行追踪,当文件改名或者删除时,停止追踪.tail -F 等同于--follow=name -retry ,根据文件名进行追踪,并保持重试,即该文件被删除或改名后,如果再次创建相同的文件名,则继续追踪...
2018-09-15 12:20:24
885
原创 一键启动关闭zookeeper集群脚本
一共需要编写三个文件 第一个文件:slave用于存放集群主机的host地址内容如下:node-1node-2node-3 第二个文件:启动脚本startzk.sh内容如下:(路径为自定义执行脚本路径)cat /export/servers/zk/bin/slave | while read linedo{ echo $line ssh $line "...
2018-09-14 21:10:54
444
原创 Kafka集群搭建
搭建Kafka集群1.1、准备3台虚拟机192.168.140.128 kafka01192.168.140.129 kafka02192.168.140.130 kafka031.2、初始化环境1）安装jdk、安装zookeeper2）安装目录 安装包存放的目录：/export/software安装程序存放的目录：/export/servers...
2018-09-14 20:41:49
258
原创 redis的bin目录下的脚本含义
bin目录文件说明redis-benchmark 脚本用于性能测试redis-check-aof 脚本用于redis数据持久化,是来一条存储一条redis-check-rdb 脚本用于redis数据持久化,是每隔一段时间存储一次redis-cli 脚本用于客户端对redis的连接redis-sentinelà -- >redis-server 脚本用于集群上r...
2018-09-14 20:32:44
969
原创 linux下redis的部署安装
第一步:安装gcc(用于编译redis原码)yum –y install gcc gcc-c++ libstdc++-devel tcl –y 第二步:下载redis源码包(网址redis.io)sftp(put命令)或者rz到linux系统(目录自己定)tar -zxvf 原码包 第三步:编译rediscd到redis目录下make MALLOC=...
2018-09-14 20:28:51
212
原创 redis配置文件(原文件内容)
# Redis configuration file example.## Note that in order to read the configuration file, Redis must be# started with the file path as first argument:## ./redis-server /path/to/redis.conf# Note...
2018-09-14 20:17:09
303
转载 redis中的incr命令和incrby命令
Redis Incr 命令将 key 中储存的数字值增一，如果 key 不存在，那么 key 的值会先被初始化为 0 ，然后再执行 INCR 操作。Redis Incrby 命令将 key 中储存的数字加上指定的增量值，如果 key 不存在，那么 key 的值会先被初始化为 0 ，然后再执行 INCR 操作。Redis Hincrby 命令用于为哈希表中的字段值加上指定增量值...
2018-09-14 19:11:55
2162
原创 问题解决：端口占用问题解决
异常:服务运行时产生端口占用问题解决方法:1.第一种情况是你新建服务设置端口 查看端口占用情况:在cmd中输入netstat -ano，按下回车键 查看自己设置的端口是否已经被占用,勤快的可以修改端口2.第二种情况是你运行的是以前创建的服务,但依旧被占用 可直接在任务管理器中将自己之前运行java.exe文件结束进程,重启服务即可...
2018-09-08 21:39:10
511
原创 Hadoop安全模式如何解除(azkaban进行文件创建)
异常:解决方案:使用如下命令解除安全模式bin/hadoop dfsadmin -safemode leave
2018-09-04 21:08:52
255
转载 Comparator 接口用法
转载：http://blog.csdn.net/u012250875/article/details/55126531 1.为什么写？comparator 是javase中的接口，位于java.util包下，该接口抽象度极高，有必要掌握该接口的使用 大多数文章告诉大家comparator是用来排序，但我想说排序是comparator能实现的功能之一，他不仅限于排序2.接口功能该...
2018-09-03 15:58:48
453
原创 hadoop中mapreduce本地运行是权限问题
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Nati...
2018-09-03 10:56:37
891
原创 无效的源发行版异常处理
异常:解决方案:原因是因为我们maven使用的jdk和我们pom文件中所规定的版本不一致,检查自己工程pom文件,在编译插件中将1.8修改为1.7即可如果忘记自己maven设置的运行tomcat的jdk版本,可以在setting中的maven中的runner中查看和修改(idea)...
2018-09-03 10:13:22
449
原创 Shell 编程
Shell 编程Shell 是一个用 C 语言编写的程序，通过 Shell 用户可以访问操作系统内核服务。它类似于 DOS 下的 command 和后来的 cmd.exe。Shell 既是一种命令语言，又是一种程序设计语言。Shell script 是一种为 shell 编写的脚本程序。Shell 编程一般指 shell脚本编程，不是指开发 shell 自身。Shell 编程跟 ja...
2018-08-26 19:26:36
213
原创 Hadoop使用ls查询时出现的异常解决
异常:Java HotSpot(TM) Server VM warning: You have loaded library /home/hadoop/hadoop-2.7.7/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard n...
2018-08-25 20:17:11
805
原创 spring task任务调度器之Cron表达式
Cron表达式 Cron表达式格式 Cron表达式是一个字符串，字符串以5或6个空格隔开，分为6或7个域，每一个域代表一个含义，Cron有如下两种语法格式： （1）Seconds Minutes Hours DayofMonth Month DayofWeek Year（2）Seconds Minutes Hours DayofMonth Month DayofWeek每一...
2018-08-17 20:33:29
644
转载 Maven Profile达到不同环境使用不同配置信息
Maven Profile什么是MavenProfile在我们平常的java开发中，会经常使用到很多配制文件（xxx.properties，xxx.xml），而当我们在本地开发（dev），测试环境测试（test），线上生产使用（product）时，需要不停的去修改这些配制文件，次数一多，相当麻烦。现在，利用maven的filter和profile功能，我们可实现在编译阶段简单的指定一个参数...
2018-08-17 20:31:34
479
转载 开源数据库中间件-MyCat
开源数据库中间件-MyCat如今随着互联网的发展，数据的量级也是撑指数的增长，从GB到TB到PB。对数据的各种操作也是愈加的困难，传统的关系性数据库已经无法满足快速查询与插入数据的需求。这个时候NoSQL的出现暂时解决了这一危机。它通过降低数据的安全性，减少对事务的支持，减少对复杂查询的支持，来获取性能上的提升。但是，在有些场合NoSQL一些折衷是无法满足使用场景的，就比如有些使用场景是绝...
2018-08-17 13:29:54
673
转载 eclipse常用快捷键整理
编辑Ctrl+1 快速修复（最经典的快捷键,就不用多说了，可以解决很多问题，比如import类、try catch包围等） Ctrl+Shift+F 格式化当前代码 Ctrl+Shift+M 添加类的import导入 Ctrl+Shift+O 组织类的import导入（既有Ctrl+Shift+M的作用，又可以帮你去除没用的导入，很有用） Ctrl+Y 重做（与撤销Ctrl+Z相反） ...
2018-08-10 21:56:01
227
原创 微信支付SDK
微信支付SDK微信支付提供了SDK, 大家下载后打开源码，install到本地仓库。使用微信支付SDK,在maven工程中引入依赖 <dependency> <groupId>com.github.wxpay</groupId> <artifactId>wxpay-sdk&...
2018-08-10 21:24:52
1065
原创 HttpClient工具类
HttpClient工具类HttpClient是Apache Jakarta Common下的子项目，用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包，并且它支持HTTP协议最新的版本和建议。HttpClient已经应用在很多的项目中，比如Apache Jakarta上很著名的另外两个开源项目Cactus和HTMLUnit都使用了HttpClient。HttpClien...
2018-08-10 21:22:10
260
原创 qrious二维码生成插件
二维码什么是二维码二维码又称QR Code，QR全称Quick Response，是一个近几年来移动设备上超流行的一种编码方式，它比传统的Bar Code条形码能存更多的信息，也能表示更多的数据类型。二维条码/二维码（2-dimensional bar code）是用某种特定的几何图形按一定规律在平面（二维方向上）分布的黑白相间的图形记录数据符号信息的；在代码编制上巧妙地利用构成计算机...
2018-08-10 20:55:10
4682
原创 Spring Data Solr入门
Spring Data Solr入门 Spring Data Solr简介虽然支持任何编程语言的能力具有很大的市场价值，你可能感兴趣的问题是：我如何将Solr的应用集成到Spring中？可以，Spring Data Solr就是为了方便Solr的开发所研制的一个框架，其底层是对SolrJ（官方API）的封装。 Spring Data Solr入门小Demo 搭建工程创建mave...
2018-08-10 18:08:28
225
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人