- 博客(53)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spark算子分类
算子分类Transformation算子:不触发提交作业,完成作业中间处理过程 Value数据类型的Transformation算子 输入分区与输出分区一对一型 1 map2 flatmap3 mapPartitions4 glom输入分区与输出分区多对一型 5 union6 cartesian输入分区与输出分区多对多型 7 groupBy输出分区为输入分区子集型 8...
2019-10-11 11:33:53
250
原创 spark RDD算子 parallelize，makeRDD，textFile
parallelize将一个存在的集合，变成一个RDD。这种方式试用于学习spark和做一些spark的测试 第一个参数一是一个 Seq集合 第二个参数分区数 var array = List(1, 2, 3, 4, 5, 6, 7, 8) var rdd = sc.parallelize(array，3) 1 2makeRDD只有scala版...
2019-10-10 15:01:05
282
原创 IT行业含金量较高的证书汇总
当今国内流行的各种IT考试认证，包括全国计算机等级考试、软件水平考试、职业技能鉴定考试(计算机高新考试)、高校计算机等级考试(CCT)、行业认证(包括微软认证)、国家信息化技术证书、印度NIIT认证、全国信息技术高级人才水平考试(NIEH)认证、北大青鸟ACCP认证等。国外认证考试【1】微软微软认证, 包括系统管理方向，数据库方向和开发方向的证书。分别叫做MCSE，MCDBA，MCAD/MC...
2019-09-09 17:05:23
6928
原创 Java中Map的 entrySet() 详解以及用法(四种遍历map的方式)
原 Java中Map的 entrySet() 详解以及用法(四种遍历map的方式) ...
2019-09-09 17:02:13
1438
原创 main方法不能直接调用 非静态方法
public class Test {public static void main(String [] args) {amethod(args);}public void amethod(String [] args){}}问题原因：main方法是静态方法，静态方法可以在没有对象实例的时候直接调用，故可以直接调用main方法，但是因为没有对象实例，所以不能调用非静态方法。解决...
2019-08-31 20:11:12
5111
原创 hdfs的启动与关闭
一.HDFS 启动与关闭HDFS 和普通的硬盘上的文件系统不一样，是通过Java 虚拟机运行在整个集群当中的，所以当Hadoop 程序写好之后，需要启动HDFS 文件系统，才能运行。HDFS 启动过程如下：1）进入到NameNode 对应节点的Hadoop 安装目录下。2）执行启动脚本：bin/start-dfs.sh这一脚本会启动NameNode，然后根据conf/slaves 中的...
2019-08-29 10:53:36
748
原创 解决Xshell中使用hbase shell backspace无法删除
进入到XShell 文件 –> 属性 –> 终端 –> 键盘在 DELETE键序列 和 BACKSPACE键序列 中都选择 ASCII 127最后进入 Hbase 命令行测试，可以删除！
2019-08-29 10:41:17
188
原创 Flume 的可靠性
当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to- end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。），Store on failure（这也是scribe采用的策略，当数据接收方crash时，将数据写到本地，待恢复后，继续发送），Best effor...
2019-08-21 11:32:33
491
原创 7种join连接详情
1.内连接内连接查询出的数据是两张表的交集，即上图中红色所表示的部分。2.左外连接左外链接如图中红色部分的内容，即包含左边表的全部行（不管右边的表中是否存在与它匹配的行），和右边表中全部匹配的行。3.右外链接右外链接如图中红色部分的内容，即包含右边表的全部行（不管左边的表中是否存在与它匹配的行）...
2019-08-08 16:25:09
937
原创 xshell 设置右键粘贴
1.打开Xshell，单击菜单栏的Tools(工具)，选中Options（菜单），进入参数设置界面。、选择Keyboard and Mouse （键盘和鼠标），把Right-bottox（向右按钮）要素的值选为“Paste the clipboard contents”，点击确定。在选项Copy selected text to the auto （将选定的文本自动复制到剪切板）打“√” 最后...
2019-08-06 17:02:51
300
原创 Hadoop Configuration详解
2.2 Hadoop Configuration详解Hadoop没有使用java.util.Properties管理配置文件，也没有使用Apache Jakarta Commons Configuration管理配置文件，而是使用了一套独有的配置文件管理系统，并提供自己的API，即使用org.apache.hadoop.conf.Configuration处理配置信息。2.2.1 Hadoop...
2019-08-06 16:49:53
2749
原创 mapreduce 输入路径
目前为止知道MapReduce有三种输入路径的设置方式：1、第一种是通过以下方式输入：FileInputFormat.addInputPath(job, new Path(args[0]));FileInputFormat.addInputPath(job, new Path(args[1]));FileInputFormat.addInputPath(job, new Path(args...
2019-08-04 17:04:27
821
原创 优秀程序员必备的15大技能
编程是个很复杂的玩意，但是成就优秀程序员的很多因素和我们在学校中早期学到的相差无几。本文灵感来源于Robert Fulghum的《All I Really Need to Know I Learned in ...
2019-08-02 17:31:59
164
转载 正则表达式 匹配字符串 matches()方法的运用
package cn.niit.demo5zhengze;/*正则表达式匹配字符串 matches()方法的运用/public class Test {public static void main(String[] args){checkQQ();checkTel();}/检查手机号码是否合法1开头 第二位可以是34578 其他0-9 位数固定11位/publ...
2019-07-30 11:31:57
1002
原创 InnoDB acid QPS
InnoDB，是MySQL的数据库引擎之一，现为MySQL的默认存储引擎，为MySQL AB发布binary的标准之一。InnoDB由Innobase Oy公司所开发，2006年五月时由甲骨文公司并购。与传统的ISAM与MyISAM相比，InnoDB的最大特色就是支持了ACID兼容的事务（Transaction）功能，类似于PostgreSQLacid （数据库事务正确执行的四个基本要素的缩写）...
2019-07-29 20:11:27
185
转载 什么时mysql dba
MySQL DBA意思是MySQL数据库管理员，DBA就是数据库管理员的意思。要成为MySQL DBA，不是会哪些东西的问题，而是一定要对MySQL数据库方方面面都得非常精通才行。DBA的职责是：● 安装和升级数据库服务器，以及应用程序工具。● 数据库设计系统存储方案，并制定未来的存储需求计划。一旦开发人员设计了一个应用，就需要DBA来创建数据库存储结构（tablespaces）。一旦开...
2019-07-29 20:08:06
162
转载 linux 中>> >
1、输入输出的区别：和>都属于输出重定向，<属于输入重定向。2、文件内容的区别：会覆盖目标的原有内容。当文件存在时会先删除原文件，再重新创建文件，然后把内容写入该文件；否则直接创建文件。会在目标原有内容后追加内容。当文件存在时直接在文件末尾进行内容追加，不会删除原文件；否则直接创建文件。...
2019-07-25 16:48:04
192
转载 vi 删除与复制多行
文章分类:操作系统一、多行dd删除一行ndd删除以当前行开始的n行dw删除以当前字符开始的一个字符ndw删除以当前字符开始的n个字符d$、D删除以当前字符开始的一行字符d)删除到下一句的开始d}删除到下一段的开始d回车删除2行二、复制多行任务：将第9行至第15行的数据，复制到第16行方法1：（强烈推荐）：9，15 copy 16 或 ：9，15 co ...
2019-07-24 16:50:41
448
转载 shell中如何删除文本比较长的行
有的时候需要对文件执行删除删除操作，这个时候比较常用的会使用vi命令中的dd命令，比如先执行10G(跳转到第10行)，然后再执行20dd(删除20行)，但实际情况未必是这么常规，比如说，要删除文件中，某行长度超过200个字符的行，如果文本比较小，还好，如果是几万行，几十万行的呢？ 这个想用vi就不现实了。 我然想到的办法就是:比如说，通过sed,awk,egrep命令来达到目的。 举个简单例子。...
2019-07-24 16:39:11
1869
转载 操作系统 多用户 多任务 如何理解 （Linux）
单用户、多用户、单任务、多任务，这么多种操作系统容易让人迷糊。其实这种初看你会觉得理解了一点，但其实你仔细研究会发现，多用户到底讲的是什么鬼？多任务比较简单，就是应用程序都要放置到内存上去给CPU调度执行的，你正在使用的浏览器、QQ、音乐播放器，都放置在内存中（不一定此刻就在执行），你同一时刻即在浏览网页、玩QQ、听歌，这就是多任务。由于Linux继承了Unix的特性，天生支持用户模式，不太好...
2019-07-19 17:19:25
16974
1
转载 linux shell seq命令的用法
用于产生从某个数到另外一个数之间的所有整数例一：seq 1 10结果是1 2 3 4 5 6 7 8 9 10例二：#!/bin/bashfor i in seq 1 10;doecho $i;done或者用for i in $(seq 1 10)也可以seq-f, --format=FORMAT use printf style floating-point...
2019-07-18 09:12:16
751
原创 shell 比较
eq相等 ne、neq不相等， gt大于， lt小于 gte、ge大于等于 lte、le 小于等于 not非 mod求模 is [not] div by是否能被某数整除 is [not] even是否为偶数 is [not] even by b即(b即(b即(a / $b) % 2 == 0 is [not] odd是否为奇 is not odd by b即...
2019-07-16 15:21:23
805
转载 日志级别的选择
版权声明：转自 https://blog.csdn.net/qq_38704184/article/details/82318207日志级别的选择：Debug、Info、Warn、Error还是Fatal日志信息分类1.等级由低到高：debug<info<warn<Error<Fatal;2.区别：debug 级别最低，可以随意的使用于任何觉得有利于在调试时更详细...
2019-07-14 19:47:17
3176
原创 内部类
1.是什么？ 内部类是定义在另一个类中的类。2.为要使用内部类① 内部类提供了更好的封装，可以把内部类隐藏在外部类之内，不允许同一个包中的其他类访问该类。② 内部类成员可以直接访问外部类的私有数据，因为内部类被当成其外部类成员，同一个类的成员之间可以互相访问。但外部类不能访问内部类的实现细节，例如内部类的成员变量。③ 当想要定义一个回调函数（执行完某些方法后会触发这个方法）且不想编写大量代...
2019-07-14 15:37:22
223
原创 理解类成员
在Java 类里只能包含① 成员变量 ② 方法 ③ 构造方法 ④初始化块 ⑤内部类（包括接口 枚举）其中static 可以修饰① 成员变量 ② 方法 ③初始化块 ④内部类（包括接口 枚举） 以static 修饰的成员就是类成员。类成员属于整个类，而不属于单个对象。...
2019-07-14 15:10:00
143
转载 Linux数字权限
<div id="post_detail"> linux系统644、755、777权限详解 在linux系统中644、755、777三种权限是非常重要的一些权限了，下面我来详细的介绍644、755、777三种权限的使用，希望对各位有帮助。 常用的linux文件权限：444 r--r--r--600 rw-------644...
2019-07-08 09:08:41
1392
转载 什么是C标签 为什么要用C 标签
JSTL是apache对EL表达式的扩展（也就是说JSTL依赖EL），JSTL是标签语言。JSTL标签使用以来非常方便，它与JSP动作标签一样，只不过它不是JSP内置的标签，需要我们自己导包，以及指定标签库而已。JSP标准标签库（JSTL）是一个JSP标签集合，它封装了JSP应用的通用核心功能。JSTL支持通用的、结构化的任务，比如迭代，条件判断，XML文档操作，国际化标签，SQL标签。 除了这...
2019-06-26 14:07:46
1378
转载 计算机专业应该读的书
列一下我所认为的，你面试微软前必须要读的十本书：Code: The Hidden Language of Computer Hardware and Software （《编码的奥秘》）Computer System: A Programmer’s Approach （《深入理解计算机系统》） / Windows via C/C++ （《Windows核心编程》 / 《程序员的自我修养》Co...
2019-06-14 16:23:42
287
转载 Java中什么时候用 static修饰的方法 有什么好处和坏处
1.当一个方法需要初始化加载或者经常被调用的时候可以加上 static2.被 static 修饰的方法可以用类名直接调用，不用实例化一个对象后才调用3.比如 person这个类里有一个方法 public static add () {} 那么可以使用 person.add();调用，当然也可以创建对象调用比如 person p= new person();p.add();调用类...
2019-06-14 15:34:27
3043
原创 方法的所属性
1.Java中的方法不能独立存在，方法必须属于类或对象。2 .被 static 修饰的方法属于这个类，否则 这个方法属于这个类的实例（如何理解）3 方法不能独立存在，怎么来执行？执行方法时必须使用类或对象来作为调用者，及所有方法必须使用 类.方法 或 对象.方法来调用。4.同一个类的一个方法调用另外一个方法时如果被调用方法是普通方法则默认使用 this作为调用者，如果被...
2019-06-14 15:22:51
336
原创 基本数据类型和引用数据类型
一、基本数据类型：byte：Java中最小的数据类型，在内存中占8位(bit)，即1个字节，取值范围-128~127，默认值0short：短整型，在内存中占16位，即2个字节，取值范围-32768~32767，默认值0int：整型，用于存储整数，在内在中占32位，即4个字节，取值范围-2147483648~2147483647，默认值0long：长整型，在内存中占64位，即8个字节-263...
2019-06-14 14:16:38
280
原创 相对路径代表的是什么？
由于是小白（半路入行），所以很多都不太懂！之前一直都是使用的绝对路径： ${pageContext.request.contextPath}；这次写静态网站用到相对路径，所以学习了解了一下，记录下来！./ 当前目录。../ 父级目录。/ 根目录。&nbs...
2019-06-13 16:15:48
310
转载 深入理解Java虚拟机 精华总结（面试）
一、运行时数据区域Java虚拟机管理的内存包括几个运行时数据内存：方法区、虚拟机栈、本地方法栈、堆、程序计数器，其中方法区和堆是由线程共享的数据区，其他几个是线程隔离的数据区1.1 程序计数器程序计数器是一块较小的内存，他可以看做是当前线程所执行的行号指示器。字节码解释器工作的时候就是通过改变这个计数器的值来选取下一条需要执行的字节码的指令，分支、循环、跳转、异常处理、线程恢复等基础功能都需...
2019-06-11 18:47:49
110
原创 Eclipse中ctrl+shift+t (h)快捷键失效的解决办法
原 Eclipse中Ctrl+Shift+T(OpenType)快捷键失效的解决方法 2018年08月27日 22:19:29 ...
2019-06-10 11:01:21
4067
1
dynatrace-agent-7.2.0.1697-x86(include webserver agent)--32 bit.msi
2021-05-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人