- 博客(46)
- 收藏
- 关注
RSS订阅原创 6、hadoop上命令行查看lzo、gz、bz文件
hadoop上命令行查看lzo、gz、bz文件发表于2019-03-25|分类于hadoop||游览806hadoop上命令行查看lzo、gz、bz文件HDFS上的文件可能是压缩的，所以用cat不能直接查看。hadoop上默认支持lzo、gz、bz2、snappy压缩格式。我们用命令行查看HDFS上压缩文件，也是可以的。lzo文件查看 HDFS 上 ...
2019-11-21 10:58:37
2899
转载 5、在Yarn上运行Spark-Shell和Spark-SQL命令行
如果你已经有一个正常运行的Hadoop Yarn环境，那么只需要下载相应版本的Spark，解压之后做为Spark客户端即可。需要配置Yarn的配置文件目录，export HADOOP_CONF_DIR=/etc/hadoop/conf 这个可以配置在spark-env.sh中。运行命令：cd $SPARK_HOME/bin./spark-shell \--master yarn-...
2019-10-18 11:02:16
531
原创 4、Spark中application、job、stage、tast之间的关系详解
SparkControlProcesses Driver Application entry point that contains the SparkContext instance Master In charge of scheduling and resource orchestrationWorker Responsibl...
2019-10-15 13:56:31
1229
3
原创 3、Spark运行原理解析一
一、Spark核心API----------------------------------------------------------------------------------------------[SparkContext]：连接到Spark集群，入口点[HadoopRDD]：读取Hadoop上面的数据[RDD]：弹性分布式数据集 不可...
2019-10-15 09:46:38
169
原创 查看Linux下所配置工程的相关信息
Hadoop相关1、查看hadoop的版本号：hadoop versionSpark相关1、查看spark的版本号：运行spark-shell并进入相应Dos界面，就能查看对应的spark和scala版本号Linux相关1、查看某文件夹下面文件的大小 du -h 查看当前文件夹所有文件大小 du -h + 文件夹路径 查看对应文件夹所有文件...
2019-10-14 15:39:15
115
原创 2、Spark基础知识学习
1、弹性分布式数据集(RDD)：如下图所示，对于Spark而言，每次MR完成，会将结果存在分布式内存当中，从而节省在IO上花费的时间 迭代操作 交互操作 2、处理数据倾斜 现象：reduceBykey的时候，由于很多key是相同的，所以无论节点开启的是多少，总会有那么几台节点机器的压力非常大...
2019-10-14 10:05:17
132
原创 3、linux切换用户的操作
格式为：su [ - ] username，后面可以跟 - ，也可以不跟。注：普通用户的su命令不加username时，就相当于切换到root用户，反之亦然。当su 命令加上 - 后，会初始化当前用户的各种环境变量。1、如果不加 - 切换到root用户时，当前目录没有变化；2、而如果加上 - 切换到root账户时，当前目录为root账户的家目录。注：当由root切换到普通用户时...
2019-10-12 16:09:06
996
原创 2、Linux的目录结构
Linux系统目录结构介绍一、linux所有目录都是在“/”根目录之下，目录结构通常按类别划分，它是具有一定层级结构的，就像大树一样，自上而下一级包含一级的结构。 注意：在任何位置，如果想要返回到根目录，使用的指令是：cd /首先可以使用命令tree -L 1 / （1代表显示一级目录）来显示一级目录有哪些？下面就来介绍下每个目录的作用/bin 所有二进制...
2019-10-12 15:53:39
169
原创 1、Spark学习：spark-shell和spark-submit的区别及各自工作
一、异同 1、相同点：放置的位置都在/spark/bin目录下面 2、不同点： （1）、spark-shell本身是交互式的，dos界面上会提供一种类似于IDE的开发环境，开发人员可以在上面进行编程。在运行时，会调用底层的spark-submit方法进行执行。 （2）、spark-submit本身不是交互性的，用于提交在IDEA等编辑器中编译并打...
2019-09-25 10:23:13
1290
原创 Hadoop命令行运行自己生成的jar包
hadoop jar /path/wordcount.jar(输入参数是两条路径) /fileAlready.txt /countResultFolder
2019-08-20 15:40:33
1317
原创 1、在eclipse或者idea下面调用hadoop接口开发hadoop应用程序
方式一、首先为hadoop和eclipse创建类似于(tomcat和eclipse的插件关系)：具体而言， 首先将于安装好的hadoop版本一致的hadoop-eclipse-xxx.jar拷贝到eclipse的plugins里面，重启eclipse并发现windows/preference下面多了hadoop map/Reduce选项(插件，可以用来链接到本机配置的hadoop，...
2019-08-06 17:03:47
217
原创 1、Linux中属主和属组的关系
对于文件来说，它都有一个特定的所有者，也就是对该文件具有所有权的用户。同时，在Linux系统中，用户是按组分类的，一个用户属于一个或多个组。文件所有者以外的用户又可以分为文件所有者的同组用户和其他用户。因此，Linux系统按文件所有者、文件所有者同组用户和其他用户来规定了不同的文件访问权限。在以上实例中，java 文件是一个目录文件，属主和属组都为 java，属主有可读、可写、可执行的权限...
2019-08-06 16:02:33
2081
原创 大数据1：云计算：PAAS、IAAS和SAAS之间的区别
1.IAAS： 用户通过Internet 可以从完善的计算机基础设施获得服务。这类服务可以称为基础设施即服务。2.PAAS：提供了用户可以访问的完整或部分的应用程序开发,这类服务可以称为平台即服务。3.SAAS：提供了用户可以访问的完整的可直接使用的应用程序,这类服务可以称为软件即服务。IAAS: Infrastructure-as-a-Service(基础设施即服务)，有了...
2019-08-05 10:33:43
1823
原创 十七、泛型以及数组相结合
使用了泛型对于数组：int array[]=new int[10];但是要知道，实际上的类型是int[],前面的只是一个写法。
2019-08-05 10:17:45
103
转载 三十、背包问题
java实现最通俗易懂的01背包问题这几天一直在想背包问题，昨天还有个学长专门讲了，但是还是不是很理解，今天我终于想通了背包问题，其实只要理解了这个思路，不管用什么语言，肯定是能编出来的。下面我就来介绍一下背包问题。1.题目描述:有如下5种物品，小明的书包最多只能装下8公斤的物品，小明特别贪心，思考怎么选择使自己书包能装下并且得到的价值最大。物品1:6公斤 价值48元物品...
2018-08-02 08:47:57
162
原创 数据结构
1、数组之：二分查找 2、排序： 冒泡排序： 直接选择排序： 3、链表：注意（一个成熟的链表中，first车厢其实就是默认指代的第二个车厢了）...
2018-06-11 22:56:02
112
原创 二十八、shiro学习
注意：applicationContext-shiro.xml文件中的《properties》标签下的successUrl属性是为了配合FormAuthenticationFilter这个过滤器使用的，所以如果要使用这个标签的话，必须在src文件夹下的shiro文件夹下建立一个FormAuthentication。。文件类并且继承FormAuthenticationFilter父类，之后在执行的时...
2018-03-12 14:13:40
164
原创 二十七、javaWeb前端调试
前端调试有三种方法：1、通过alert()方法：在前端文本js代码块适当位置填写alert(变量名)，执行程序便可以在浏览器中查看结果2、通过console.log()方法：在前端文本js代码块适当位置填写console.log(变量名)，执行程序便可以在浏览器：开发者模式--source（console控制台）看到输出结果，也可以在前端控制台直接使用console.log输出结果...
2018-02-15 16:59:39
1206
转载 windows系统下使用VM虚拟机安装ubuntu系统
ubuntu14.10的正式版本已经出来了，针对Bata版的漏洞进行了各种更新，也有了一些新的功能，界面上看起来更加美观，操作起来更加方便。很多ubuntu的小伙伴都安装了ubuntu14.10，但是还是有很多小伙伴不知道怎么在VM虚拟机下如何安装Ubuntu系统，今天小编以ubuntukylin14.10为例，给大家介绍一下如何在VM下，安装Ubuntu系统。 新建一个需虚拟机 1、...
2018-02-13 17:38:14
8682
原创 二十六、使用${pageContext.request.contextPath}指定js资源包、以及经由web.xml指定.action等的理解
口诀：${pageContext.request.contextPath}指向工程的webroot1、首先：${pageContext.request.contextPath}指定的是tomcat下，当前编辑的项目工程： 比如我正在开发一个ssmpractice工程，那么就是指定着：http://localhost:8080/ssmpractice(当工程发布...
2018-02-09 12:52:43
695
原创 二十五、当mybatis与spring整合的时候的一个配置细节
mybatis与spring整合：sqlmapconfig,连接池,map.xml....整合出别名留在原地，其他的放到applicationcontext-dao.xml1、Spring-mybatis整合 获取properties 创建SQLSessionFactory失败代码：连接池<bean id="dataSource"c...
2018-02-06 11:01:21
274
转载 二十四、spring\springMVC\mybatis整合
注意：从其他地方拷贝进来一个javaweb工程: 首先build path新的jdk，其次导入相应的资源文件jar包，其次选择适合的tomcat版本，最后在项目的properties中设置project facet补充：1、对于springmvc,所有的handler在执行的时候都会跑一遍里面的代码，其中：json\converter\validate在handleradapter执行，拦...
2018-02-05 17:54:27
235
原创 二十三、springmvc知识
注意：前端控制器（dispacherservlet放置在web.xml当中并指定sprngmvc.xml，在springmvc.xml当中配置handlermapping,handlerAdapter，视图解析器）1、Spring Web MVC是什么Spring Web MVC是一种基于Java的实现了Web MVC设计模式的请求驱动类型的轻量级Web框...
2018-01-31 20:27:59
128
原创 二十二、java--eclipse的".java文件目录(package)"和“.class文件目录(classpath)”的说明
1、source folder\package\folder说明说明：首先source folder\package\folder都是文件夹A、source folder:编译查找的根路径即基准位置,但是在配置文件中（a.b.c） 点地址时，通常都从他的下一级package（a）开始。B、package:语言层面的包,所有的这一类包首先必须存在于source folder这类文件夹下...
2018-01-28 15:08:11
534
原创 二十一、mybatis学习
1、学习口诀：sqlmapconfig--连接池--mapper.xml(后期通过spring托管ioc) 解释：sqlmapconfig--a\连接池（与数据库相连）（附加db.poperties属性文件）--b\mapper.xml（别名typealias）2、mabatis当中：#{}表示占位符，通过它可以实现preparedstatement...
2018-01-27 10:19:48
193
转载 二十、sping初识
IOC理解1、通过context的方法指定大文件（controller service dao）所在的位置，并且通过注解在大的方向上说明各个文件在mvc中扮演的角色（注意他们不是普通的bean）2、将构建的一系列实例对象通过扫描的形式构建成为最基本的可以被用来进行实例调用的最为简单的bean对象 2.1通过：autowired+qualifier("名字")自动装配实例对...
2018-01-17 19:21:13
162
转载 十九、关于多线程的初识
口诀：出生、就绪、执行、等待、死亡，thread\runnable写在前面的话：此文只能说是java多线程的一个入门，其实Java里头线程完全可以写一本书了，但是如果最基本的你都学掌握好，又怎么能更上一个台阶呢？如果你觉得此文很简单，那推荐你看看Java并发包的的线程池（Java并发编程与技术内幕:线程池深入理解），或者看这个专栏：Java并发编程与技术内幕。你将会对Java里头的高...
2018-01-10 21:40:08
148
转载 十八、io流初识
口诀：输出到屏幕文件，输入到缓冲流分类：输出，输入 字节流（啥都能用）：inputstream,outputstream 字符流（文件使用）：inputreader,outputreader 演示（输出，写到什么地方）：//找...
2018-01-09 22:18:55
139
原创 十七、泛型及数组
对于数组：int array[]=new int[10];但是实际上类型为int[],前面的只是一种写法而已。public class FanxingDefineArray<T>{//首先定义泛型数组对象private T tArray[];public void setTArray(T tArray[]){this.tArray=tArray;}public T[]...
2018-01-08 16:47:36
184
转载 十六、java注解
注意：一般情况下用不到java自定义注解功能，这是因为我们一般是在别人定义好的框架下面运行程序，只要掌握了别人定义好的框架的运行规律和运行规则就已经足够了@是java注解，即annotation。1可以理解为插件，是代码级别的插件，在类的方法上写：@XXX，就是在代码上插入了一个插件。2Java注解是附加在代码中的一些元信息，用于一些工具在编译、运行时进行解析和使用，起到说...
2018-01-02 10:46:08
216
转载 十五、反射机制，包括类的构建（无参构造，有参构造）、方法的获得及使用
口诀：forname(路径)、getclass()、instance(无参)、有参constroctor再instance()示例：package part15;import java.lang.reflect.Constructor;import java.lang.reflect.InvocationTargetException;import java.lang.refl...
2017-12-28 10:41:21
731
原创 知识点小积累
1、{ }大括号标注的都是对象，（）小括号标注的都是数组2、int arrar[][]=new int[2][3]:创建了一个有两行三列的数组，int i<arra.length()得到的结果是行数，int j<array[i].lengrh()得到的结果是列数3、通过foreach循环遍历二维数组 int array[][]=new int[2][3]; ...
2017-12-23 20:04:58
227
原创 十四、正则
正则就是说正确的规则，本身也属于字符串里面的内容，首先的第一步就是创建一个模板：String regex="正则模板";组成：转义字符“\” 元字符(\d:表示0-9)...
2017-12-18 22:35:12
92
转载 十三、异常
需要强调的是：throwable-error exception-运行时还有非运行时throws throw在独立的方法里面try catch finally在住运行的方法Java异常处理和设计 在程序设计中，进行异常处理是非常关键和重要的一部分。一个程序的异常处理框架的好坏直接影响到整个项目的代码质量以及后期维护成本和难度。试想一下，如果一个项目从头到尾没有考虑过异常...
2017-12-17 16:24:50
273
原创 十二、java调试
Java Eclipse进行断点调试如何调试Java程序？大家最开始学习Java，都会觉得IDE调试好高端有木有，其实很简单了。下文会尽量简单直观的教会你在Eclipse中调试，其他的IDE调试步骤也是类似的。1.在你觉得有错的地方设置断点。在代码行数前，点击右键，注意是右键，然后选择Toggle Breakpoint。你可能会问，我如何知道在哪儿放置断点？如果对这...
2017-11-28 15:23:57
181
转载 十一、持有对象
书中的原标题是——holding your object，把握你的对象，译者翻译成持有对象。这是用的最多的类之一。作者说的，如果一个程序包含固定数量的且其生命周期都是已知的对象，那么这是一个非常简单的程序。确实，如果数组大小已知，那么就很简单了。除了数组，Java提供了容器类来holding object。1)泛型和类型安全的容器ArrayL...
2017-11-28 10:43:14
179
转载 十、内部类的认识
口诀：局部、成员、匿名、静态可以将一个类的定义放在另一个类的定义内部，这就是内部类。 内部类是一个非常有用的特性但又比较难理解使用的特性(鄙人到现在都没有怎么使用过内部类，对内部类也只是略知一二)。第一次见面 内部类我们从外面看是非常容易...
2017-11-14 14:55:33
115
转载 九、java多态的理解
多态其实是在运行之后借父之手选择性执行。面向对象编程有三大特性：封装、继承、多态。 封装隐藏了类的内部实现机制，可以在不影响使用的情况下改变类的内部结构，同时也保护了数据。对外界而已它的内部细节是隐藏的，暴露给外界的只是它的访问方法。 继承是为了重用父类代码。两...
2017-11-07 10:18:32
153
转载 八、java--final
在Java中，final可以修饰类，方法，属性。一final数据final关键字修饰变量，用来向编译期告知这块数据恒定不变：1.一个永不改变的编译期常量：在Java中这类常量必须是基本类型，编译期可以将该常量代入到可能用到它的表达式中，也就是说，可以在编译期执行计算；[java]view plaincopyprivatefinalintvalueOne=1;...
2017-11-04 11:36:54
127
转载 七、java向上转型和向下转型的理解
注意：向上父左获，向下子右强转1、A a=new B();2、B b=(B)a;在Java编程中经常碰到类型转换，对象类型转换主要包括向上转型和向下转型。5.13.1 向上转型我们在现实中常常这样说：这个人会唱歌。在这里，我们并不关心这个人是黑人还是白人，是成人还是小孩，也就是说我们更倾向于使用抽象概念“人”。再例如，麻雀是鸟类的一种（鸟类的子类），而鸟类则是动物中的一种...
2017-11-04 10:38:37
524
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人