- 博客(25)
- 收藏
- 关注
RSS订阅原创 MapRuduce中shuffle过程简介
shuffle过程是MapReduce整个工作流程的核心环节map : mapShufflereduce: reduceShuffle**1.在Map端的shuffle过程：Map输出的结果首先被写入缓存，当缓存满时，启动溢写(环形缓冲区（100M。80M）)操作，把缓存写入磁盘文件，然后清空缓存，2当启动溢写操作时，首先需要把缓存中的数据进行分区(partition)，然后对每个分区进行排序(sort)，合并(combine)，3之后再写入磁盘文件，每次溢写操作会生成一个新的磁盘文件，随着Ma
2020-12-21 08:58:21
813
原创 Nginx和Flume实现日志采集
安装nginx:1: 安装GCC编辑器支持。 yum -y install pcre* yum -y install openssl* yum -y install gcc gcc-c++ make yum -y install gcc-c++ yum -y install make2： 上传并解压nginx,可使用root用户3： 进入/modules/nginx 目录 ./configure make make install 4: 进入 /usr/loc
2020-12-17 09:37:28
937
原创 Sqoop的使用案例教程
Sqoop的简单使用案例导入数据sqoop 做数据迁移: 数据导入, 数据导出import : 从关系型数据库导入到HDFS HIVE HBASEexport : 从 HDFS HIVE 导出到mysql 里. 与命令的顺序无关.在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。1.1、RDBMS到HDFS确定Mysql服务开启正常在Mysql中新建一
2020-12-11 16:41:50
277
原创 Sqoop简介和安装教程
一、Sqoop简介关系型数据库: mysql oracle非关系型数据库: redis hbase mongdb 缓存数据库Apache Sqoop™是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。数据迁移工具.Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。最新的稳定版本是1.4.6。Sqoop2的最新版本是1.99.7。请注意，1.99.7与1.4.6不兼容，且没有特征不完整，它并不打算用于生产部署。二、Sq
2020-12-11 16:37:58
238
原创 如何在linux中启动hive的可视化工具beeline
hive的界面如果不按照第三方工具来展示的话就会十分杂乱无章。如下：如果使用beeline就可以达到如下效果：清晰明了许多，具体实现过程如下：1.打开hive中的hiveserver2输入命令开启后hiveserver2已启动，不可以在此页面进行下一步，需要再打开一个session2.在新的session中输入命令 beeline输入！connect jdbc:hive2://主机名:10000然后输入用户名和密码，就可以使用了就是这样。如果出现10000端口被占用的话，就杀
2020-12-03 16:58:37
1266
原创 spring mvc 常用注解详解
@Controller在SpringMVC 中，控制器Controller 负责处理由DispatcherServlet 分发的请求，它把用户请求的数据经过业务处理层处理之后封装成一个Model ，然后再把该Model 返回给对应的View 进行展示。在SpringMVC 中提供了一个非常简便的定义Controller 的方法，你无需继承特定的类或实现特定的接口，只需使用@Controller 标记一个类是Controller ，然后使用@RequestMapping 等一些注解用以定义请求URL 请求
2020-11-06 08:23:16
267
原创 Redis介绍和入门！
Redis的数据类型及主要特性Redis提供的数据类型主要分为5种自有类型和一种自定义类型，这5种自有类型包括：String类型、哈希类型、列表类型、集合类型和顺序集合类型。String类型：它是一个二进制安全的字符串，意味着它不仅能够存储字符串、还能存储图片、视频等多种类型, 最大长度支持512M。对每种数据类型，Redis都提供了丰富的操作命令，如：GET/MGETSET/SETEX/MSET/MSETNXINCR/DECRGETSETDEL哈希类型：该类型是由field和关联的v
2020-11-03 10:45:45
85
原创 使用Maven构建多模块项目【Maven】
在平时的Javaweb项目开发中为了便于后期的维护，我们一般会进行分层开发，最常见的就是分为domain（域模型层）、dao（数据库访问层）、service（业务逻辑层）、web（表现层），这样分层之后，各个层之间的职责会比较明确，后期维护起来也相对比较容易，今天我们就是使用Maven来构建以上的各个层。 项目结构如下： system-parent |----pom.xml |----system-domain |----pom.xml |----system
2020-10-28 16:59:54
174
原创 @Resource和@Autowired注解的区别和错误解决
@Resource和@Autowired注解都是用来实现依赖注入的。只是@AutoWried按by type自动注入，而@Resource默认按byName自动注入。@Resource有两个重要属性，分别是name和typespring将name属性解析为bean的名字，而type属性则被解析为bean的类型。所以如果使用name属性，则使用byName的自动注入策略，如果使用type属性则使用byType的自动注入策略。如果都没有指定，则通过反射机制使用byName自动注入策略。@Resource依
2020-10-27 20:16:49
766
原创 Spring中IOC（控制反转）本质分析探究
作者狂神说：https://blog.csdn.net/qq_33369905?t=1B站地址：https://space.bilibili.com/95256449官方文档：https://docs.spring.io/spring/docs/5.2.7.RELEASE/spring-framework-reference/core.html#spring-core控制反转IOC(Inversion of Control)，是一种设计思想，DI(依赖注入)是实现IOC的一种方法，也有人认为DI.
2020-10-26 19:29:19
720
原创 ajax获取数据后怎么去渲染到页面
第一种：比较常见的就是直接把字符串拼接，然后插入到元素中。var html='<li>' + data.num + '</li><li>' + data.floor + '</li><li>' + data.name + '</li><li>' + data.money + '</li>';elem.innerHTML=html； 第二种： 与第一种大致，先创建对象，然后添加到外层对象中var
2020-10-26 00:37:39
1331
原创 ResultMap 中collection的使用方式
resultMap是Mybatis最强大的元素，它可以将查询到的复杂数据（比如查询到几个表中数据）映射到一个结果集当中。resultMap包含的元素：<!--column不做限制，可以为任意表的字段，而property须为type 定义的pojo属性--><resultMap id="唯一的标识" type="映射的pojo对象"> <id column="表的主键字段，或者可以为查询语句中的别名字段" jdbcType="字段类型" property="映射pojo
2020-10-20 20:07:51
4474
原创 ResultMap中association和collection的区别
mybatis mapper配置文件结果集映射resultMap中collection属性(一对多关系结果集映射)和association属性(多对一关系结果集映射)理解：collection的使用有两种resultMap和select，必须手动指定一种association的使用和collection使用类似，只是right join需换成left joinrd_one属性时用association标签, 映射card_many时用collection标签.所以association是用于一对一和
2020-10-20 19:56:55
3163
原创 Mybatis简介及常见错误/报错的解决方法
Mybatis是一款很常用的持久性框架，但在使用的时候也会出现很多问题。常见的问题和解决方法来做一下小小的总结。Error parsing Mapper XML. The XML location is ‘mapper/MinGrayscaleQaDao.xml’. Cause: org.apache.ibatis.builder.BuilderException: Mapper’s namespace cannot be empty这个是map
2020-10-19 19:31:29
1597
原创 HashMap 和 HashTable的简介和其区别
HashMap 和 HashTable的区别1：hashMap 是非线程安全的。效率高。hashTable 是线程安全的。效率低。HashMap是Hashtable的轻量级实现（非线程安全的实现），2：他们都完成了Map接口，主要区别在于HashMap允许空（null）键值（key）,由于非线程安全，效率上可能高于Hashtable。HashMap允许将null作为一个entry的key或者v...
2019-11-21 17:26:26
243
原创 学习异常的第一天
异常java中的异常处理java将如何处理异常？Java通过面向对象的方法进行异常处理，把各种不同的异常进行分类，并提供了良好的接口。在Java中，每个异常都是一个对象，它是Throwable类或其它子类的实例。当一个方法出现异常后便抛出一个异常对象，该对象中包含有异常信息，调用这个对象的方法可以捕获到这个异常并进行处理。Java的异常处理是通过5个关键词来实现的：try、catch、thr...
2019-11-21 17:23:53
101
原创 学习API的第一天
什么是APIAPI（Application Programming Interface，应用程序编程接口）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。常用方法1 System.gc() 系统垃圾回收。/*系统垃圾： 无用的变量，对象，执行结束的方法。GC是什么? 为什么要有GC? GC是垃圾收...
2019-10-28 20:09:48
100
原创 学习接口的第一天
接口接口不是类 interface修饰接口中没有构造方法接口中有常量，不能被更改 默认被static final 修饰接口中的方法是抽象方法 默认被abstract修饰 子类必须执行接口不能被实例化接口不可以继承抽象类接口可以对接其他接口 其子类要执行所有接口中的方法子类可以实现两个接口，中间用逗号隔开，子类必须执行两个接口中所有方法抽象类抽象类中有构造方法 ...
2019-10-24 20:42:54
113
原创 学习多态的第一天~
多态笔记如下一种类型，多种形态，对象在创建时是父类形态，在使用时是子类形态。多态在程序设计中，为程序提供了 [可插拔性]// 你记得，子类赋值给父类。自动类型转换。向上转型。// 你记得，父类强制转换成子类，需要加子类类型符号，向下转型。多态：形成的必要因素：1：必须有继承关系。2：子类中需有方法的重写。关键词：instanceof : 是否包含子类对象。我的理解其实不太懂...
2019-10-21 20:38:24
119
原创 学习继承的第一天~
继承什么是继承：子类可以继承父类共有的属性和方法。继承关键字是：extends子类不能继承父类的构造方法。也就是说super()不是继承，是调用。继承的优点：实现类的重用，减少代码的冗余。子类继承了父类后：子类可以访问父类中的公有的属性，对象可以直接访问父类的属性[子类可以访问父类中的方法]。对象可以直接访问父类的方法。子类可以重写父类中的方法。心得继承其实并不难，难的还是思维逻辑，...
2019-10-18 20:55:49
140
原创 学习面向对象的第四天
今天学习了一个更加高难度的项目昨天的作业员工表：id,姓名，入职如期，薪资，年龄，奖金。 {部门类}部门表：部门id,部门名称，部门地址。[员工数组]员工等级： 不出现具体的员工信息和部门信息。1500–2000 D级。2000-2500 C级。2500-3500 B级。3500-5000 A级。员工： 基本信息，部门，等级。部门：开发部，...
2019-10-18 20:48:00
78
原创 学习面对对象的第三天
今天学习了对象中的对象和对象数组，好难啊~云里雾里的听完老师的讲解，自己实践时遇到了很多问题，好在一一解决了现在要开始写作业了，没有时间写博客了。关注我的粉丝们，抱歉了，断更一天。谢谢...
2019-10-15 19:23:50
104
原创 学习面向对象的第二天
一、什么是面向对象？面向对象： 将现实生活中的事物，封装成对象，通过对象的实例化和调用，完成需求。面向对象，关注点是对象的属性和方法，而忽略事物执行的顺序或过程。面向过程： 将现实生活中的事物，按照发生的顺序使用代码顺序执行。面向过程，关注事物执行的顺序。面向对象的特征有哪些方面？抽象：抽象就是忽略一个主题中与当前目标无关的那些方面，以便更充分地注意与当前目标有关的方面。抽象并不打算了解...
2019-10-14 19:34:58
97
原创 学习面向对象的第一天。
一、面向对象是什么？提到面向对象，就不得不说到面向过程。从面向过程的思维变为面向对象的思维才是正确的java工程师的逻辑思维。1）面向过程面向过程就是将现实中的事物，按照发生的顺序使用代码顺序执行。2）面向对象面向对象就是将现实中的事物，封装成对象，通过对象的实例化和调用，完成需求。二、对象和数组的区别了解完面向对象，为了更加具体的了解对象。要可以用数组和其做对比。1）数组用下标；...
2019-10-13 19:34:15
107
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人