- 博客(23)
- 收藏
- 关注
RSS订阅原创 JVM内存分析
一、背景Java程序——>.java源文件——>.class文件——>内存。源文件经过编译生成字节码文件，在经过JVM加载到内存。Java通过多线程机制使得多个任务同时执行，所有线程共享JVM内存区域main memory，每个线程又单独有自己的工作内存。当线程与内存区域进行交互时，数据从主存拷贝到工作内存，进而交由线程处理。二、Java的逻辑内存模型（5个）...
2019-03-27 10:31:40
208
原创 并发基础知识
目录一、线程基本概念二、线程间安全竞争统一资源机制：synchronized三、线程间的基本协作机制：wait/notify四、取消\关闭线程机制：中断------------------------------------------------------------------------------------------------------------------...
2019-03-03 10:01:47
160
原创 类加载以及对象创建过程
一、类加载过程在Java中，类是动态加载的。当第一次使用这个类的时候才会加载，加载一个类，会查看其父类是否已加载，如果没有，则会先加载其父类。一个类的信息：1）类变量、类方法、实例变量、实例方法2）类初始化代码 （1、定义静态变量时的赋值语句 2、静态初始化代码块）3）实例初始化代码（1、定义实例变量时的赋值语句 2、实例初始化代码块）4）父类信息引用类加载过程：...
2019-03-02 15:58:14
279
原创 2000个数组，每个200大小，数组内有序，求所有数组的TOP1000
import java.util.Arrays;/** * 2000个数组，每个200大小，数组内有序，求所有数值的TOP1000 * @author dell * */public class PrintMaxTop { public static class HeapNode { public int value; public int arrNum; public...
2018-12-29 19:03:23
836
原创 2000个数组，每个200大小，数组内有序，求所有数组的TOP1000
import java.util.Arrays;/** * 2000个数组，每个200大小，数组内有序，求所有数值的TOP1000 * @author dell * */public class PrintMaxTop { public static class HeapNode { public int value; public int arrNum; public...
2018-12-29 19:03:08
123
原创 2000个数组，每个200大小，数组内有序，求所有数组的TOP1000
import java.util.Arrays;/** * 2000个数组，每个200大小，数组内有序，求所有数值的TOP1000 * @author dell * */public class PrintMaxTop { public static class HeapNode { public int value; public int arrNum; public...
2018-12-29 19:03:04
90
原创 2000个数组，每个200大小，数组内有序，求所有数组的TOP1000
import java.util.Arrays;/** * 2000个数组，每个200大小，数组内有序，求所有数值的TOP1000 * @author dell * */public class PrintMaxTop { public static class HeapNode { public int value; public int arrNum; public...
2018-12-29 19:02:54
134
原创 2000个数组，每个200大小，数组内有序，求所有数组的TOP1000
import java.util.Arrays;/** * 2000个数组，每个200大小，数组内有序，求所有数值的TOP1000 * @author dell * */public class PrintMaxTop { public static class HeapNode { public int value; public int arrNum; public...
2018-12-29 19:02:44
154
原创 2000个数组，每个200大小，数组内有序，求所有数组的TOP1000
import java.util.Arrays;/** * 2000个数组，每个200大小，数组内有序，求所有数值的TOP1000 * @author dell * */public class PrintMaxTop { public static class HeapNode { public int value; public int arrNum; public...
2018-12-29 19:02:40
137
原创 2000个数组，每个200大小，数组内有序，求所有数组的TOP1000
import java.util.Arrays;/** * 2000个数组，每个200大小，数组内有序，求所有数值的TOP1000 * @author dell * */public class PrintMaxTop { public static class HeapNode { public int value; public int arrNum; public...
2018-12-29 19:02:39
295
原创 2000个数组，每个200大小，数组内有序，求所有数组的TOP1000
import java.util.Arrays;/** * 2000个数组，每个200大小，数组内有序，求所有数值的TOP1000 * @author dell * */public class PrintMaxTop { public static class HeapNode { public int value; public int arrNum; public...
2018-12-29 19:02:36
298
原创 Hadoop Core_MapReduce总结（四)
一 MR输出文件格式（1）默认的输出文件格式是txt（2）设置输出格式为gzip 需要在执行yarn jar命令时添加传入的参数，添加参数设置模板： ``` yarn jar jar_path main_class_path -Dk1=v1 参数列表 <in><out> 实例： yarn jar TlHadoopCore-jar-with-depen...
2018-12-20 19:14:02
169
原创 Hadoop Core_HDFS总结（四）——HDFS数据格式详解
据存储空间是有限的，数据本身和增量是动态变化的，企业要追求最佳的存储与计算的性价比。数据格式描述了数据保存在文件或者记录中的规则。HDFS 中分为文件格式和压缩格式。1、文件格式文件格式按面向的存储形式不同，分为面向行和面向列的两大类文件格式。 面向行 文本文件格式(.txt) 是(计算可切分) 查看便编辑简单...
2018-12-20 12:55:07
1270
原创 Hadoop Core_MapReduce总结（三)
四、 MapReduce Shell 应用1、MapReduce 的二级命令mapred 称为一级命令，直接输入 mapred 回车，即可查看二级命令：2、MapReduce 的三级命令输入一级命令 mapred 后，再任意输入一个二级命令，即可查看三级命令：3、MapReduce shell 应用 查看当前正在执行的 job 任务先提交一个 WordCou...
2018-12-20 12:49:35
105
原创 Hadoop Core_MapReduce总结（二)_WordCount
三、MapReduce Java API 应用MapReduce 开发流程（1）搭建开发环境，参考 HDFS 环境搭建，基本一致（2）基于 MapReduce 框架编写代码（3）编译打包，将源代码和依赖 jar 包打成一个包（4）上传至运行环境运行 hadoop jar 命令，现已由 yarn jar 替代，建议使用新命令提交执行WordCount代码实现Map类编写Mappe...
2018-12-20 12:44:47
204
原创 Hadoop Core_MapReduce总结（一）
一、 分布式计算框架 MapReduce1、产生背景Web2.0 时代，数据爆炸式、指数级增长，大数据分布式计算需求频繁 通过单机内存扩展来增强计算能力，已经无法承载大规模数据量的计算 分布式计算开发和维护的复杂与多变，对程序员要求太高Google 公司为了解决其搜索引擎中大规模网页数据的并行化处理，研究提出的一种面向大规模数据处理的并行计算模型和方法，称为 MapReduce。...
2018-12-20 12:33:27
219
原创 Hadoop Core_HDFS总结（三）——思考问题
一、HDFS 为何要讲文件分成 block 块存储？ 减少底层操作系统的 IO 读取时的寻址时间方便更高效的流式读取，提高吞吐量二、HDFS block 块的默认大小时多少？ dfs.blocksize 为 Hadoop 定义 block 块大小的设置参数，在 hdfs-site.xml 中版本不一样，默认值不同。Hadoop2.2.x 及以后版本均为 128M三、HDFS blo...
2018-12-20 12:25:49
195
原创 Hadoop Core_HDFS总结（二）
三、HDFS高可靠性措施1）冗余备份数据存储在这些 HDFS 中的节点上，为了防止因为某个节点宕机而导致数据丢失，HDFS 对数据进行冗余备份，至于具体冗余多少个副本，在 dfs.replication 中配置。2）跨机架副本存放仅仅对数据进行冗余备份还不够，假设所有的备份都在一个节点上，那么该节点宕机后，数据一样会丢失， 因此 HDFS 要有一个好的副本存放策略， 该策略还在开发...
2018-12-20 12:17:37
198
原创 Hadoop Core_HDFS总结（一）
一、产生背景传统的本地文件系统(单机式)，在数据量增长过快、数据备份、数据安全性、操作使用便捷性上存在严重不足。二、架构设计2.1. 定义HDFS（Hadoop Distributed File System）Hadoop分布式文件系统。2.2. 组件角色1）NameNode: HDFS元数据管理者，管理 NameSpace(文件系统命名空间)，记录文件是如何分割成数据块...
2018-12-17 16:40:58
1117
原创 java eclipse常见错误处理
一、1）报错信息HDFSOperatorUtil cannot be resolved无法解析HDFSOperatorUtil2）报错说明：说明：没有自定义/引入 HDFSOperatorUtil类，可以借助弹出窗进行快速创建。3）解决方法：1）报错信息：The method copyLocalFileToHdfs(Configuration, String, String, ...
2018-12-15 11:32:00
1044
原创 Berkeley DB学习（一）
一、简介定义:Berkeley DB是一个开源的文件数据库，介于关系数据库与内存数据库之间，使用方式与内存数据库类似，它提供的是一系列直接访问数据库的函数，而不是像关系数据库那样需要网络通讯、SQL解析等步骤。1)开源的kv类型数据库2)文件数据库：优点：数据保存在单一文件中，部署以及发布简单，使用内嵌在应用程序中。缺点：数据库打开时，文件会被加载到内存，因为数据库不宜过大。3）嵌入式...
2018-12-13 20:12:16
6267
原创 Maven学习（一）配置文件pom.xml
Maven pom.xml1、定义：POM全称项目对象模型(Project Object Model)的简称,它是Maven项目中的文件，使用XML表示，名称叫做pom.xml。不过这个文件中包含了该项目所有相关信息（项目唯一ID、项目依赖、项目url、项目开发者等一切相关信息）。2、常见使用<project xmlns="http://maven.apache.org/POM/4....
2018-12-13 19:02:45
131
原创 项目练习（一）APP热点标签分析
项目练习（一）APP热点标签分析1、项目背景通过找到热度标签，赠标签热度，以提高相应APP的下载量和使用量。2、需求分析（1）爬取数据：6个字段，分别为(appId,app名称, 一级分类,二级分类,三级分类,Tags描述信息)，但并不一定完全规整，视实际情况可能左对齐包括四个或五个或六个字段。（2）保存到hive做进一步分析：通过大数据开发之hive数据仓库命令行形式，完成数据加载...
2018-12-11 17:47:15
242
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人