- 博客(14)
- 收藏
- 关注
RSS订阅原创 记工作中用ThreadLocal 和 线程池 的一次坑
最近有个需求处理数据，需要写个java程序来做，想着可以用多线程来加快处理数据，所以用到了threadLocal和线程池，但是对线程池的理解不够深入所以遇到了一个bug。代码（简写）：public class Message { private static ThreadLocal<Connection> threadLocal = new ThreadLocal(...
2019-06-02 16:18:04
1457
4
原创 hadoop 资源配置与队列设置
yarn 集群资源设置资源（1）yarn.nodemanager.resource.memory-mb配置nodemanager节点的可用物理内存，默认是8192（MB） ，如这台服务器有16G 可以考虑分配12G给nodemanager，留下4g给系统内存或者其他程序。（2）yarn.nodemanager.resource.cpu-vcores表示该节点上YARN可使用的虚拟C...
2018-10-16 21:10:54
5565
原创 hive hql语句高级用法
一，order by ,sort by,distribute by 的用法1）order by 对全局数据的一个排序,仅仅只有一个reduce工作，最好不用。2）sort by 对每一个reduce 内部数据进行排序，全局结果集来说不是排序。set mapreduce.job.reuces = 3 ;会生成3个文件，每个文件内都是排好序的。3）distribute by 分...
2018-10-15 22:06:23
3399
原创 21章 并发
1、 基本线程机制并发编程使我们可以将程序划分为多个分离的，独立运行的任务。通过使用多线程机制，这些独立的任务中的每一个都将由执行线程来驱动。一个线程就是在进程中的一个单一的顺序控制流，因此，单个进程可以拥有多个并发执行的任务，但是你的程序使得每个任务都好像有其自己的cpu一样。其底层机制是切分cpu时间，但通常你不需要考虑它。 线程模型为编程带来了便利，它简化了在单一程序中同时交织在一起...
2018-10-01 19:53:01
149
原创 hive 调优总结
hive调优是比较大的专题，需要结合实际的业务，数据的类型，分布，质量状况等来实际的考虑如何进行系统性的优化，hive底层是mapreduce，所以hadoop调优也是hive调优的一个基础,hvie调优可以分为几个模块进行考虑，数据的压缩与存储，sql的优化，hive参数的优化，解决数据的倾斜等。一，数据的压缩与存储格式对分析的数据选择合适的存储格式与压缩方式能提高hive的分析效率：...
2018-09-24 21:38:26
27916
9
转载 18章 io系统
流的概念和作用流是一组有顺序的，有起点和终点的字节集合，是对数据传输的总称或抽象。即数据在两设备间的传输称为流，流的本质是数据传输，根据数据传输特性将流抽象为各种类，方便更直观的进行数据操作。 IO流的分类根据处理数据类型的不同分为：字符流和字节流 根据数据流向不同分为：输入流和输出流 字符流和字节流字符流的由来： 因为数据编码的不同，而有了对字符进行高效操作的流对象...
2018-09-17 21:56:54
213
转载 17章 容器深入研究
容器分类图：Collections数组有Arrays类填充，容器也有Collections类填充，这种工具类中一般都是静态方法不用创建它们的对象直接调用，所以很方便。fill(list, T obj)方法都只是复制一份对象的引用，并没有额外创建对象，并且只能填充List，它会将容器内的元素清空再添加元素。 nCopies(int n, T o) 返回一个List 功能和fill一模...
2018-09-12 21:41:10
149
原创 第16章 数组
数组特殊的原因 （1） 数组与其他种类的容器之间的区别有三方面：效率，类型和保存基本类型的能力， (2) 数组是一种效率最高的存储和随机访问对象引用序列的方式，是一个简单的 线性序列，使得元素访问速度非常快，但是为速度所付出的代价是数组对象的大小被固定，并且在其生命周期内不可改变。 (3) 在泛型之前容器类处理对象时候，都将他们视作没有任何具体...
2018-09-09 19:56:53
136
转载 java中的传递参数其实都是值传递（引用就是拷贝对象的一个地址）
其实java函数中的参数都是传递值的，所不同的是对于基本数据类型传递的是参数的一份拷贝，对于类类型传递的是该类参数的引用的拷贝，当在函数体中修改参数值时，无论是基本类型的参数还是引用类型的参数，修改的只是该参数的拷贝，不影响函数实参的值，如果修改的是引用类型的成员值，则该实参引用的成员值是可以改变的，例子如下。首先是定义改变参数的 public static void
2016-12-24 22:01:02
6254
原创 如何用sqldeveloper或者是eclipse连接上虚拟机上安装的Oracle
由于Oracle数据库比较大，而且启动服务吃内存，安装比较困难，所以大部分程序员选择把oracle 安装在虚拟机上，但是由于开发需要，一般在物理机上要用eclipse或者是sqldeveloper来连接上Oracle数据库，下面来看下如何连接： 物理机是win10操作系统，虚拟机是Vbox , 虚拟机操作系统是win7(如果是linux,步骤也差不多，)。Oracle 11g一、要
2016-12-14 18:37:14
3312
转载 Java中有关注解和动态代理的知识
Annotation（注解） 其实就是代码里的特殊标记, 它用于替代配置文件，也就是说，传统方式通过配置文件告诉类如何运行，有了注解技术后，开发人员可以通过注解告诉类如何运行。 1、 三个基本的Annotation: Override:限定重写父类方法, 该注解只能用于方法 Deprecated:用于表示某个程序元素(类, 方法等)已过时 ...
2016-12-12 19:24:58
377
转载 JavaEE中分页的具体实现
javaEE分页技术，基于mysql数据库：分类的实现思想请看图片，具体的代码：VO层：public class PageBean { private List list;// 显示的数据集合 private int totalrecord;// 总记录数据 private int pagesize;// 每页要显示的数据 private int totalpage;// 总
2016-12-03 17:33:08
2570
原创 有关JavaEE中filter的一些应用场景
Filter也称之为过滤器，它是Servlet技术中最激动人心的技术，WEB开发人员通过Filter技术，对web服务器管理的所有web资源：例如Jsp, Servlet, 静态图片文件或静态html文件等进行拦截，从而实现一些特殊的功能。例如实现URL级别的权限访问控制、用户自动登录，解决全站乱码，过滤敏感词汇、压缩响应信息等一些高级功能。（注意，fikter中配置属性指定过滤器所拦截的
2016-12-03 11:51:01
1881
转载 javaee文件上传需要注意的问题
1.上传文件中的乱码 1.1解决文件的乱码 servletFileUpload.setHeaderEncoding("UTF-8") 1.2解决普通输入项的乱码（注意，表单类型为multipart/from-data的时候，设置request的编码是无效的） 2.在处理表单之前，要记得调
2016-11-19 11:58:15
1240
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人