- 博客(12)
- 收藏
- 关注
RSS订阅原创 spark应用程序开发总结
1.静态变量取不到值，报空指针异常出现这种情况主要原因：rdd的操作中去读取配置文件中的值，如：public static float col1= Float.valueOf(RESOURCE_BUNDLE.getString("col1"));解决办法：把操作rdd的方法抽取到一个单独的类中，让该类实现序列化接口，把变量通过构造函数或者函数参数传到该类中。2.spark sql，...
2018-11-13 09:39:08
538
原创 hive相关报错问题解决办法
1.Unable to determine Hadoop version information. 'hadoop version' returned:解决办法：修改bin/hive，# HADOOP_VERSION=$($HADOOP version | awk '{if (NR == 1) {print $2;}}');HADOOP_VERSION=$($HADOOP v...
2018-11-13 09:15:16
9119
1
原创 《Java并发编程实战》学习笔记之 第3章 对象的共享
1.内存可见性 synchronized关键字同步有两方面的作用： （1）实现原子性或者确定临界区（2）确保内存可见性所谓内存可见性，即当一个线程修改了对象状态后，其他线程能够看到修改后的状态。 多线程程序在没有同步的情况下，编译器、处理器及运行时等都可能对操作执行顺序进行一些意想不到的调整。在缺乏足够同步的多线程程序中，要想对内存操作的执行顺序进行判断，几乎无法...
2018-03-22 13:21:55
194
原创 《Java并发编程实战》学习笔记之 第2章 线程安全性
1.什么是线程安全性当多个线程访问某个类时，不管运行时环境采用何种调度方式或者现线程将如何交替执行，并且在主调代码中不需要任何额外的同步或协同，这个类都能表现出正确的行为，那么这个类就是线程安全的。在线程安全的类中封装了必要的同步机制，因此调用者无需进一步采取同步措施。无状态对象一定是线程安全的。 2.竞态条件在并发编程时，由于不恰当的执行时序而出现不正确的结果。比如，先检查后执行。3.加锁机制要...
2018-03-22 13:20:29
163
原创 log4j DailyRollingFileAppender支持保留最近n天，并且可以对一天的文件根据大小切分
log4j DailyRollingFileAppender不支持只保留最近n天的数据，时间一久导致日志文件很多，并且一天的文件有可能比较大，所以自己写了个appender，以解决这两个问题。 具体代码实现如下：package com.mytools.common.log4jext;import java.io.File;import java.io.FileFilter;impor...
2018-03-22 13:15:29
5843
原创 《Java并发编程实战》学习笔记之 第3章 对象的共享
1.内存可见性 synchronized关键字同步有两方面的作用： （1）实现原子性或者确定临界区（2）确保内存可见性所谓内存可见性，即当一个线程修改了对象状态后，其他线程能够看到修改后的状态。 多线程程序在没有同步的情况下，编译器、处理器及运行时等都可能对操作执行顺序进行一些意想不到的调整。在缺乏足够同步的多线程程序中，要想对内存操作的执行顺序进行判断，几乎...
2018-03-14 22:07:35
123
原创 《Java并发编程实战》学习笔记之 第2章 线程安全性
1.什么是线程安全性当多个线程访问某个类时，不管运行时环境采用何种调度方式或者现线程将如何交替执行，并且在主调代码中不需要任何额外的同步或协同，这个类都能表现出正确的行为，那么这个类就是线程安全的。在线程安全的类中封装了必要的同步机制，因此调用者无需进一步采取同步措施。无状态对象一定是线程安全的。 2.竞态条件在并发编程时，由于不恰当的执行时序而出现不正确的结果。...
2018-03-13 22:42:34
90
原创 spark应用程序开发总结
1.静态变量取不到值，报空指针异常出现这种情况主要原因： rdd的操作中去读取配置文件中的值，如：public static float col1= Float.valueOf(RESOURCE_BUNDLE.getString("col1"));解决办法：把操作rdd的方法抽取到一个单独的类中，让该类实现序列化接口，把变量通过构造函数或者函数参数传到该类中。2.spark sql，...
2018-03-12 16:23:21
357
原创 log4j DailyRollingFileAppender支持保留最近n天，并且可以对一天的文件根据大小切分...
log4j DailyRollingFileAppender不支持只保留最近n天的数据，时间一久导致日志文件很多，并且一天的文件有可能比较大，所以自己写了个appender，以解决这两个问题。 具体代码实现如下：package com.mytools.common.log4jext;import java.io.File;import java.io.FileFilter...
2018-03-09 15:20:14
2102
原创 深入理解java虚拟机读书笔记——性能监控与故障处理工具
1.jdk的命令行工具（1）jps 虚拟机进程状况工具 （2）jstat 虚拟机统计信息监控工具 （3）jinfo java配置信息工具 （4）jmap java内存映像工具 jmap命令格式： jmap [option] vmid jmap -dump:format=b,file=eclipse.bin 3500 ...
2014-12-08 00:06:50
152
原创 netstat -a 端口状态
TCP状态转移要点 TCP协议规定，对于已经建立的连接，网络双方要进行四次握手才能成功断开连接，如果缺少了其中某个步骤，将会使连接处于假死状态，连接本身占用的资源不会被释放。网络服务器程序要同时管理大量连接，所以很有必要保证无用连接完全断开，否则大量僵死的连接会浪费许多服务器资源。在众多TCP状态中，最值得注意的状态有两个：CLOSE_WAIT和TIME_WAIT。1、LIS...
2014-11-25 16:32:59
341
Hadoop yarn安装（单机版）
[b]1 网络环境1.1 修改hosts文件[/b]设置/etc/hosts文件(每台机器上都要设置)，添加如下内容192.168.1.101 testServernamenode与datanode的/etc/hosts内容都必须是ip位址与host name的对应，不能使用127.0.0.1代替本机的ip地址，否则hadoop使用hostname找ip时，会以"127.0.0.1...
2014-11-12 23:29:31
540
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人