2017年03月_hotdust

11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创配置Hadoop客户端

如果想在本机使用Hadoop命令，去操作远程Hadoop环境的话，需要修改etc/hadoop/core-site.xml文件，配置下面的项目：<configuration> <property> <name>fs.default.name</name> <value>hdfs://remote-namenode:por

2017-03-24 11:13:24 938

原创 ThreadPoolExecutor是如何做到线程重用的

前言：看关于ThreadPoolExecutor参数时，看到了keepaliveTime这个参数，这个参数的意思是：“当线程数大于CorePoolSize时，如果有没有等到新的Task，到了keepaliveTime时间后，就自动终止掉”。那么如果在这个时间之前，等到了新的Task，就可以重用这个线程。到底是怎么重用线程的呢？正文：原理如下：前提条件：假如coreSize=3，maxS

2017-03-22 11:29:18 5008 2

原创 synchronized和ReentrantLock到底使用哪个？

看了一些并发的文章和书籍，举了一些ReentrantLock和Condition的例子。仔细想一想，其实这些例子使用传统的“对象”和“synchronized”进行锁的方式也是可以实现的，只是有些时候没有ReentrantLock实现起来那么漂亮。所以什么时候应该使用synchronized？什么时候应该使用ReentrantLock呢？下面列举一下各自功能：功能 synchronized

2017-03-20 11:40:52 1623

参考这个文章（使用Intellij IDEA开发并提交Spark应用到远程Spark集群）试了一下，把遇到问题记录一下。1，错误：Permission denied: user=root, access=WRITE, inode=”/user”:hdfs:supergroup:dr这个问题的原因是因为Idea在执行程序时，使用了系统用户作为向Hadoop进行写的用户了。比如，你的电脑系统用户是：ad

2017-03-12 22:53:17 4727 1

原创 Spark Client部署

参考文章（【Spark】Spark的Standalone模式安装部署）进行Spark Client部署时，要注意一点：如果你在spark-env.sh里设置了JAVA_HOME的话，需要在把spark文件夹拷贝到本地后，修改一下JAVA_HOME，改成你本机的相对应的JAVA_HOME。

2017-03-12 11:49:21 1311

转载 vi技巧总结

在某些行的行首插入字符：20, 60 s/^/# (在20到60行的行首插入“#”号) 在删除某些行的行首字符：20, 60 s/^#/ (删除20到60行的行首的“#”号，“^#”是指查找行首是“#”号的行)

2017-03-12 02:13:42 526

原创配置Spark standalone集群启动

前言想在本地提交spark程序，在网上找了一些文章。在本地提交的前提就是，spark以集群的方式启动。于是想以简单的standalone方式启动，但在启动的时候遇到了一些问题，下面把过程和问题总结一下。正文前提：已经下载到spark到机器上（master和slave），并且已经配置好了SPARK_HOME（使用版本：spark-2.1.0-bin-hadoop2.7.tgz）已经安装了j

2017-03-12 01:51:19 5588

转载 wget 文件下载

http://linuxtools-rst.readthedocs.io/zh_CN/latest/tool/wget.html 17. wget 文件下载 Linux系统中的wget是一个下载文件的工具，它用在命令行下。对于Linux用户是必不可少的工具，我们经常要下载一些软件或从远程服务器恢复备份到本地服务器。wget支持HTTP，HTTPS和FTP协议，可以使用HTTP代

2017-03-03 14:56:06 1336

转载 Wget下载终极用法和15个详细的例子

http://www.cnblogs.com/dzh-stuff/archive/2012/02/16/2354611.html Wget是一种很好用的因特网下载工具，他具有的很多特性是其他工具所不能比拟的，再者他是一个轻量级可配置的下载工具。本文结合例子介绍Windows下wget的多种下载方法和用途。 1、用Wget下载单个文件下载的时候会显示：　　~文

2017-03-03 14:55:32 8224

[kindle]编程珠玑（第2版•修订版）.mobi

编程珠玑（第2版•修订版）的 kinle 版本，非常清晰，非常适合在 kindle 上阅读。

2018-02-27

更新Jboss_Root\server\default\MyApp.war下的文件，项目重新启动后，效果和没改前一样

2011-09-15

用delete删除xml结点时，无法触发DATA_CHANGE事件的问题

2011-08-23

关于hibernate对象加载的问题

2009-06-19

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

冲吧，不要停！