didadidadige的专栏

自己的项目有时会在没有连接到电脑时发生崩溃，好不容易发现的bug结果连接到电脑时又复现不出来了 运用了一个网友的库CrashHandler，继承自UncaughtExceptionHandler 原理就是在程序崩溃时候把信息保存下来，方便事后查看修改程序。自己得手动新建一个Applicationpublic class MyApplication extends Application {

有一个对应用程序爬数据的任务，但是不是一个劲地运行，而是想按计划地每隔一小时运行一次，发现了一个开源的java架构挺好用的，就是quartz。 首先在下面网站下载quartz的jar包，把所有的都导入到程序中去。http://www.quartz-scheduler.org/然后就能开始编程了。 如果你的任务已经是一个单独的程序，在里面再加一个新的作为main函数然后来运行吧，下面是代码：pub

在该应用的classpath即bin文件夹下新建log4j.properties文件，粘贴如下内容：log4j.debug=TRUElog4j.rootLogger=INFO, Rlog4j.appender.R=org.apache.log4j.RollingFileAppenderlog4j.appender.R.File=C:/apache-tomcat-5.5.27/logs/test

1.配置conf/hbase-env.shexportJAVA_HOME=/usr/lib/jvm/javaexport HBASE_MANAGES_ZK=true//使用hbase自带的zookeeper2.配置conf/hbase-site.xml<configuration><property> <name>hbase.rootdir</name> <value>hdfs

1. 2.x中使用MapReduce JobHistory Server，端口号默认为19888，地址由参数mapreduce.jobhistory.webapp.address配置管理 使用命令mapred historyserver启动 2. 使用eclipse上传数据到集群时候，没有权限，需要在hdfs-site.xml添加 dfs.permissions 为false，最好也修改ch

配置~/.bashrc文件，在底下添加：export PIG_INSTALL=/home/hadoop/pig-0.15.0export PATH=$PATH:$PATH:$PIG_INSTALL/binexport PIG_CLASSPATH=$HADOOP_INSTALL/etc/hadoop/最后一句话把pig配置成mapreduce模式然后 source ~/.bashrc使其生效

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container问题原因：namenode,datanode时间同步问题解决办法：多个datanode与namenode进行时间同步，在每台服务器执行：ntpdate time.nist.gov，确认时间同步成功。最好在

文件操作 查看目录文件 $ hadoop dfs -ls /dida/input创建文件目录 $ hadoop dfs -mkdir /dida/input删除文件 $ hadoop dfs -rm /dida/input/a.txt删除目录与目录下所有文件 $ hadoop dfs -rmr /dida/output上传文件 上传一个本机/home/dida/hadoop/input/f1.t

在VMWare中构建第二、三台虚拟机，机器命名为Slave1、Slave2 在/etc/hostname中修改主机名vim /etc/hostname修改为Master、Slave1、Slave2，重启后生效step1：在各主机中修改主机名与ip对应关系打开/etc/hosts 修改成如下所示 测试连接Masterping Master在Slave1、Slave2中增加所有ip与

一、需要软件ubuntu14.04LTShadoop2.6.0jdkeclipse二、环境配置2.1修改bashrc文件sudo gedit ~/.bashrcjava环境配置，添加以下内容export JAVA_HOME=/home/dida/jdk1.7.0_75   export JRE_HO