- 博客(20)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Exception in thread "main" org.apache.spark.SparkException: Task not serializable--two
Exception in thread "main" org.apache.spark.SparkException: Task not serializable
2015-03-13 11:54:49
8644
原创 taokeeper在使用过程中的问题
taokeeper偶然能够显示， 可能和公司的网络也有关系。以下是查看tomcat日志发现的问题：INFO: Initializing Spring FrameworkServlet 'TaoKeeper-Monitor'Feb 10, 2015 8:42:27 AM org.apache.catalina.core.ApplicationContext
2015-02-10 08:51:43
1932
转载 log4j 分离输出
og4j的强大功能无可置疑，但实际应用中免不了遇到某个功能需要输出独立的日志文件的情况，怎样才能把所需的内容从原有日志中分离，形成单独的日志文件呢？其实只要在现有的log4j基础上稍加配置即可轻松实现这一功能。 先看一个常见的log4j.properties文件，它是在控制台和myweb.log文件中记录日志： log4j.rootLogger=DEBUG, stdout, l
2015-02-05 16:51:27
692
1
原创 hive (2) partion 学习 相关文章
相关的几篇文章：http://www.tuicool.com/articles/BZja2ahttp://blog.csdn.net/jiedushi/article/details/6778521http://www.tuicool.com/articles/73Qbyahttp://abloz.com/2012/07/19/create-the-hbase-an-e
2014-12-16 10:15:52
557
翻译 hive 文档 wiki-doc
wiki：https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-DDLOperationsDDL： https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL
2014-12-15 14:40:41
1400
转载 hive 学习(1) 内置函数以及数据类型
第一部分：关系运算Hive支持的关系运算符•常见的关系运算符•等值比较: =•不等值比较: •小于比较: •小于等于比较: •大于比较: >•大于等于比较: >=•空值判断: IS NULL•非空判断: IS NOT NULL•LIKE比较: LIKE•JAVA的LIKE操作: RLIKE
2014-12-15 14:30:55
683
原创 HDFS 的API 封装成 class Scala操作
/** * */package cn.edu.zju.lsimport org.apache.hadoop.conf.Configurationimport org.apache.hadoop.fs.FileSystemimport org.apache.hadoop.fs.Pathimport scala.collection.mutable.ArrayBuf
2014-12-13 13:39:54
1630
原创 cloudera的各种默认数据库 hive mysql
(1)hive hive的元数据信息默认在derby数据库中 其他的存储用到再补充。
2014-12-04 14:32:13
2067
1
转载 Log4J使用教程
转自 http://blog.csdn.net/geminiroy/article/details/5320034第1章. Log4j 的优点第2章. 配置文件Log4j由三个重要的组件构成：日志信息的优先级，日志信息的输出目的地，日志信息的输出格式。日志信息的优先级从高到低有FATAL、ERROR、WARN、INFO、DEBUG，分别用来指定这条日
2014-12-01 16:49:24
2032
转载 Linux查看CPU和内存使用情况
Linux查看CPU和内存使用情况在系统维护的过程中，随时可能有需要查看 CPU 使用率，并根据相应信息分析系统状况的需要。在 CentOS 中，可以通过 top 命令来查看 CPU 使用状况。运行 top 命令后，CPU 使用状态会以全屏的方式显示，并且会处在对话的模式 -- 用基于 top 的命令，可以控制显示方式等等。退出 top 的命令为 q （在 top 运行中敲 q 键一次）。
2014-11-28 18:57:56
561
原创 2014年11月25日 -------hdfs fs 命令的使用(用到的就扩充上)
hdfs ：[hdfs@launcher-17 ~]$ hdfsUsage: hdfs [--config confdir] COMMAND where COMMAND is one of: dfs run a filesystem command on the file systems supported in Hadoop
2014-11-25 16:04:20
905
原创 Exception in thread "main" org.apache.spark.SparkException: Task not serializable异常
问题原因：解决方案：
2014-11-24 10:31:55
26083
原创 spark运行异常--以后找到解决方案了再修改
WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2014-11-24 09:43:34
1116
原创 spark 的WholeTextFile使用以及文件路径
/** * */package com.lewa.jsonimport org.apache.spark.{ SparkConf, SparkContext }import org.apache.spark.SparkContext._import org.apache.spark.mllib.classification.SVMWithSGDimport or
2014-11-20 16:47:05
6736
1
原创 Scala-Eclipse 的SVN 的安装
subclipse 1.6.x，url：http://subclipse.tigris.org/update_1.6.x Subclipse 1.6.x (Eclipse 3.2+) URL: http://subclipse.tigris.org/update_1.6.x Name: Subclipse 1.4.x (Eclipse 3.2+) URL: h
2014-11-18 14:45:14
594
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人