Indigo m2e

由于需要调试spark,需要scala ide在eclipse中。 但是最新版本的scala ide 调试spark0.81(用的是scala2.9.3),在eclipse导入会报错,因为最新版本的scala ide 支持的是2.10.3 安装scala ide  http://scala-ide.org/download/current.html 还是不支持kepler. 于是...
阅读(1564) 评论(0)

Spark计算Pi运行过程详解---Spark学习笔记4

上回运行了一个计算Pi的例子 那么Spark究竟是怎么执行的呢? 我们来看一下脚本 #!/bin/sh export YARN_CONF_DIR=/home/victor/software/hadoop-2.2.0/etc/hadoop SPARK_JAR=./assembly/target/scala-2.9.3/spark-assembly-0.8.1-incubat...
阅读(6674) 评论(1)

Spark计算Pi---Spark学习笔记2

话接上回Spark学习笔记1-编译源代码,已经成功编译了spark on yarn 启动yarn victor@victor-ubuntu:~/software/hadoop-2.2.0/sbin$ ./start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh Starting n...
阅读(2662) 评论(0)

ubuntu的recovery重置密码

今天不小心用root用户修改了一个文件,导致系统瞬间登陆不上。 无奈手机百度了一下,结果发现ubuntu其实这么不安全。。。 按shift进入引导,开机进入recovery模式那一栏按下e。 修改ro recovery xxxxx  为 rw  single init=/bin/bash ctrl +x 或者 f10进入单用户模式 chmod 44...
阅读(1519) 评论(0)

Spark源码编译---Spark学习笔记1

要学习一个框架最好的方式就是调试其源代码。 编译Spark 0.81  with hadoop2.2.0 本机环境: 1.eclipse kepler 2.maven3.1 3.scala2.9.3 4.ubuntu12.04 步骤: 1. 先从网上下载spark0.81的源代码.  下载方式:_ 2.  upzip v0.8.1-incubating.zip 3.  expo...
阅读(4315) 评论(5)

查找hive中的视图

有一个需求,让找出hive中的所有视图。 hive没有直接的命令来查看这个表是否是视图还是普通表。 cd $HIVE_HOME/conf/ more hive-site.xml 假设我们看到的用户名和密码是hive_user和123456         javax.jdo.option.ConnectionURL      jdbc:mysql://host:3306/hi...
阅读(1337) 评论(0)

hive求页面访问路径

曾今在论坛上看到一个这样的题: 有一张很大的表:TRLOG该表大概有2T左右 TRLOG: CREATE TABLE TRLOG (PLATFORM string, USER_ID int, CLICK_TIME string, CLICK_URL string) row format delimited fields terminated by '\t'; 数据: PLATFORM U...
阅读(1148) 评论(0)

数据转换-那些年我们一起踩过的坑

做数据转换的时候,什么样的脏数据都有可能发生,不要期待一切都如你所愿。 1. 写文件的时候一定要注意传来字段的制表符问题 读文件我们readline 然后用\t来读数据 写文件的时候,我们用\n来换行。 如果遇到下面的情况就有些会出现问题了,字段中包含制表符,这样做数据转换的时候就会发生错位。 {"code"...
阅读(1028) 评论(0)
    个人资料
    • 访问:438426次
    • 积分:4939
    • 等级:
    • 排名:第5388名
    • 原创:80篇
    • 转载:0篇
    • 译文:1篇
    • 评论:66条
    博客专栏
    微博
    文章分类
    最新评论