- 博客(13)
- 收藏
- 关注
RSS订阅原创 Spark核心类介绍
Spark核心类介绍 SparkContent SparkContext是Spark的入口,负责连接Spark集群，创建RDD，累积量和广播量等。 其中有两个关键调度器会在SparkContext实例化时启动:dagScheduler: DAGScheduler taskScheduler: TaskScheduler DAGScheduler DAGScheduler主要属性:eventPr
2015-12-07 17:24:05
720
原创 Spark 学习笔记二开发环境
一、在这里本码奴强烈推荐一款IDE intellij Idea 官网地址 http://www.jetbrains.com/idea/ 只能用一句话来概括~ 您值得拥有 二、 正题 1、插件安装 下载安装 scala 然后重启 Intellij Idea 2、新建一个 scala 项目 File -> New Project 可以找到如下图菜单
2015-04-30 14:30:17
401
原创 Spark学习笔记一 环境搭建
一、环境介绍 我在这里用的是三台虚拟机 master 192.168.1.100 slave1 192.168.1.101 slave2 192.168.1.102 二、程序下载 这里已经把程序传到网盘上这，方便大家下载 1、hadoop-2.5.2 2、scala-2.11.6 3、spark-1.3.1-bin-hadoop2.4 三、开始安装 1、安装hadoop，安装
2015-04-23 20:44:03
1572
原创 利用Wget 直接将数据Put到HDFS 上
如题： wget http://117.79.226.247:8888/impala/download/1565/xls -O - | hadoop fs -put - /tmp/wget_to_hdfs -O 重命名 -O 后面的 - 为重定向到标准输出，（这里就是控制台） -put 后面的 - 标准输入（对应前面的标准输出） 这样 就可以是数据不落地直接PUT 到
2015-02-11 18:18:53
2009
原创 Hive Impala Count 效率比对
Hive 主要是跑批处理的，Impala主要是做准实时的内存查询，我拿他俩做比较～～感觉我好没意思阿～～ 一、count 比较 十万数量级 Imapal [cdh-node2:21000] > select count(1) from userinfo; Query: select count(1) from userinfo +----------+ | count(1) | +----
2015-01-31 18:09:56
1474
原创 Hive SQL 使用笔记
一、建表语句 1、普通建表，指定分隔符 create table user( name string, ips string COMMENT 'IP Address of the User') COMMENT 'This is the user view table' ROW FORMAT DELIMITED FIELDS TERMINATED
2015-01-30 21:02:17
585
原创 Hive 执行sql 报 2015-01-22 17:07:59,263 WARN conf.HiveConf (HiveConf.java:initialize(1507)) - DEPRECAT
在执行Hive的时候报 2015-01-22 17:07:59,263 WARN conf.HiveConf (HiveConf.java:initialize(1507)) - DEPRECATED: Configuration property hive.metastore.local no longer has any effect. Make sure to provide a val
2015-01-30 20:55:00
516
原创 Cloudera Manager 使用笔记---远程访问不了Hue的管理页面
安装好Hue 后 发现 远程访问不了Hue的管理页面，而内网可以，一番周折，发现需要勾选 将 Hue 服务器绑定到通配符地址
2015-01-30 20:51:42
4531
原创 Hive 研发笔记---LEFT JOIN 中的坑
因为日志急速增长，原来放在Mysql上的统计 越来越吃力，所以公司决定把统计业务迁移到Hadoop上。 在比对数据的时候，发现了Hive中的一个坑 select a.* from default.t_softuser a left join t_softuser b on a.hid=b.hid and a.corp=b.corp and a.softid=b.softid and a.s
2015-01-29 17:19:56
2419
原创 java 获取 类的绝对路径
package com.venus.helper; import java.io.File; import java.io.UnsupportedEncodingException; import java.net.URL; /** * Copyright: 版权所有 ( c ) 北京启明星辰信息安全技术有限公司 2013。保留所有权利 * 作者: 郭宁 * 创建时间: 14-8-31
2014-08-31 20:50:27
523
原创 IP 验证，IP转Long，Long转IP
import java.util.regex.Matcher; import java.util.regex.Pattern; /** * Copyright: 版权所有 ( c ) 北京启明星辰信息安全技术有限公司 2013。保留所有权利 * 作者: 郭宁 * 创建时间: 14-8-1 下午上午10:32 * 文件描述: * 修改描述: */ public class IpHelp
2014-08-27 16:47:34
562
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人