Scala学习笔记(二)

Scala语法总结...
阅读(241) 评论(0)

Scala学习笔记(一)

scala语法学习...
阅读(204) 评论(0)

Spark SQL, DataFrames 和 Datasets 指南

目前SparkSQL用的是最多的,Spark Streaming次之,所以将Spark SQL相关官方文档翻译下,官方文档是最好的学习资料。 概述Spark SQL是用于结构化数据处理的Spark模块。与基本Spark RDD API不同,Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。...
阅读(234) 评论(0)

kill 掉所有正在运行的hadoop jobs

# get list of job's process IDs JOB_LIST=$(hadoop job -list 2> /dev/null | grep job_ | awk '{print $1}') # kill all jobs for JOB in $JOB_LIST do hadoop job -kill $JOB echo job (${JOB})...
阅读(431) 评论(0)

Spark2.1.0官方文档

Spark 概述Apache Spark是一个快速和通用的集群计算系统。它提供Java,scala,Python、R语言的APIs,以及支持一般执行图形的优化引擎。 它还支持一组丰富的高级工具,包括用于SQL和结构化数据处理的Spark SQL,用于机器学习的MLlib,用于图形处理的GraphX和Spark Streaming。...
阅读(1161) 评论(2)

redis-service服务

redis-service是一个基于jedis 封装而成的jar,将常用的的业务功能进行了封装, 你可以直接将其导入到自己的项目中从而使用很多经常需要的业务功能,不用再重新开发,提高开发效率。...
阅读(366) 评论(0)

MapReduce并行编程模型和框架

本文涉及Hadoop 编码实例、完整的Hadoop编程模型、Hadoop系统架构和MapReduce执行流程。...
阅读(415) 评论(0)

分布式协调服务-Zookeeper

本文主要介绍了下分布式协调服务-Zookeeper以及它的集群搭建和使用。...
阅读(442) 评论(0)

Hadoop2.x 体系结构和源码编译

Hadoop2.x 体系结构和源码编译...
阅读(321) 评论(0)

为hadoop集群设置静态IP

由于之前设置集群的网络连接方式是Net ,而IP是动态的。我采用的是自己的电脑搭建的环境,换了个连接网络的地方,ip就变了。因此决定设置下静态IP。...
阅读(1520) 评论(0)

hadoop-eclipse-plugin-2.x.x 插件编译

在网上找的hadoop for eclipse 插件都不能用,决定自己去编译一个。Hadoop 提供了一个 Eclipse 插件以方便用户在 Eclipse 集成开发环境中使用 Hadoop,如管理 HDFS 上的文件、提交作业、调试 MapReduce 程序等...
阅读(1106) 评论(0)

大数据Hadoop与Spark学习经验谈

大数据Hadoop与Spark学习经验谈...
阅读(3914) 评论(2)

使用MyBatis 框架犯的错误

最近做项目,数据层使用的是MyBatis框架,在使用过程中,犯了的一些错误。...
阅读(221) 评论(0)

Hadoop 2.6.0-cdh5.4.0集群环境搭建和Apache-Hive、Sqoop的安装

搭建此环境主要用来hadoop的学习,因此我们的操作直接在root用户下,不涉及HA。Software: Hadoop 2.6.0-cdh5.4.0 Apache-hive-2.1.0-bin Sqoop-1.4.6-cdh5.5.2 JDK1.7.0_79 集群信息:一个主节点,2个从节点。192.168.75.128 master 192.168.75.129 slave0...
阅读(1176) 评论(0)

Websocket协议概念、技术背景和原理介绍

WebSocket是一种在单个 TCP 连接上进行全双工通讯的协议。本篇主要对websocket的概念和技术背景和原理做一个介绍。...
阅读(2014) 评论(0)

Hive数据仓库笔记(三)

Joins: Innerjoins: hive> SELECT * FROM sales; Joe 2 Hank 4 Ali 0 Eve 3 Hank 2 hive> SELECT * FROM things; 2 Tie 4 Coat 3 Hat 1 Scarf   两个表Inner joins: hive> SELECT sales.*, things.* >...
阅读(464) 评论(0)

Hive数据仓库笔记(二)

分区和桶:   分区:可以提高查询的效率,只扫描固定范围数据,不用全部扫描 CREATE TABLE logs (ts BIGINT, lineSTRING) PARTITIONED BY (dt STRING, country STRING); 通过关键字PARTITIONED BY 定义分区表   LOAD DATA LOCAL INPATH '/home/data/file1' ...
阅读(336) 评论(0)

Hive数据仓库笔记(一)

Hive建表: CREATE TABLE records (year STRING,temperature INT, quality INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; 每行三列数据通过tab分隔,数据如果是以tab分隔的可被hive直接识别。 查看表结构信息: desc records; 加载数据:...
阅读(484) 评论(0)

HBase新的客户端接口

HBase新的客户端接口...
阅读(810) 评论(0)

让eclipse代码编辑器换下皮肤

开篇作为一名以java为编程语言的程序员,相信大多数人使用的IDE是eclipse,但是其默认纯白的背景代码编辑区看上去不免枯燥。这篇博文的就是让你的编辑器看上去酷起来,性感起来!进入炫酷进程主要是下载Eclipse Color Theme插件。Eclipse Color Theme使自由切换主题背景变为可能,而且没有任何的边际成本。好,废话少说,我们开始进行“换装”操作。首先进入http://ec...
阅读(1058) 评论(0)
88条 共5页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:153652次
    • 积分:2357
    • 等级:
    • 排名:第16512名
    • 原创:62篇
    • 转载:23篇
    • 译文:3篇
    • 评论:46条
    关于我

    大家好,我是zhang_way,一名后台开发工程师,关注大数据技术:hadoop、hive、spark、kafka等。一名问题解决者,非代码艺术家。我的目标是可以去解决前人还没有解决的问题。


    邮件:hsdcloud # 163 DOT com PS:为防止垃圾邮件,请自行转换为正确格式哦~


    博客专栏
    最新评论