spark 算子java实例

在我看来,Spark编程中的action算子的作用就像一个触发器,用来触发之前的transformation算子。transformation操作具有懒加载的特性,你定义完操作之后并不会立即加载,只有当某个action的算子执行之后,前面所有的transformation算子才会全部执行。常用的a...

2019-05-17 14:37:09

阅读数 5

评论数 0

Spark中使用Java编程的常用方法

原文引自:http://blog.sina.com.cn/s/blog_628cc2b70102w9up.html 一、初始化SparkContext System.setProperty("hadoop.home.dir", "D:\\spark-1.6.1-b...

2019-05-17 10:40:31

阅读数 2

评论数 0

java编程练习

https://blog.csdn.net/BillGates10001/article/details/50911604 http://blog.sina.com.cn/s/blog_7192f33401016v43.html https://www.cnblogs.com/VellBi...

2019-04-30 09:37:23

阅读数 27

评论数 0

centos7 安装Tomcat

第一步:下载Tomcat8压缩包 进入http://tomcat.apache.org/download-80.cgi 下载tar.gz压缩包 或者复制链接直接命令 wget http://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomc...

2019-04-02 10:27:00

阅读数 35

评论数 0

griffin安装

参考博客及文档 https://blog.csdn.net/genus_yang/article/details/88053170 https://github.com/apache/griffin/blob/master/griffin-doc/deploy/deploy-guide.md ...

2019-03-29 19:05:26

阅读数 134

评论数 0

Elasticsearch集群安装

1 准备工作 如表 2‑4所示,选取node1,node2,node3这3个节点构建ES集群。 表 2‑4 ES集群节点信息 hosts ip 角色 node1 192.168.111.75 master,data node2 192.168.111.76 ...

2019-03-28 09:54:03

阅读数 34

评论数 0

elasticsearch问题

elasticsearch 5.1 安装过程中遇到了一些问题做一些记录。 问题一:警告提示 [2016-12-20T22:37:28,543][INFO ][o.e.b.BootstrapCheck ] [elk-node1] bound or publishing to a non-loopb...

2019-03-28 09:50:18

阅读数 14

评论数 0

spark调度模式

不多说,直接上干货!   目前Apache Spark支持三种分布式部署方式,分别是standalone、spark on mesos和spark on YARN,其中,第一种类似于MapReduce 1.0所采用的模式,内部实现了容错性和资源管理,后两种则是未来发展的趋势,部分容错性和...

2019-03-22 19:52:01

阅读数 36

评论数 0

HUE讲解

Hue Web应用的架构 Hue 是一个Web应用,用来简化用户和Hadoop集群的交互。Hue技术架构,如下图所示,从总体上来讲,Hue应用采用的是B/S架构,该web应用的后台采用python编程语言别写的。大体上可以分为三层,分别是前端view层、Web服务层和Backend服务层。Web...

2019-03-21 18:21:12

阅读数 46

评论数 0

五节点hadoop HA安装教程

五节点HadoopHA安装教程: Master1 namenode,resourcemanager,nodemanager,datanode,journalnode, DFSZKFailoverController Master2 namenode,resourcemanager,nodemana...

2019-03-21 18:20:16

阅读数 10

评论数 0

Centos7 磁盘挂载

磁盘分区(4T以上的磁盘用的命令) parted /dev/sdb mklabel gpt mkpart primary 0% 100% quit 磁盘格式化:常用 mkfs.ext4 mkfs.xfs两种格式方式 mkfs.ext4 /dev/sdb1 mkfs.xfs /dev/sdb1...

2019-03-15 18:47:29

阅读数 29

评论数 0

hive 表注释显示中文乱码

hive 表注释显示中文乱码 hive> show create table dim_mobile; OK createtab_stmt CREATE TABLE `dim_mobile`( `mobileno` string COMMENT '?????MD5?', `...

2019-03-15 18:41:04

阅读数 28

评论数 0

服务器网络配置

[root@localhost network-scripts]# cat ifcfg-eth0 TYPE=Ethernet BOOTPROTO=static DEFROUTE=yes IPV4_FAILURE_FATAL=no NAME=eth0 DEVICE=eth0 ONBOOT=yes I...

2019-02-26 14:26:44

阅读数 55

评论数 0

hbase详情介绍(特详细)

https://blog.csdn.net/WYpersist/article/details/80359094

2019-02-25 15:45:13

阅读数 14

评论数 0

superset 完全汉化

安装和部署 ubuntu和mac 看官方就可以了 本人用的是Ubuntu 网址: https://superset.incubator.apache.org/installation.html window可以去看一下这篇 亲测可用 网站:https://www.cnblogs.com/J...

2019-02-25 08:53:27

阅读数 104

评论数 0

java 中15种锁的介绍

文章转载自java团长微信公众号   在读很多并发文章中,会提及各种各样锁如公平锁,乐观锁等等,这篇文章介绍各种锁的分类。介绍的内容如下: 1.公平锁 / 非公平锁 2.可重入锁 / 不可重入锁 3.独享锁 / 共享锁 4.互斥锁 / 读写锁 5.乐观锁 / 悲观锁 6.分段锁 ...

2019-01-29 16:01:39

阅读数 43

评论数 0

使用Apache Spark让MySQL查询速度提升10倍以上

作者:Alexander Rubin 链接:http://coyee.com/article/11012-how-apache-spark-makes-your-slow-mysql-queries-10x-faster-or-more     介绍 在我的前一篇文章 Apache S...

2019-01-29 15:50:45

阅读数 115

评论数 0

spark sql执行失败

1:运行 ./bin/spark-sql 需要先把hive-site.xml 负责到spark的conf目录下 [jifeng@feng02 spark-1.2.0-bin-2.4.1]$ ./bin/spark-sql Spark assembly has been built with ...

2019-01-29 15:49:07

阅读数 110

评论数 0

spark web UI端口 4040,18080, 8080页面访问不了

  ip:4040无法访问时spark history server未启动或者暂时无spark任务运行 启动命令: 在主节点spark_home/sbin ./start-history-server.sh 注意:4040端口显示的是正在运行的spark任务,一旦任务运行完成或者没有任务...

2019-01-29 15:36:12

阅读数 202

评论数 0

rank、dense_rank、row_number函数的区别

这四个(RANK、DENSE_RANK、NTILE、ROW_NUMBER)函数,都是用来对数据库中的数据进行排名的,在他们的功能各有千秋。 下面介绍一下这四个函数的功能和用法: 首先创建一个Student表 CREATETABLEStudent (        StudentIDint...

2019-01-24 18:13:21

阅读数 29

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭