big data
wzcwangxiaozhang
这个作者很懒,什么都没留下…
展开
-
Docker安装及问题"net/http:TLS handshake timeout"
一、安装Docker步骤://******需要root权限******//1.检查内核版本,必须是3.10及以上使用命令 uname -r2.安装dockeryum install docker3.安装过程中需要确认,输入y即可4.启动dockersystemctl start docker查看版本docker -vDocker version 1.13.1, bu...原创 2019-11-23 10:04:53 · 742 阅读 · 0 评论 -
SparkSQL中RDD和DataFrame和DataSet的转换
RDD ——>DF/DS——DF://第一种rdd.map{ x=>val pa = x.split(",");(pa(0).trim,pa(1).trim)}.toDF("name","age")//-------------------------------------------------------//第二种case class People(na...原创 2019-11-23 10:00:17 · 116 阅读 · 0 评论 -
大数据启动脚本
大数据集群启动脚本#!/bin/bashecho "=============正在开启集群服务================="echo "===============正在开启zookeeper服务================"for i in wangzichen@hadoop101 wangzichen@hadoop102 wangzichen@hadoop103do ...原创 2019-11-19 13:45:00 · 228 阅读 · 0 评论 -
Flink详解
FlinkSpark分实时部分和离线部分,Flink还是替代不了离线部分,Spark和Hive可以无缝整合,Flink暂时还达不到,还没有官方的支持,实时部分和Spark平起平坐特点:事件驱动型以事件为单位的计算,一件事一件事的处理,kafka的通道里的单元,flume的channel里的event也是,SparkStreaming是微批次,数据进入spark的时候会定义一个批次的时间,是...原创 2019-11-19 13:41:35 · 271 阅读 · 0 评论