云计算/大数据
codemaster_2071

kubeadm安装kubernetes 多master高可用

目录   版本信息 节点信息 安装前准备 1. 配置hosts解析 2. 安装docker 3. 安装 kubeadm, kubelet 和 kubectl 4. 配置系统相关参数 ...
29
weixin_38750084

spark剖析原理图

1.spark内核架构深度剖析: 2.宽依赖窄依赖深度剖析: 3.基于yarn两种提交模式深度剖析: 4.SparkContext 原理剖析: 5.Master 主备切换的原理...
13
weixin_38750084

Spark任务的执行流程

2
weixin_38750084

flume实现几十条业务线日志系统如何收集处理

在互联网迅猛发展的今天 各大厂发挥十八般武艺的收集用户的各种信息,甚至包括点击的位置,我们也经常发现自己刚搜完一个东西,再打开网页时每个小广告都会出现与之相关联的商品或信息,在感叹智能的同时不惊想 什...
2
strideahead

spark学习初识

1
Anbang713

Spark项目实战-实际项目中常见的优化点-设置本地化等待时间

一、什么是数据本地化 Spark在Driver上,对Application的每一个stage的task进行分配之前,都会计算出每个task要计算的是哪个分片数据。Spark的task分配算法优先会希...
1
Anbang713

Spark项目实战-实际项目中常见的优化点-降低cache操作内存占比

一、原理 在JVM中,有一块内存我们称之为堆内存,其作用是用来存放程序中的对象。堆内存中又分为年轻代和老年代,年轻代中又分为三块,分别是Eden区域和两个survivor区域。 每一次放对象的...
1
feilong_csdn

【数字图像处理系列二】基本概念:亮度、对比度、饱和度、锐化、分辨率

本系列python版本:python3.5.4 本系列opencv-python版本:opencv-python3.4.2.17 本系列使用的开发环境是jupyter notebook,...
72
CSDN_fzs

【python数据分析】——药品销售数据分析

一、前言 这篇文章找来了有关药品销售数据进行案例分析练习,利用适当的统计方法对相关数据进行月均消费次数、月均消费金额、客单价和消费趋势等几个业务指标进行分析。 分析过程为:数据获取、数据清洗、建模...
40
weixin_42764556

Hadoop(二)

目录   元数据(Metadata) NameNode(NN) DataNode(DN) SecondaryNameNode HDFS操作流程 HDFS读取流程​ HD...
26
weixin_42051109

docker环境下搭建hadoop集群(ubuntu系统详细版)

我的思路是这样: 安装ubuntu系统---->下载docker---->在docker里拉取hadoop镜像---->在此镜像里创建三个容器(Master、...
16
weixin_39381833

基于Docker的Hadoop集群搭建

环境准备 1.Linux环境 2 Docker环境(已国内镜像加速) Docker环境搭建可以参考 Docker 基础入门+实例(2) 前言 直接用机器搭建Hadoop环境是一件痛苦的...
15
fenglibing

HBase中的SplitRegionPolicy实现原理及其源码解读

我的HBase是使用的是CDH5.15中的版本,其版本对应的是HBase的版本为1.2,后续的分析都是基于该版本的源码做的分析。 一、SplitRegionPolicy及其子类介绍 在HBase的...
13
wyqwilliam

git免密登陆

在开始之前,我们首先来明确一下需要每次输入用户名和密码的场景: 第一,必须是使用https方式下载的代码在操作时才可能需要输入用户名密码。 第二,在满足第一点的基础上,未配置credential....
9
jiachengwin

hadoop hdfs datanode 数据迁移

定位思路        先将集群停止,然后准备好新的存储目录,再将数据复制到新的目录中,重启集群。 处理步骤        假设HDFS的默认安装目录为“/dfs/dn”,需要移动目录到“/ho...
8
wyqwilliam

logstach从MySQL数据库中导数据到ELK遇到的问题

bug描述:在用logstach将SQL文件导入到ELK中,频繁发现导入失败的情形: 配置以下文档: { "order": 0, "version&...
5
py_123456

Spark编程模型(中)

创建RDD 方式一:从集合创建RDD makeRDD Parallelize 注意:makeRDD可以指定每个分区perferredLocations参数parallelize则没有。 方式二:读...
4
zyzzxycj

Spark执行计划分析与研究

在学习、使用和研究spark的过程中,逐渐会发现:单纯看官方文档对spark参数调优只能解决一小部分的问题,要想进一步的学习spark,进一步调优甚至在spark源码的基础上二次开发,我觉得收益最高的...
202
qq_42283543

大数据平台常用组件端口号

常见端口汇总:Hadoop:        50070:HDFS WEB UI端口  &am...
12
Fortuna_i

自制Spark安装详细过程(含Scala)

推荐spark安装链接http://blog.csdn.net/weixin_36394852/article/details/76030317 一、scala下载安装与配置          1...
6
weixin_42690304

运维面试题

运维面试题 NETWORK 1 请描述TCP/IP协议中主机与主机之间通信的三要素 参考答案 IP地址(IP address) 子网掩码(subnet mask) IP路由(IP rout...
100
weixin_42272670

CDN基础概念与常见应用

(~ ̄(OO) ̄)ブ分享一下关于CDN的一些基础概念、和常见CDN所应用于的应用场景。CDN的本质、更多可以定义为一个缓存加速的概念、通过分布再全国各地的多个CDN节点、通过智能调度解析放回给客户端最...
98
qq_37050993

通过pyspark将KUDU写入hbase

kudu2hbaseOnpyspark 通过pyspark配置将kudu的数据写入hbase: 运行命令spark-submit: spark-submit --packages com.hor...
88
qq_42969157

政府oa管理软件怎么做?有哪些应用场景?

随着移动互联网时代的不断深入发展,政府oa管理软件利用计算机信息科技不受时间、空间和部门分隔等的限制,向全社会提供高效、优质、规范、透明和全方位的服务,从管理型向服务型的全面转变。 那么,政府部门对...
84
jiawoxuexiqq30294961

写给大数据开发初学者的话

导读: 第一章:初识Hadoop 第二章:更高效的WordCount 第三章:把别处的数据搞到Hadoop上 第四章:把Hadoop上的数据搞到别处去 第...
77
max_hello

python 发邮件本地发送没问题 阿里云Linix上发送不出去问题

加上  smtplib.SMTP_SSL(mail_host, 465)  #阿里云把25端口封掉了 附完整代码 import pandas as pd import smtplib from e...
73
i973635025

flume配置

agent1.sources = source1 agent1.sinks = sink1 agent1.channels = channel1 source: agent1.sources.s...
58
lsj960922

大数据计算服务MaxCompute行业开发应用案例

大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决...
57
weixin_39278265

在docker中配置defects4j基准测试集

前言 本文旨在记录——如何在docker的Ubuntu镜像下配置defects4j 1.2.0 (最新版本,此时时间:2018-09-16)。 一、配置过程 1)先要在docker下安装Ubuntu...
54
u013303361

hive2.3.3安装记录

环境: win7 64位虚拟机Ubuntu18.04, hadoop2.7.6   mysql安装参考: https://blog.csdn.net/u011026329/article/det...
51

预告
img 进军Web前端工程师
讲师:曾亮老师

专家申请

img
刘博文

常年大数据工作,原项目是负责中国邮政储蓄银行所有非结构化数据存储。hadoop集群规模超千...

img
王栋

14年开始做技术,16年创业至今。在技术这条路上摸爬滚打这几年,对Java生态有了清楚的认...

img
测试账号测试2

这是一个测试2

更多

日榜

官方博客

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部