云计算/大数据
u010039929

大数据应用统一集成平台CDAP简介

CDAP概述 CDAP的特性 CDAP的架构和技术 CDAP的适用场景 CDAP的优缺点 总结 CDAP概述      CDAP (CAST DATA APPLICATION PLATFORM)...
24
zuolovefu

Kettle邮件配置及遇到的问题解决

其实kettle的发邮件配置还是很简单的。 遇到了神坑的问题:connect time out。 原因:公司网络作为邮件smtp发送不行。 解决方法:换个网络,就好了。上图吧直接。因为确实很简单...
21
u010557442

Hadoop 2.7.3 源码编译+单机及分布式部署

目录源码构建 工具准备 从源码构建 软件结构 单机部署 分布式部署 配置host 配置ssh免密登陆 修改配置文件 检查是否成功 查看运行日志 其他 修改环境变量方便操作 我们可以选择官方编译好的Ha...
21
paicMis

Spark开发-transformations操作

核心 transformations操作 map(func) 返回一个新的RDD,这个函数的主要功能是对所有元素进行参数上的操作 对每一条输入进行指定的操作,然后为每一条输入返回一个对象 例...
29
MilkHathaway

1 描述统计入门

你好
22
qq_17300089

Elasticsearch Kibana安装x-pack

由于官网写的已经非常详细了,这里我只记下安装笔记
21
K_Ohaha

java程序员的大数据之路(7):基于文件的数据结构

SequenceFile和MapFile
175
djshichaoren

使用urllib.urlretrieve(img_net_path, img_local_path)爬取淘宝商品细节图片,[Errno socket error] [SSL: UNKNOWN_PROT

当使用这条语句爬取图片时:会出现协议错误 urllib.urlretrieve(img_net_path, img_local_path) 报错信息: Traceback (most...
27
dwf_android

一种改进的自适应快速AF-DBSCAN聚类算法

针对基于密度的DBSCAN聚类算法及其改进算法在全局参数Eps与MinPts选择上需人工干预以及区域查询方式过程复杂和查询易丢失对象等不足,提出一种改进的参数自适应以及区域快速查询的密度聚类算法。根据...
17
wangjianwei2017

计算机网络的形成与发展

计算机网络是计算机技术和通信技术相互渗透、精密结合的产物,它的发展和应用正改变着人们的工作和生活方式,并在经济、文化、科学研究、军事、政治、教育等各个领域发挥着越来越重要的作用。    计算机网络的...
21
jianai858

mysql 时区转换

在做数据分析时,有些点击流数据是按照格林威治标准时间GMT来记录的,这时就需要对时间进行转换。 参数1:需要转换的时间 参数2:格林威治标准时间GMT 参数3:北京时间,提前8小时 SELEC...
24
leisurehippo

支持向量机

支持向量机(SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器,间隔最大使它有别于感知机模型;支持向量机还包括核技巧,使它成为实质上的非线性分类器。线性可分支持向量机定义...
20
wangcha12o

Ubuntu12.04用户以root身份登录(作者亲测有效)

自从Ubuntu采用了LightGdm之后,登录选项里就没了other用户选项所以这里介绍的方法只是一个这种的方法,安装以前的GDM。 第一步:设置ROOT用户密码。 sudo passw...
18
SGQ1991

Hadoop集群添加磁盘步骤

一、实验环境 : 1、硬件:3台DELL服务器,CPU:2.27GHz*16,内存:16GB,一台为master,另外2台为slave。 2、系统:均为CentOS6.3 3、hadoop版本:...
43
wisdom_c_1010

Kylin工作原理

1.维度和度量     维度:观察数据的角度,一般是一组离散的值,通常是数据记录的一个属性。     度量:被聚合的统计值,也是聚合运算的结果,一般是连续的值;基于数据所计算出来的考量值,通常是一个数...
9
hengbao4

MQ FTE - 以简单的方式管理文件传输!

原文链接: MQ FTE - Manage your file transfers the easy way!本文翻译使用了谷歌翻译来辅助,特此声明。   Don’t know much abou...
19
zhongqi2513

hadoop 2.x常用端口及查看方法

hadoop 2.x常用端口及查看方法 一、常用端口 组件 节点 默认端口 配置 用途说明 HDFS DataNode 5...
28
qq_16038125

spark-调优-数据倾斜

过滤导致倾斜的key方案实现原理:将导致数据倾斜的key给过滤掉之后,这些key就不会参与计算了,自然不可能产生数据倾斜。方案优点:实现简单,而且效果也很好,可以完全规避掉数据倾斜。 方案缺点:适用...
30
duan_zhihua img

008 无穷大及极限的四则运算引理

008  无穷大及极限的四则运算引理
56
qq_27647073

Python分布式爬虫打造搜索引擎完整版-基于Scrapy、Redis、elasticsearch和django打造一个完整的搜索引擎网站

Python分布式爬虫打造搜索引擎完整版-基于Scrapy、Redis、elasticsearch和django打造一个完整的搜索引擎网站
20
qq_16038125

spark-troubleshooting-常用问题解决

现象: Failed to get broadcast_9_piece0 of broadcast_9 解决: –conf spark.cleaner.ttl=120000现象: 1. m...
18
qq_18947123

路径问题

最近发现很多初学者总是搞不清楚路径的问题。我也多次遇到这种烦恼,特记录于此,希望帮助后来者。 说明:针对java工程。 ① 如果是在classpath下面的文件,如”/books.xml”,斜杠开头表...
19
qq_16038125

spark-troubleshooting-OOM

java.lang.OutOfMemoryError: Java heap space java.lang.OutOfMemoryError:GC overhead limit exceededya...
21
kaaosidao

hive双重groupby 随机前缀

package com.xxx import java.util.Random import org.apache.spark.sql.types.{DataTypes, StructField,...
27
qq_28633249

Hadoop中正确地添加和移除节点

正确地添加和移除节点 添加节点 克隆 克隆一台全新的Linux(如有IP冲突,可右击VMware右下角网络图标断开连接) 打开/etc/hostname修改主机名 打开/etc/sysconfig/n...
24
tian_qing_lei

troubleshooting之解决yarn-client模式导致的网卡流量激增问题

Driver到底是什么?      我们写的spark程序,打成jar包,用spark-submit来提交。jar包中的一个main类,通过jvm的命令启动起来。 JVM进程,这个进程,其实就是咱们的...
24
humanity11

sparkOnHbase 解决spark读取hbase数据后不能分布式操作

问题描述:在hbase数据库中保存了许多的图像帧数据,其中图像一行帧数据用在数据表中对应一个rowkey,需要用这许多的rowkey合成一个图像,发现很慢,和单机上合成图像有的一比; 影响:因为图像需...
14
qq_16038125

spark-调优-shuffle

合并map端输出文件new SparkConf().set(“spark.shuffle.consolidateFiles”, “true”) 默认情况下,是不开启的,开启shuffle map端输...
19
qq_18947123

XML上——JAVA读取XML文件

原创不易,转载请注明!一、XML简介1、XML: **Extensible Marked Language**可扩展标记语言 2、**主要用途**:**数据存储 与 数据传输**。尤其作为跨应用、跨平...
20
paincupid

《从Paxos到zookeeper分布式一致性原理与实践》笔记

《从Paxos到zookeeper分布式一致性原理与实践》笔记一、概念ACID: Automaticy、consistency、isolation、 DurabilityCAP: consistenc...
24

必备
img python干货还有10秒到达!
讲师:Python资料

专家申请

img
杨尚伟

热爱技术 热爱分享

img
陈明

从事Android、Java Web开发4年,喜欢将新技术应用于实践并提高工作效率,有代码...

img
郑冬冬

厦门四信产品经理,无线传感网事业部技术负责人,负责LoRa、ZigBee等系列产品的开发工...

更多

官方博客

img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部