自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

D

  • 博客(8)
  • 资源 (11)
  • 收藏
  • 关注

原创 Hadoop默认端口表及用途

端口 用途 9000 fs.defaultFS,如:hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address,DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 dfs.namenod

2017-04-14 11:01:12 7029

原创 kafka集群搭建

环境说明选用hadoop集群中的三个节点hadoop01,hadoop02,hadoop03来装kafka,且该三个节点上已安装了zookeeper,如没有安装zookeeper,请参考上一篇文章:搭建三个节点的zookeeper安装kafka需要的其余软件包有scala,slf4j-1.7.6中的slf4j-nop-1.7.6.jar文件,本文使用的各软件包的版本如下:kafka_2.9.2,

2017-04-11 14:45:09 378

原创 搭建三个节点的zookeeper

本文所用环境,如果没有请结合自身环境进行搭建4个hadoop节点,hadoop版本为2.7.1,主机名称分别为hadoop01、hadoop02、hadoop03、hadoop04,且ssh已经建立zookeeper版本为3.4.5,所存放目录为/opt/moudles下 1. 解压zookeeper执行如下命令:cd /opt/moudles/tar –zxvf zookeeper-3.

2017-04-09 17:18:38 2373

转载 Spark性能优化指南——基础篇

本文引自:http://tech.meituan.com/spark-tuning-basic.html前言在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已经有很多同学在各种项目中尝试使用Sp

2017-04-06 08:28:02 362

转载 Spark性能优化指南——高级篇

本文引自:https://zhuanlan.zhihu.com/p/22024169美团点评技术团队8 个月前前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候,我

2017-04-06 08:25:14 1160

原创 Idea基于scala语言构建spark开发环境搭建

需要文件 intellij idea需要安装scala 本实验使用的是spark-1.6.1 将spark文件夹下的lib目录下的spark-assembly-1.6.1-hadoop2.6.0.jar拷出作为备用创建spark项目选择File->New->Project 点击Next,输入项目名称,本实验中使用的项目名称为:ScalaWordCount 点击Fini

2017-04-04 22:28:14 1064

原创 Idea基于maven,java语言的spark环境搭建

环境介绍:IntelliJ IDEA开发软件,hadoop01-hadoop04的集群(如果不进行spark集群测试可不安装)准备工作首先在集群中的hdfs中添加a.txt文件,将来需在项目中进行单词统计 构建Maven项目点击File->New->Project… 点击Next,其中GroupId和ArtifactId可随意命名 点击Next 点击Finish,出现如下界面:

2017-04-04 16:48:48 7652 2

原创 解决java.net.UnknownHostException: 主机名: 主机名: 未知的名称或服务

问题场景:使用maven调试构建spark开发环境,于本地执行spark程序,报java.net.UnknownHostException:主机名:主机名:未知的名称或服务错误 解决方式: 修改本地的hosts文件,添加[127.0.0.1 主机名]的映射,比如我的主机名为HaSpark,如下图所示: 修改etc/hosts文件前后对比如下: 修改前: 修改后: 最终运

2017-04-04 09:52:09 78143 3

新一代人工智能发展白皮书.tar.gz

科技创新有自身的规律,而顺应规律的助推,对于产业发展的作用不容忽视。近日,国务院印发《新一代人工智能发展规划》(以下简称《规划》),提出面向 2030 年我国新一代人工智能发展的指导思想、战略目标、重点任务和保障措施,部署构筑我国人工智能发展的先发优势。这一规划的出台,为推动人工智能产业发展、争夺科创前沿高地吹响了冲锋号。

2019-12-25

深入浅出PMP(中文版)

《深入浅出PMP(*版第3版)》以一种有趣而不令人乏味的方式提供了针对《PMBOKGuide》原则的完整覆盖。本书将以一种独特方法帮助你准备认证考试,它将让你思考整个项目管理的总体方向而不是那些特定问题的答案。通过将项目管理知识放入上下文中,你将能够理解、记忆和应用它们——不仅仅在考试中,而且在工作中。这也是为什么很多人把《深入浅出PMP》作为他们**的资料来通过PMP考试! 本书基于神经生物学、认知科学和学习理论方面**的研究成果,它使用了多种丰富生动的组织形式来适应你的大脑,而不是那种只会让人昏昏欲睡的长篇累牍。

2018-05-23

时间序列分析及应用:R语言(原书第2版)

译者序 前言 第1章 引论 1.1 时间序列举例 1.2 建模策略 1.3 历史上的时间序列图 1.4 本书概述 习题 第2章 基本概念 2.1 时间序列与随机过程 2.2 均值、方差和协方差 2.3 平稳性 2.4 小结 习题 附录A 期望、方差、协方差和相关系数 第3章 趋势 3.1 确定性趋势与随机趋势 3.2 常数均值的估计 3.3 回归方法 3.4 回归估计的可靠性和有效性 3.5 回归结果的解释 3.6 残差分析 3.7 小结 习题 第4章 乎稳时间序列模型 4.1 一般线性过程 4.2 滑动乎均过程 4.3 自回归过程 4.4 自回归滑动平均混合模型 4.5 可逆性 4.6 小结 习题 附录B AR(2)过程的平稳域 附录C ARMA(p,g)模型的自相关函数 第5章 平稳时间序列模型 5.1 通过差分平稳化 5.2 ARIMA模型 5.3 ARIMA模型中的常数项 5.4 其他变换 5.5 小结 习题 附录D 延迟算子 第6章 模型识别 6.1 样本自相关函数的性质 6.2 偏白相关函数和扩展的自相关函数 6.3 对一些模拟的时间序列数据的识别 6.4 非平稳性 6.5 其他识别方法 6.6 一些真实时间序列的识别 6.7 小结 习题 第7章 参数估计 7.1 矩估计 7.2 最小二乘估计 7.3 极大似然与五条件最小二乘 7.4 估计的性质一 7.5 参数估计例证 7.6 自助法估计ARIMA模型 7.7 小结 习题 第8章 模型诊断 8.1 残差分析 8.2 过度拟合和参数冗余 8.3 小结 习题 第9章 预测 9.1 最小均方误差预测 9.2 确定性趋势 9.3 ARIMA预测 …… 第10章 季节模型 第11章 时间序列回归模型 第12章 异议差时间序列模型 第13章 谱分析入门 第14章 谱估计 第15章 门限模型 参考答案

2018-04-08

slf4j-1.7.6

slf4j-1.7.6

2017-04-11

kafka_2.9.2-0.8.1

kafka_2.9.2-0.8.1

2017-04-11

scala-2.11.4

scala-2.11.4

2017-04-11

《spark机器学习》电影数据集

《spark机器学习》的电影数据集,大家也可以在这个网址进行下载:http://files.grouplens.org/datasets/movielens/

2017-03-10

pdksh-5.2.14(32位和64位包).rar

安装oracle11g时提示没有此包,可针对自己的版本进行安装

2017-01-13

libaio-devel-0.3.105-2.x86_64.rpm

linux下安装oracle时提示没有此包,请执行rpm -ivh libaio-devel-0.3.105-2.x86_64.rpm

2017-01-13

html5参考手册

包括html5参考手册.chm,html.chm,html5.chm,html语言帮助文档.chm,w3c标准html5手册.chm

2012-09-22

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除