- 博客(7)
- 收藏
- 关注
RSS订阅原创 Idea使用Scala启动并编写Spark应用程序
1、打开Idea，选择新建一个项目，点击右侧的选择maven，在左侧勾选，create from archetype选项，在下拉的选项中中悬着scala-archetype-simple选项，点击下一步 2、填写gav三个坐标，这个自己填写就好，可以参考格式以下，点击下一步groupId：com.test.wwwArtifactId : salversion :1.0...
2018-08-10 11:02:12
1461
原创 Spark源码编译
2、在正式的生产环境中，为了能够使服务能够，在hadoop安装目录下编辑pom.xml文件，添加以下依赖<repository><id>cloudera</id><url>https://repository.cloudera.com/artifactory/cloudera-repos/</url></repositor...
2018-08-09 15:22:34
301
原创 Ubuntu安装Mysql并允许远程登录
（1）在平时我们的开发中经常要用到MySQL数据库，接下简单介绍下在Ubuntu16.04系统下如何安装mysql数据库，并进行配置允许远程访问1、首先执行 apt install mysql-server 命令，安装MySQL服务端，安装过程中提示要输入密码，按照提示输入就好2、执行命令apt install mysql-client 命令，安装MySQL客服端，允许客户端连接MyS...
2018-08-08 11:07:55
652
原创 YARN资源调度框架
前言：yarn是hadoop2.x版本以后才有的 概念一：RM（resourceManager）+NM（nodeManager） 解析：yarn的资源管理通常通过1个RM+N个NM的模式，其中还有一个处理准备状态的RM，如果主的NM挂掉以后，处于准备状态的RM将会启动阶梯主RM的工作，防止错误的发生 RM（resouceManager）负责资源调度，主要有以下功...
2018-08-07 10:41:40
277
原创 HDFS的特点
1、HDFS的优点 （1）适合批处理 （2）适合处理大量的数据 （3）可构建在廉价的机器上 2、HDFS的缺点 （1）低延迟的数据访问 （2）小文件存储不适合，因为每个文件的元信息都要储存在namenode中，而namenode内存有限 （3）不适合流式计算和实时处理 3、什么是mapreduce 起源：源自Googl...
2018-08-07 09:32:05
2156
原创 把公网ip通过DNSPOD进行域名解析
在开发过程中，我们常常需要用到域名对我们的服务器进行访问，但通常我们购买一台服务器时只有一个公网的IP地址，我们还要购买一个域名，在购买一个域名后，如何对域名进行解析，解析出我们服务器的IP地址呢，接下来我将介绍一下如何通过DNSPOD对我们购买的域名进行IP地址进行解析1、打开DNSPOD的官网www.dnspod.cn 2、登录DNSPOD的官网后，点击控制台---域名解析，并填入...
2018-08-06 14:19:56
8998
原创 linux下搭建nodejs环境
如果需要在linux系统上安装nodejs，我们常常需要安装一个nodejs的包管理工具nvm，可以通过github找到该工具的安装脚本，并通过改工具安装nodejs，注意我的系统为Ubuntu16.04，登录用户为非root用户，如果你的登录用户是root，这命令前的sudo可以取得 1、更新软件源为最新版本，确保下载内容为最新命令：sudo apt-get update 2...
2018-08-06 10:20:12
793
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人