Just Do IT

✎ 丨靡不有初,鲜克有终;不忘初心,方得始终丨

linux Shell脚本编码格式修改

在windows下写好的shell脚本,放到linux上执行,往往会因为编码格式的问题存在兼容问题:   -bash: ./lbs-circle-server.sh: /bin/sh^M: bad interpreter: No such file or directory 这是由于文件编码格...

2018-02-24 14:10:44

阅读数:600

评论数:0

解决Navicat 出错:1130-host . is not allowed to connect to this MySql server,MySQL

1.改表法。 可能是你的帐号不允许从远程登陆,只能在localhost。这个时候只要在localhost的那台电脑,登入MySQL后,更改 “mysql” 数据库里的 “user” 表里的 “host” 项,从”localhost”改称”%” mysql -u root -p mysql&a...

2018-02-23 15:35:08

阅读数:56

评论数:0

Linux中Spark SQL分布式SQL引擎 部署RDB | 安装MySQL+Hive | 使用beeline交互式工具

● 文件准备 hive-0.12.0.tar.gz https://pan.baidu.com/s/1nxnAd0P MySQL-client-5.1.73-1.glibc23.x86_64.rpm https://pan.baidu.com/s/1eUaXhC2 MySQL-server-5...

2018-02-22 16:15:36

阅读数:144

评论数:0

shell命令行中用sbt打包scala程序为jar包 并发布到集群中测试

1. sbt安装 下载sbt文件,并在Linux中解压二进制的sbt软件包,这里提供下载地址 https://www.scala-sbt.org/download.html 在解压后进入目录,然后执行./bin/sbt,第一次执行时会从网上下载依赖的JAR包,并保存到~/.sbt: [elo...

2018-02-22 01:36:22

阅读数:418

评论数:0

idea利用sbt打包scala程序为jar包 并发布到集群中测试

前提条件是创建好了wordcount项目,可以参考Scala官方IDE教程 Getting Started with Scala in IntelliJ Building a Scala Project with IntelliJ and sbt Spark Quick Start http...

2018-02-22 01:08:03

阅读数:712

评论数:0

CentOS6中 fabric 安装及简单使用

简介 fabric 是一个python的库,fabric可以通过ssh批量管理服务器。 第一步安装依赖包 安装epel源 wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo 安装fab...

2018-02-21 23:27:58

阅读数:111

评论数:0

ERROR Executor: Exception in task 0.0 in stage 91.0

遇到下面这种Executor报错的情况,多半是sparkRDD或者DataFrame定义的时候出了问题,因为sparkSql程序执行的机制是:transformation端不是真正的执行,只有action端才是执行的开始,所以会在action函数调用的时候,才会把之前transform端或者定义类...

2018-02-14 11:20:41

阅读数:1137

评论数:2

hadoop-yarn集群中,通过shell脚本自动化提交spark任务

spark_submit.sh #!/bin/sh # spark_submit.sh # 这是提交spark任务到yarn分布式集群上的自动化脚本 export HADOOP_HOME=/home/elon/hadoop/hadoop-2.7.5 spark-submit --mas...

2018-02-11 12:18:33

阅读数:222

评论数:0

目录分类...

欢迎使用Markdown编辑器写博客 本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文...

2018-02-10 21:14:56

阅读数:64

评论数:0

使用Maven编译Spark源码

参考下面这篇博客,可以学到很多关于maven源码编译相关的知识。 例如,将阿里云的资源库设为maven资源下载的目标地址等等 使用Maven编译Spark源码 http://blog.csdn.net/lc_1123/article/details/78628989 编译错误 解决方...

2018-02-10 21:13:14

阅读数:66

评论数:0

SparkContext Error File not found /tmp/spark-events does not exist

[Error] SparkContext Error - File not found /tmp/spark-events does not exist 在master节点上创建了/tmp/spark-events.然后将其分发到集群上的其他节点即可工作。 mkdir /tmp/spark-e...

2018-02-10 14:43:21

阅读数:292

评论数:0

spark2.2.1中 spark.yarn.jars | spark.yarn.archive的正确配置

【ERROR】 错误: 找不到或无法加载主类 org.apache.spark.deploy.yarn.ExecutorLauncher End Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLaun...

2018-02-09 21:33:29

阅读数:359

评论数:0

ipc.Client: Retrying connect to server,failed on socket timeout exception (已解决)

在格式化NameNode出现下面异常,通过异常信息,我们初步可以看到是因为ipc.client,即无法访问集群中的journalnode主机所导致。 18/02/08 15:47:47 INFO namenode.FSNamesystem: Retry cache on namenode is ...

2018-02-08 16:16:48

阅读数:155

评论数:0

Hadoop集群搭建个人规范

从头至尾Hadoop多台主机集群搭建帮助文档资源 【链接:https://pan.baidu.com/s/1mjJPq2k 密码:9ukr】 补充事项: ○ CentOS6.6 镜像文件下载 地址:http://vault.centos.org/6.6/isos/x86_64/ ○ 集...

2018-02-08 14:37:18

阅读数:86

评论数:0

linux中ctrl+z和ctrl+c的区别

ctrl+c和ctrl+z都是中断命令,但是他们的作用却不一样. ctrl+c是强制中断程序的执行, 而ctrl+z的是将任务中断,但是此任务并没有结束,他仍然在进程中他只是维持挂起的状态,用户可以使用fg/bg操作继续前台或后台的任务,fg命令重新启动前台被中断的任务,bg命令把被中断的任务...

2018-02-08 08:58:37

阅读数:74

评论数:0

spark2.x 独立集群环境搭建 | 适用于spark集群环境搭建

在开始环境搭建的教程之前,先说明下 此篇博文为作者自学过程中实际操作总结,正确性以验证,并作为一位学习者记录自己的操作过程。 准备一个以上的unix系统环境 | 克隆WM虚拟机及修改系统参数的全过程 克隆WM虚拟机 克隆之前local模式下调试的spark虚拟机,采用克隆完整文件的模...

2018-02-07 23:52:30

阅读数:378

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭