2020年04月_日月星辰TEL

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 spark 操作 MySQL数据库

pom.xml：https://blog.csdn.net/qq262593421/article/details/105769886SparkJDBCExample.scalapackage com.xtd.spark.imoocimport org.apache.spark.sql.SparkSessionobject SparkJDBCExample { def ma...

2020-04-28 17:51:42 1061

原创 CDH spark submit error：Can't create directory Permission denied

问题描述cdh系统重新配置之后，发现spark任务提交失败，报错信息是本地目录创建的权限问题Can't create directory Permission denied问题解决在yarn配置中搜索 cgroup，把“始终使用 Linux Container Executor”选项取消勾选，再重新部署配置...

2020-04-27 11:04:40 1770

原创 IDEA 编写第一个spark项目

scala 2.11.12 下载：https://www.scala-lang.org/download/scala 2.11.12（Linux）：scala-2.11.12.tgzscala 2.11.12（windows）：scala-2.11.12.zipIDEA 新建一个 Maven项目Maven项目创建成功提示[INFO] BUILD SUCCESS...

2020-04-26 16:16:15 1341

原创 spark2.4.0 scala2.11.12 Maven构建 pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0...

2020-04-26 15:25:16 3306

原创 CDH报错：Resource management is disabled for host cdh03 but at least one of its roles has cgroup parame

问题描述Resource management is disabled for host cdh03 but at least one of its roles has cgroup parame问题解决CDH进入YARN配置页面，搜索 cgroup ，将以下两个选项配置勾选将 CGroups 用于资源管理yarn.nodemanager.linux-cont...

2020-04-26 14:07:34 1319 1

原创 Linux 安装 scala2.12.11

一、下载scala安装包Linux：scala-2.12.11.tgzwindow：scala-2.12.11.zip二、上传到Linux下cd /usr/localrz三、解压scala安装包tar -zxvf /usr/local/scala-2.12.11.tgz -C /usr/local/四、创建软链接ln -s /usr/local/scal...

2020-04-23 14:45:03 2185 3

原创 windows安装cygwin，再也不用开虚拟机练习Linux命令了

前言什么是cygwin？cygwin大量GNU和开源工具的集合，它们提供的功能类似于Windows上的Linux发行版。一个提供大量POSIX API功能的DLL (cygwin1.dll)。1、Cygwin 下载http://www.cygwin.com/setup-x86_64.exe2、Cygwin 安装点击setup-x86_64.exe安装选择 I...

2020-04-22 17:32:30 2597 11

原创 cdh6.3.2 oozie HA 高可用配置

1、配置Oozie Load Balancer（1）进入Oozie配置页面，搜索关键字 port（2）在Oozie Load Balancer栏输入需要开启oozie的host，以逗号隔开cdh01,cdh02,cdh03,cdh04,cdh05,cdh062、配置 Oozie Load Balancer HTTP、HTTPSPort注意：定义的 htt...

2020-04-20 19:41:34 2447 11

翻译 CDH6.3.2 Maven Repository: report

CDH 6.3.2The following table lists the project name, groupId, artifactId, and version required to access each CDH artifact.Project groupId artifactId version Apache Avro org.apach...

2020-04-20 10:46:21 1578 2

原创 shell脚本监控文件夹文件实现自动上传数据到hive表

createtb.sh#!/bin/bash#string="tablename;field1,field2,field3,field4;partition1,partition2,partition3"string=$*group=(${string//;/ })for i in ${group[@]};do ((m++)) if [[ m -eq 1 ]]...

2020-04-16 16:54:18 1854

原创 oozie调用shell脚本

job.propertiesnameNode=hdfs://cdh01:8020resourceManager=cdh01:8032queueName=defaultexamplesRoot=examplesoozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/sshexec...

2020-04-14 19:23:41 1887 1

原创 CDH hadoop生态的所有组件路径

目录一、CDH自身组件1、cloudera-scm-server2、cloudera-scm-agent二、Hadoop生态组件1、hadoop2、hive3、hbase4、zookeeper5、spark三、CDH加载的环境变量一、CDH自身组件1、cloudera-scm-server/etc/cloudera-scm-server/...

2020-04-11 17:57:33 3583

原创拒绝手敲，hive创建表只需要输入表名和字段即可自动建表（shell脚本实现）

#!/bin/bash# $1:表名 $2:分区1 $3:分区2 $4-$n:基础字段# 数据库名称，这里不作为参数用自变量写了database="observation"# hive 拼接语句,分为h1,h2,h3 # h1是建表语句的前半部,h2是参数列表中间部分,h3是建表语句的后半部h1="create external table $database.$1("# ...

2020-04-10 17:30:26 2186 3

原创 shell for循环拼接字符串

# 在当前目录下创建文本文件temp，如果文件存在则清空文件$(> tempfile)# for 循环将参数追加到当前目录的temp文件，逗号分隔，echo -n 不换行for ((i=4;i<$#;i++));do echo -n ${i}, >> tempfile done# h2取tempfile文本里的字符串h2=$(cat tempfile)# ...

2020-04-10 16:14:17 12933

原创三种方法实现Linux打印文件夹下所有文件的日期信息

ls --full-time -lt | tail -n -$(ls | wc -l) | awk '{print $6,$7}'

2020-04-09 16:15:20 1898

原创 Linux 查看目录下所有的日期信息（按最新日期排序）

# 当前目录有四个文件ll# 查看目录下文件日期的详细信息ls --full-timemonitor.sh#!/bin/bashecho "-----------------"let "total=$(ls | wc -l)"list=$(ls --full-time -lt | tail -n -$total | awk '{print $6,$7}'...

2020-04-09 14:18:46 5583

原创 Linux 离线安装 python 3.6.10

准备文件：Python-3.6.10.tgzcd /usr/local/tar -zxvf Python-3.6.10.tgzcd /usr/local/Python-3.6.10yum updateyum -y install gcc-c++./configure./configure --enable-optimizationsmake && make in...

2020-04-08 19:29:14 1274

原创 Linux shell脚本实现命令批处理和文件批量分发

vim exall.sh#!/bin/bashecho "------start execyting the shell script------"# awk 读取hosts文件的第二部分hosts=$(cat /etc/hosts | tail -n +3 | awk '{print $1}')# 传递的指令（参数）cmd=$*# for循环读取文件for host ...

2020-04-06 23:07:22 1778 2

原创大数据入门之 ssh 免密码登录

1、root用户登录，每台机器生产公钥和密钥ssh-keygen输入之后回车键，再输入两次root用户密码，Linux会生成两个密钥：公钥和私钥公钥文件：/root/.ssh/id_rsa.pub私钥文件：/root/.ssh/id_rsa2、查看生成的公钥和私钥cd ~/.ssh/llpwd# 查看公钥cat /root/.ssh/id_rs...

2020-04-06 13:09:34 1227

原创大数据进阶之 shell 脚本开发

shell脚本赋权chmod 777 file.sh1、for循环打印数组arr1=(20 21 23 24 25)arr2=(a b c d e f g)for i in ${arr1[*]};do echo -e $i "\c"doneechofor i in ${arr2[@]};do echo -e $i "\c"doneecho# -e：...

2020-04-04 23:30:46 973 1