- 博客(10)
- 收藏
- 关注
RSS订阅原创 在阿里云服务器中安装配置MYSQL数据库
(可选)1.确保服务器系统处于最新状态[root@localhost ~]# yum -y update如果显示以下内容说明已经更新完成Replaced:grub2.x86_64 1:2.02-0.64.el7.centos grub2-tools.x86_64 1:2.02-0.64.el7.centosComplete!（可选）2.重启服务器[root@localhost ~]#...
2020-01-06 17:36:32
179
原创 sql实战
1、查找最晚入职员工的所有信息表结构说明CREATE TABLE employees (emp_no int(11) NOT NULL,birth_date date NOT NULL,first_name varchar(14) NOT NULL,last_name varchar(16) NOT NULL,gender char(1) NOT NULL,hire_date da...
2019-12-25 14:53:26
97
原创 应用crontab定时执行shell脚本
步骤一首先我们先看一下是否安装了crontab。一般情况下linux系统会自带crontab及crond。如果没有安装，请使用以下指令安装：yum install vixie-cron yum install crontabs （PS：Ubuntu操作系统下请使用apt-get）步骤二然后我们写一个名字叫做liao.sh的shell脚本。然后给予liao.sh权限。...
2019-11-08 16:45:46
368
原创 RDD操作详解
1、RDD操作详解启动spark-shellspark-shell --master spark://hdp-node-01:70771.1 基本转换mapmap是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。举例：scala> val a = sc.parallelize(1 to 9, 3)s...
2019-08-13 10:46:56
832
原创 shell常用命令总结
常用命令总结1、常用操作查看当前目录下的所有文件及目录ls/ll进入目录cd查看当前目录pwd结束当前进程ctrl+c/ctrl+z新建目录mkdir dir1[ dir2 dir3 dir4] 新建四个dir删除目录rm -rf dir 删除目录下及目录下的所有文件递归创建目录mkdir -p /dir1/dir...
2019-07-18 15:51:28
88
原创 sqoop job作业介绍及其操作
sqoop job作业介绍语法以下是创建Sqoop作业的语法。$ sqoop job (generic-args) (job-args) [-- [subtool-name] (subtool-args)]$ sqoop-job (generic-args) (job-args) [-- [subtool-name] (subtool-args)]创建作业(–create...
2019-07-18 15:48:29
1255
原创 Apache Sqoop的介绍及其操作
一、Apache SqoopApache p Sqoop 是在 在 p Hadoop 生态体系和 和 S RDBMS 体系 之间传送数据的一种工具。来自Apache 软件基金会提供。Sqoop 工作机制是将导入或导出命令翻译成 mapreduce 程序来实现。在翻译mapreduce 中主要是对 inputformat 和 outputformat 进行定制。Hadoop 生态系统包括：...
2019-07-18 15:45:00
285
翻译 Hadoop离线（使用beeline工具连接Hive）
###使用beeline工具连接Hive####第一步:修改hadoop的hdfs-site.xml文件在该文件中添加以下内容,开启HDFS的REST接口功能:<property> <name>dfs.webhdfs.enabled</name> <value>true</value></property&g...
2019-07-14 19:20:21
467
翻译 Hadoop离线（数仓与hive操作1）
Hadoop离线1-数据仓库-基本概念和主要特征基本概念英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。数据仓库是存数据的，企业的各种数据往里面存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。可以...
2019-07-14 19:16:04
634
翻译 Hadoop离线（hive的操作2）
Hadoop离线set mapreduce.job.name=hive_job名字;1-hive表基本操作-分桶表操作分桶，就是将数据按照指定的字段进行划分到多个文件当中去,分桶就是MapReduce中的分区.开启 Hive 的分桶功能set hive.enforce.bucketing=true;设置 Reduce 个数set mapreduce.job.reduces=3;...
2019-07-14 19:04:49
360
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人