![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 78
带带_大师兄
这个作者很懒,什么都没留下…
展开
-
hive参数
hive.exec.max.created.files•说明:所有hive运行的map与reduce任务可以产生的文件的和•默认值:100000hive.exec.dynamic.partition•说明:是否为自动分区•默认值:falsehive.mapred.reduce.tasks.speculative.execution•说明:是否打开推测执行•默认值:truehive.input.format•说明:Hive默认的input format•默认值: org.apache.h原创 2021-02-11 12:10:04 · 130 阅读 · 0 评论 -
Centos 7安装Ftp和Gitlab服务器
**Centos7 安装 Ftp服务器**1.yum install -y vsftpd2.启动服务并检查(1)Systemctl start vsftpd3.修改 /etc/vsftpd/vsftpd.conf(1)anonymous_enable=NO(不允许匿名登录)(2)userlist_deny=NO(与原有userlist_enable=YES 开启ftp登录用户白名单)(3)allow_writeable_chroot=YES(开启根目录写入权限)4.修改白名单 /etc/原创 2020-12-31 16:55:14 · 315 阅读 · 0 评论 -
pam.d是干什么的
PAM(Pluggable Authentication Modules)是由Sun提出的一种认证机制。它通过提供一些动态链接库和一套统一的API,将系统提供的服务和该服务的认证方式分开,使得系统管理员可以灵活地根据需要给不同的服务配置不同的认证方式而无需更改服务程序,同时也便于向系统中添加新的认证手段。PAM最初是集成在Solaris中,目前已移植到其它系统中,如Linux、SunOS、HP-UX 9.0等/etc/pam.d下的文件存放的各个命令的pam模块的配置,比如:查询某个程序具体使..原创 2020-12-25 09:32:18 · 5910 阅读 · 1 评论 -
Linux免密码切换到root用户
Linux(以Centos系统为例子)下进行用户切换的时候,使用su。一般如下:在这里插入代码片su username在这里插入代码片su - username第一种方式,切换用户后,还是使用以前登录用户的环境变量,有时候运行有些程序会出问题。第二种方式比较彻底,切换后,用户的环境变量也跟着变化,切换后就是当前用户的环境变量。以上两点需要注意下。我们切换到root用户的时候,直接使用su 或者su -,但是有个问题是,需要输入密码。这样比较麻烦。我们可以让某个用户无密码登录到root用户,需要原创 2020-12-25 09:17:47 · 1215 阅读 · 1 评论 -
mybati与jdbc
1Mybatis入门1.1单独使用jdbc编程问题总结1.1.1 jdbc程序Public static voidmain(String[] args) {Connection connection =null;PreparedStatement preparedStatement =null;ResultSet resultSet =null;...原创 2020-12-08 15:10:38 · 117 阅读 · 0 评论 -
Spark去掉文本文件首行表头
方法一: 12 val header = rdd.first()rdd2 = rdd.filter(_ != header) 方法二: 12 //不知道首行是否永远在Partition 0?val rdd2 = rdd.mapPartitionsWithIndex{ (idx, iter) => if (idx == 0) iter.drop(1) else iter } ...原创 2020-12-01 15:06:15 · 2026 阅读 · 1 评论 -
try、catch、finally语句用法
1 try、catch、finally语句中,如果只有try语句有return返回值,此后在catch、finally中对变量做任何的修改,都不影响try中return的返回值。2、try、catch中有返回值,而try中抛出的异常恰好与catch中的异常匹配,则返回catch中的return值。3 如果finally块中有return 语句,则返回try或catch中的返回语句忽略。4 如果finally块中抛出异常,则整个try、catch、finally块中抛出异常.并且没有返回值。...原创 2020-09-28 14:36:23 · 332 阅读 · 0 评论 -
spark基础知识学习
文章目录1.RDD-弹性分布式数据集-弹性*存储*计算和容错*分区-分布式 不同分区中的数据会分配给集群中的不同服务器节点进行计算-数据集 和集合不一样,没有存放数据,存的是计算逻辑2.RDD的五个特性-一组分区 getPartitions-分区计算函数 compute-RDD之间的依赖 getDependence-分区器Partitioner(对于KV类型的RDD)-数据存储优先位置 getPreferedLocation3.RDD创建的方式-通过内存原创 2020-09-24 15:21:18 · 148 阅读 · 0 评论 -
Mysql基础
Mysql基础数据库的基本概念MySQL数据库软件安装卸载配置SQL数据库的基本概念1. 数据库的英文单词: DataBase 简称 : DB2. 什么数据库? * 用于存储和管理数据的仓库。3. 数据库的特点: 1. 持久化存储数据的。其实数据库就是一个文件系统 2. 方便存储和管理数据 3. 使用了统一的方式操作数据库 -- SQL4. 常见的数据库软件 * 参见《MySQL基础.pdf》MySQL数据库软件1. 安装 * 参见《MySQ原创 2020-09-05 23:17:34 · 3773 阅读 · 0 评论 -
MySQL多表&事务
MySQL多表&事务1. 多表查询2. 事务3. DCL多表查询:* 查询语法: select 列名列表 from 表名列表 where....* 准备sql # 创建部门表 CREATE TABLE dept( id INT PRIMARY KEY AUTO_INCREMENT, NAME VARCHAR(20) ); INSERT INTO dept (NAME) VALUES ('开发部'),('市场部'),('财务部'); # 创建员工表原创 2020-09-05 23:13:34 · 3600 阅读 · 0 评论 -
Mysql约束
Mysql约束DQL:查询语句1. 排序查询2. 聚合函数3. 分组查询4. 分页查询约束多表之间的关系范式数据库的备份和还原DQL:查询语句1. 排序查询 * 语法:order by 子句 * order by 排序字段1 排序方式1 , 排序字段2 排序方式2... * 排序方式: * ASC:升序,默认的。 * DESC:降序。 * 注意: * 如果有多个排序条件,则当前边的条件值一样时,才会判断第二条件。2. 聚合函数:将一列数据作原创 2020-09-05 23:04:34 · 3180 阅读 · 0 评论 -
MapReduce 简介
1. MapReduce 介绍 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思 想核心是“分而治之”,适用于大量复杂的任务处理场景(大规模数据处理场景)。 Map负责“分”,即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆 分的前提是这些小任务可以并行计算,彼此间几乎没有依赖关系。 Reduce负责“合”,即对map阶段的结果进行全局汇总。 MapReduce运行在yarn集群 1. ResourceManager 2原创 2020-08-30 01:44:17 · 6635 阅读 · 0 评论 -
hive内置函数大全
DOUBLE|round(DOUBLE a)|Returns the rounded BIGINT value of a.返回对a四舍五入的BIGINT值DOUBLE|round(DOUBLE a, INT d)|Returns a rounded to d decimal places.返回DOUBLE型d的保留n位小数的DOUBLW型的近似值DOUBLE|bround(DOUBLE a)|Returns the rounded BIGINT value of a using HALF_EVEN r.原创 2020-08-30 01:38:32 · 47536 阅读 · 0 评论 -
Hadoop01-入门&集群环境搭建
大数据概述 大数据: 就是对海量数据进行分析处理,得到一些有价值的信息,然后帮助企业做出判断和决策. 处理流程: 1:获取数据 2:处理数据 3:展示结果1:Hadoop介绍Hadoop是一个分布式系基础框架,它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理.它主要解决两个问题 大数据存储问题: HDFS 大数据计算问题:MapReduce问题一:原创 2020-08-19 19:23:08 · 60721 阅读 · 0 评论 -
Hadoop 02 核心介绍
HDFSHDFS(Hadoop Distributed File System) 是一个 Apache Software Foundation 项目, 是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的访问接口, 像是访问一个普通文件系统一样使用分布式文件系统. HDFS 对数据文件的访问通过流的方式进行处理, 这意味着通过命令和 MapRedu.原创 2020-08-19 17:35:44 · 10270 阅读 · 0 评论