- 博客(13)
- 收藏
- 关注
RSS订阅原创 hive-级联求和
本人思路，欢迎大佬指出错误 级联求和的思路： ：首先我们针对一个求每月之中每天产品递增的销量，求解； 1.明确目的，针对此需求。要的是一月之中的每天数据，分组应是 day。 2.每天递增，说明只要当前天以及本月当前天之前的day的销量总和。 3.运用inner join连接方式和where b.day<=a.day针对此问题把当前天以及之前的天数销量排查出来，做聚合操作。 4....
2019-07-05 11:58:13
464
原创 hive中有关分桶
首先，在hive中为什么要分桶？？ ：单个分区或者表中的数据量越来越大，当分区不能更细粒度的划分数据时， 会采用分桶的技术将数据更加细粒度的划分和管理。 分区和分桶的区别： 分区：一个分区在表目录之中就是目录下的一个文件，在表中的字段因为是伪列，所以定义分区的时候应该加上 对应的字段类型。例如： create table table_test(id int,name string)p...
2019-07-02 16:46:21
186
原创 hive中有关表的数据导入或者落实相关文件的几种方式
一.将hive表中数据导入指定文件： 1.将hive表中的数据导入到HDFS的文件 insert overwrite directory '/root/table_to_file' row format delimited fields terminated by ',' --默认为csv文件格式 select * from table_name; 2、将hive表中的数据导入到本地...
2019-07-01 14:15:35
242
原创 Scala方法与函数的区别
1. 函数在scala语言中，是函数编程的 “头等公民” 2. 方法是 scala 面向对象中的概念，主要定义在类，特质，抽象类中 3. 函数是一个对象，方法本质就是类中的一个普通的方法 4. 函数可以作为参数进行传递,可以作为返回值返回,但是方法不行 5. 方法可以通过一定的语法转成函数 def eat()={ print("正在吃") } //将eat方法转函数 val eat1=e...
2018-11-21 22:14:35
505
原创 MapReduce 之 Shuffle 的详细流程
主要流程简介： 先对数据进行切片，然后将数据传递给map,map的输出是内存缓冲区（圆形缓冲区），内存缓冲 区默认大小是100M,当达到80%的时候将数据溢写到本地，剩余20%用于继续获取数据，在溢写 到磁盘的时候会执行parti tion(分区) 和 sort (排序)， 然后对文件进行合并操作，合并完成之后 reduceTask 会去启动线程去mapTask拉取数据，然后进行文件合并，并...
2018-11-01 15:50:33
2209
原创 hadoop 全分布式环境搭建—— 详细步骤
材料：三台 linux 虚拟机 hadoop2.7.2 版本 以下全分布式搭建步骤 ：前期分别 配置好JDK 创建hadoop 用户 设置好主机名称 hosts 主机地址映射 免密登录 防火墙关闭 三台虚拟机的互相通信 开始安装：在/opt下建立一个 software 文件夹 第一步：修改seLinux文件中 目录文件地址 /ect/sysconfig/selinux ...
2018-10-24 19:54:21
230
原创 Linux 中 shell jdk mysql ssh ntp yum相关配置..... 操作linux相关命令大全结构体系-思维导图
以下是命令截图：详情链接链接：https://pan.baidu.com/s/1t1_6O_fOSi6atKWRvnE2vA 提取码：px4y 该Linux结构知识体系——没有crontab cut awk 等相关操作 只有一些简单命令易忘结构体系 ...
2018-10-20 11:35:28
173
原创 虚拟机中_CentOS相关网络配置
有关虚拟机中国 Linux 版本中CentOS的虚拟网络配置 分成以下几步： 第一步：点击 编辑 ---- 中 虚拟网络编辑器 第二步 ： 点击 vmware8 此方式为 nat 模式 子网中 前三位随意设置（因为是虚拟网络） 最后一位设置为0 子网掩码 设置为 255.255.255.0 第三步 点击 NAT设置 进入 NAT设置 填写网关 注意 ：...
2018-10-15 21:35:46
133
原创 Java--------在控制台输入一句英语， 获得每个字母出现的次数
看到这个题哈，第一想法就是建立两个数组，分别存放char 和 number（次数）； 具体思路： 建立一个先从控制台输入一串字符，把它转换成char[ ]；然后建立两个数组分别存放char[ ] 和次数value[ ]，最后让每一个字符都进行比较，从0循环遍历比较如果相等就置空（防止下次比较的时候会重复，和为了向char[ ] 数组中添加元素的时候会重复），然后遍历...
2018-08-08 12:00:51
3331
翻译 Java由浅到深——递归学习N皇后问题
借鉴于———https://www.cnblogs.com/houkai/p/3480940.html 国际西洋棋棋手马克斯·贝瑟尔于1848年提出：在8×8格的国际象棋上摆放八个皇后，使其不能互相攻击，即任意两个皇后都不能处于同一行、同一列或同一斜线上，问有多少种摆法？ 对于这个问题，我一开始首先想到是用二维数组来解决这个问题但是无奈不会。看了大神的代码...
2018-08-05 17:34:13
253
4
原创 Comparator接口 和 Comparable接口在运用的上的比较
相同点：comparator 和 Comparable都是用于 Set，TreeSet等比较！都可以用于对，对象类型的比较！ 不同点：Compatator接口中compare方法有两个参数，能对基本数据类型做比较，也能对类对象里的元素做比较。 Comparable接口中compareTo方法有一个参数。用于对类对象里的元素进行比较。 compare: ...
2018-08-04 15:04:27
944
原创 万年历------Calendar实现
/* *主要考察了Calendar类中的一些方法的用法，和遍历时所用的一些常用手法！ */ public class WanYearLi { public static void main(String[] args) { String []week = {" ","星期天","星期一","星期二","星期三","星期四","星期五","星期六&qu
2018-08-01 21:28:17
787
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人