- 博客(22)
- 收藏
- 关注
原创 经验记录-上亿数据量操作与最长匹配
一.用户需求: 统计一批号码21年在指定业务的结算费用、条数、用户数。二.提数思路:循环2021年1到12月表,在源表按指定条件抽取1到11月的号码、费用、月份字段,存入TMP表PHONE_NO, FEE, YEAR_MONTH;备注:当前为12月还未进行结算,故数据仅统计到11月,11月数据有部分在12月表中,故需要循环12个月。由于一个号码在一个月中有多条数据,所以对TMP表数据按月按号码分组汇总,并统计条数cnt,得到TMP0表。备注:TMP约8亿,TMP0约5亿数据量。用户提供的国家
2021-12-28 18:00:39
420
原创 经验学习-从指定主机获取文件并入库
实现内容:从指定主机获取指定文件,将文件数据入到Hive库。1、文件获取 使用ftp取指定主机目录下指定文件,到本地主机指定目录下。注意:获取文件用get,上传文件用put;mget为批量获取。2、文件格式转化 对获取的文件进行格式转化。 这里是将取到的文件列表进行循环,文件名赋给${fn};循环内容为,使用iconv命令将文件从GBK转为UTF-8,然后${fn}转换后生成${fn}_tmp文件,然后再将${fn}_tmp重命名回${fn}。3、入库表准备 要入库的表,如果存在
2021-12-23 11:45:36
258
原创 经验记录-数量分摊和均分
环境:Oracle数据库,PL/SQL一、问题描述1、测试数据: 存在表CJ_T_PHONE,存储一批用户号码; 存在表CJ_T_GROUP,存储一批渠道、渠道管理号码数。 数据如下图:2、实现需求: 将这批号码分配给这批渠道,每个渠道分配的号码数在渠道表已提供。号码对应哪个渠道,无要求,可随机。二、解决思路:对PHONE表根据号码排序,排序方式无所谓,主要是为了取号码的序号。这里使用的是ROW_NUMBER() OVER(ORDER BY XX)实现,需确保号码无重复(如
2021-12-22 14:59:06
724
原创 初学HIVE(三)——基础应用
一、数据库操作语句操作内容操作语句说明创建1create database my_hive;HDFS上的默认存储路径是/user/hive/warehouse/*.db创建2create database if not exists my_hive;避免该库已存在导致建库报错创建3create database my_hive location ‘/settment.db’;指定创建数据库在HDFS的位置查看1show databases;查看
2021-12-15 14:54:03
184
原创 初学HIVE(一)——初步认识HIVE
Hive是基于Hadoop的数据仓库工具,可以**将结构化的数据文件映射为一张表**,并提供**类SQL**查询功能。本质是将HQL转化成MapReduce程序,存储的基础数据在HDFS上,执行程序运行在Yarn上。
2020-07-09 14:28:01
288
原创 经验记录-小数点前的0和占位0消失不显示
环境问题计算占比后拼接字符串,小于1的小数中,小数点前0不显示:尝试不进行拼接,0会正常显示:尝试转换计算出来的值,依旧不显示0FM格式转换:FM部分指定转换的格式。小数点前后小数点后存在的0,可以使小数的“小数点前的0”和“小数点后的占位0”都显示:其他尝试 9 代表如果存在数字则显示数字,不存在显示空格 0 代表如果存在数字则显示数字,不存在则显示0, 即占位符 F...
2019-04-02 12:52:11
3751
原创 学习Bootstrap(八)——表单控件
一. 表单控件1-1 单行输入框(input)来自慕课网 常见的文本输入框,也就是input的type属性值为text。在Bootstrap中使用input时必须添加type类型,如果没有指定type类型,将无法得到正确的样式,因为Bootstrap框架都是通过input[type=“?”](其中?号代表type类型,比如说text类型,对应的是input[type=“text”])的形式来定义样
2017-12-28 18:03:49
910
原创 学习Bootstrap(七)——表单
表单来自慕课网 表单中常见的元素主要包括:文本输入框、下拉选择框、单选按钮、复选按钮、文本域和按钮等。其中每个控件所起的作用都各不相同,而且不同的浏览器对表单控件渲染的风格都各有不同。 ☑ LESS版本:对应源文件 forms.less ☑ Sass版本:对应源文件 _forms.scss 编译后的Bootstrap版本,可以查阅bootstrap.css文件第1630行~
2017-12-28 17:52:54
294
原创 学习Bootstrap(六)——表格
表格来自慕课网 表格是Bootstrap的一个基础组件之一,Bootstrap为表格提供了1种基础样式和4种附加样式以及1个支持响应式的表格。在使用Bootstrap的表格过程中,只需要添加对应的类名就可以得到不同的表格风格。bootstrap.css文件中第1402行~第1630行中可以查阅到所有有关于table的样式代码。Bootstrap为表格不同的样式风格提供了不同的类名,主要包括:☑
2017-12-28 17:30:32
5974
1
原创 学习Bootstrap(五)——代码
七. 代码显示来自慕课网在Bootstrap主要提供了三种代码风格,用户可以根据具体的需求来使用不同的类型: 1、<code>:一般是针对于单个单词或单个句子的代码 2、<pre>:一般是针对于多行代码(也就是成块的代码) 3、<kbd>:一般是表示用户要通过键盘输入的内容预编译版本的Bootstrap将代码的样式单独提取出来: 1、LESS版本,请查阅code.less文件 2、Sass
2017-12-28 16:25:03
367
原创 学习Bootstrap(四)——列表
六. 列表来自慕课网 在HTML文档中,列表结构主要有三种:有序列表、无序列表和自定义列表。 Bootstrap根据平时的使用情形提供了六种形式的列表:☑ 普通列表☑ 有序列表☑ 去点列表☑ 内联列表☑ 描述列表☑ 水平描述列表6-1. 无序列表,有序列表及列表嵌套ul,ol { margin-top: 0; margin-bottom: 10px;}ul ul,ol
2017-12-28 16:09:17
589
原创 学习Bootstrap(三)——文本,强调,对齐
三. 正文文本来自慕课网 Bootstrap中为文本设置了一个全局的文本样式(这里所说的文本是指正文文本):1、全局文本字号为14px(font-size)。2、行高为1.42857143(line-height),大约是20px(大家看到一串的小数或许会有疑惑,其实他是通过LESS编译器计算出来的,当然Sass也有这样的功能)。3、颜色为深灰色(#333);4、字体为”Helvetica Neu
2017-12-27 18:01:14
1395
1
原创 学习Bootstrap(二)——全局样式,标题
一. 全局样式Bootstrap框架并不一味追求归零,而是更注重重置可能产生问题的样式(如,body,form的margin等),保留和坚持部分浏览器的基础样式,解决部分潜在的问题,提升一些细节的体验,具体说明如下:移除body的margin声明 设置body的背景色为白色 为排版设置了基本的字体、字号和行高设置全局链接颜色,且当链接处于悬浮“:hover”状态时才会显示下划线样式styl
2017-12-27 17:42:57
709
原创 学习Bootstrap(一)——了解Bootstrap3
Bootstrap入门(一)学习版本:Bootstrap3 学习途径:慕课网简单强大的前端开发框架基于HTML5和CSS3放弃了IE7和Firefox3.x的支持,不太支持IE8,因为它对CSS3的支持不够下载包含css,js,fonts文件,其中js插件依赖于jQuery,所以要先引入jQueryBootstrap的HTML标准模板来自官网<!DOCTYPE html><html l
2017-12-27 17:15:20
296
转载 文章标题
JAVA基础问答题1、面向对象的特征有哪些方面? 答:面向对象的特征主要有以下几个方面:1)抽象: 抽象是将一类对象的共同特征总结出来构造类的过程,包括数据抽象和行为抽象两方面。抽象只关注对象有哪些属性和行为,并不关注这些行为的细节是什么。2)继承: 继承是从已有类得到继承信息创建新类的过程。提供继承信息的类被称为父类(超类、基类);得到继承信息的类被称为子类(派生类)。继承让变化中的软件系统
2017-09-05 09:17:24
166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人