- 博客(22)
- 收藏
- 关注
RSS订阅原创 经验记录-上亿数据量操作与最长匹配
一．用户需求： 统计一批号码21年在指定业务的结算费用、条数、用户数。二．提数思路：循环2021年1到12月表，在源表按指定条件抽取1到11月的号码、费用、月份字段，存入TMP表PHONE_NO, FEE, YEAR_MONTH；备注：当前为12月还未进行结算，故数据仅统计到11月，11月数据有部分在12月表中，故需要循环12个月。由于一个号码在一个月中有多条数据，所以对TMP表数据按月按号码分组汇总，并统计条数cnt，得到TMP0表。备注：TMP约8亿，TMP0约5亿数据量。用户提供的国家
2021-12-28 18:00:39
420
原创 经验学习-从指定主机获取文件并入库
实现内容：从指定主机获取指定文件，将文件数据入到Hive库。1、文件获取 使用ftp取指定主机目录下指定文件，到本地主机指定目录下。注意：获取文件用get，上传文件用put；mget为批量获取。2、文件格式转化 对获取的文件进行格式转化。 这里是将取到的文件列表进行循环，文件名赋给${fn}；循环内容为，使用iconv命令将文件从GBK转为UTF-8，然后${fn}转换后生成${fn}_tmp文件，然后再将${fn}_tmp重命名回${fn}。3、入库表准备 要入库的表，如果存在
2021-12-23 11:45:36
258
原创 经验记录-数量分摊和均分
环境：Oracle数据库，PL/SQL一、问题描述1、测试数据： 存在表CJ_T_PHONE，存储一批用户号码； 存在表CJ_T_GROUP，存储一批渠道、渠道管理号码数。 数据如下图：2、实现需求： 将这批号码分配给这批渠道，每个渠道分配的号码数在渠道表已提供。号码对应哪个渠道，无要求，可随机。二、解决思路：对PHONE表根据号码排序，排序方式无所谓，主要是为了取号码的序号。这里使用的是ROW_NUMBER() OVER(ORDER BY XX)实现，需确保号码无重复（如
2021-12-22 14:59:06
724
原创 初学HIVE（三）——基础应用
一、数据库操作语句操作内容操作语句说明创建1create database my_hive;HDFS上的默认存储路径是/user/hive/warehouse/*.db创建2create database if not exists my_hive;避免该库已存在导致建库报错创建3create database my_hive location ‘/settment.db’;指定创建数据库在HDFS的位置查看1show databases;查看
2021-12-15 14:54:03
184
原创 初学HIVE（一）——初步认识HIVE
Hive是基于Hadoop的数据仓库工具，可以**将结构化的数据文件映射为一张表**，并提供**类SQL**查询功能。本质是将HQL转化成MapReduce程序，存储的基础数据在HDFS上，执行程序运行在Yarn上。
2020-07-09 14:28:01
288
原创 经验记录-小数点前的0和占位0消失不显示
环境问题计算占比后拼接字符串，小于1的小数中，小数点前0不显示：尝试不进行拼接，0会正常显示：尝试转换计算出来的值，依旧不显示0FM格式转换：FM部分指定转换的格式。小数点前后小数点后存在的0，可以使小数的“小数点前的0”和“小数点后的占位0”都显示：其他尝试 9 代表如果存在数字则显示数字，不存在显示空格 0 代表如果存在数字则显示数字，不存在则显示0， 即占位符 F...
2019-04-02 12:52:11
3751
原创 学习Bootstrap（八）——表单控件
一. 表单控件1-1 单行输入框（input）来自慕课网 常见的文本输入框，也就是input的type属性值为text。在Bootstrap中使用input时必须添加type类型，如果没有指定type类型，将无法得到正确的样式，因为Bootstrap框架都是通过input[type=“?”](其中?号代表type类型，比如说text类型，对应的是input[type=“text”])的形式来定义样
2017-12-28 18:03:49
910
原创 学习Bootstrap（七）——表单
表单来自慕课网 表单中常见的元素主要包括：文本输入框、下拉选择框、单选按钮、复选按钮、文本域和按钮等。其中每个控件所起的作用都各不相同，而且不同的浏览器对表单控件渲染的风格都各有不同。 ☑ LESS版本：对应源文件 forms.less ☑ Sass版本：对应源文件 _forms.scss 编译后的Bootstrap版本，可以查阅bootstrap.css文件第1630行~
2017-12-28 17:52:54
294
原创 学习Bootstrap（六）——表格
表格来自慕课网 表格是Bootstrap的一个基础组件之一，Bootstrap为表格提供了1种基础样式和4种附加样式以及1个支持响应式的表格。在使用Bootstrap的表格过程中，只需要添加对应的类名就可以得到不同的表格风格。bootstrap.css文件中第1402行~第1630行中可以查阅到所有有关于table的样式代码。Bootstrap为表格不同的样式风格提供了不同的类名，主要包括：☑
2017-12-28 17:30:32
5974
1
原创 学习Bootstrap（五）——代码
七. 代码显示来自慕课网在Bootstrap主要提供了三种代码风格，用户可以根据具体的需求来使用不同的类型： 1、<code>：一般是针对于单个单词或单个句子的代码 2、<pre>：一般是针对于多行代码（也就是成块的代码） 3、<kbd>:一般是表示用户要通过键盘输入的内容预编译版本的Bootstrap将代码的样式单独提取出来： 1、LESS版本，请查阅code.less文件 2、Sass
2017-12-28 16:25:03
367
原创 学习Bootstrap（四）——列表
六. 列表来自慕课网 在HTML文档中，列表结构主要有三种：有序列表、无序列表和自定义列表。 Bootstrap根据平时的使用情形提供了六种形式的列表：☑ 普通列表☑ 有序列表☑ 去点列表☑ 内联列表☑ 描述列表☑ 水平描述列表6-1. 无序列表，有序列表及列表嵌套ul,ol { margin-top: 0; margin-bottom: 10px;}ul ul,ol
2017-12-28 16:09:17
589
原创 学习Bootstrap（三）——文本，强调，对齐
三. 正文文本来自慕课网 Bootstrap中为文本设置了一个全局的文本样式（这里所说的文本是指正文文本）：1、全局文本字号为14px(font-size)。2、行高为1.42857143（line-height），大约是20px(大家看到一串的小数或许会有疑惑，其实他是通过LESS编译器计算出来的，当然Sass也有这样的功能)。3、颜色为深灰色（#333）；4、字体为”Helvetica Neu
2017-12-27 18:01:14
1395
1
原创 学习Bootstrap（二）——全局样式，标题
一. 全局样式Bootstrap框架并不一味追求归零，而是更注重重置可能产生问题的样式（如，body,form的margin等），保留和坚持部分浏览器的基础样式，解决部分潜在的问题，提升一些细节的体验，具体说明如下：移除body的margin声明 设置body的背景色为白色 为排版设置了基本的字体、字号和行高设置全局链接颜色，且当链接处于悬浮“:hover”状态时才会显示下划线样式styl
2017-12-27 17:42:57
709
原创 学习Bootstrap（一）——了解Bootstrap3
Bootstrap入门（一）学习版本：Bootstrap3 学习途径：慕课网简单强大的前端开发框架基于HTML5和CSS3放弃了IE7和Firefox3.x的支持，不太支持IE8，因为它对CSS3的支持不够下载包含css，js，fonts文件，其中js插件依赖于jQuery，所以要先引入jQueryBootstrap的HTML标准模板来自官网<!DOCTYPE html><html l
2017-12-27 17:15:20
296
转载 文章标题
JAVA基础问答题1、面向对象的特征有哪些方面? 答：面向对象的特征主要有以下几个方面：1)抽象： 抽象是将一类对象的共同特征总结出来构造类的过程，包括数据抽象和行为抽象两方面。抽象只关注对象有哪些属性和行为，并不关注这些行为的细节是什么。2)继承： 继承是从已有类得到继承信息创建新类的过程。提供继承信息的类被称为父类（超类、基类）；得到继承信息的类被称为子类（派生类）。继承让变化中的软件系统
2017-09-05 09:17:24
166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人