Jasen的博客

python对接api数据源解析json内容写入到mysql表中

set hive.exec.dynamici.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;set mapreduce.map.java.opts="-Xmx9725955249";insert overwrite 目标表 partition(ds)selectZQJC,ZQDM,GZRQ,LTCS,DCQ_N,RJGJQJ,RJYJLX,GZJJ,GJSYL,GJXZJQ,GJTX,GJ...

建设数据仓库的八个步骤1.系统分析，确定主题操作出现的频率，即业务部门每隔多长时间做一次查询分析。在系统中需要保存多久的数据，是一年、两年还是五年、十年。用户查询数据的主要方式，如在时间维度上是按照自然年，还是财政年。用户所能接受的响应时间是多长、是几秒钟，还是几小时。由于双方在理解上的差异，确定问题和了解问题可能是一个需要多次往复的过程，信息部门的人员可能需要做一些原型演示给业务部门的人员看，以最终确定系统将要实现的功能确实是业务部门所需要的。2.选择满足数据仓库系统要求的..

用python批量生成execl文件的mysql和hive的建表语句，百度网盘链接如下，希望对大家有帮助；生成mysql语句：链接：https://pan.baidu.com/s/1mrG8o_5lWy0ZGpM8h9t8Jg提取码：y17n生成hive语句：链接：https://pan.baidu.com/s/1dPiXMd5bGEGrb9V0jvlefg提取码：j74y...

由于文档的内容太多，我就以文档的形式让大家下载学习，dataphin学习笔记内容如下面截图，希望对大家有用；百度网盘链接：链接：https://pan.baidu.com/s/1R5EWzT1Ka2ktOuXKDiPuhg提取码：egmi

开户开户就是指客户在银行开设账户的简称。网上开户，是指投资者凭有效的数字证书登录证券公司网上开户系统、签署开户相关协议后，证券公司按规定程序为投资者办理开户。网上开户一般包括身份认证、安装数字证书、风险测评、开户协议阅读、股东账户资金账户开设、回访、投资者教育几个步骤。一级户和二级户对企业来说：银行的企业帐户分为：一级户即基本户、二级户即一般户、临时帐户、专用帐户等。集团账户是一...

#!/bin/bash#=====================================================#日期：2019-09-04#功能：清理指定日期之前文件夹的脚本#调用方法： sh clear_dir.sh YYYYMMDD#调用说明： sh clear_dir.sh 日期#========================================...

例子：1.连接hive数据库，设置查询结果最大宽度20000beeline -u jdbc:hive2://10.11.0.160:10000/edw -n uaedw -p uaedw123 --maxWidth=200002.连接hive数据库，执行release20190822.sql内容beeline -u "${jdbc_conn_str}" -n ${user_name...

--查看函数功能desc function sum--查看hadoop执行计划Explainselect * from MID.V_FS_NLC_LC08_PRODUCT;--查看hadoop详细执行计划explain extendedselect * from MID.V_FS_NLC_LC08_PRODUCT;--查看hadoop的建表语句SHOW CREATE...

#!/bin/bash##############################################################################批量创建日期文件夹#调用方法：sh createdatedir.sh ip port username password srcname begndt overdt#例：sh createdatedir.sh 10...

#!/bin/bash#############################################################################批量文件上传#调用方法：sh upload_file_all.sh etl_date source_system odm_tab_name#######################################...

#!/bin/bash#=====================================================#日期：2019-06-17#功能：下载hdfs文件到本地脚本#调用方法： sh getfromfstolocal.sh YYYYMMDD SRC username HDFS_PATH#调用说明： sh getfromfstolocal.sh 日期 源系统 ...

链接：https://pan.baidu.com/s/1GQq1UUBHNNa_pFR6fJ2lrA提取码：fivr复制这段内容后打开百度网盘手机App，操作更方便哦

数据库三范式原则：1NF:字段不可分; 2NF:有主键，非主键字段依赖主键; 3NF:非主键字段不能相互依赖;解释:1NF:原子性 字段不可再分,否则就不是关系数据库;2NF:唯一性 一个表只说明一个事物;3NF:每列都与主键有直接关系，不存在传递依赖;数据仓库(Data Warehouse)是一个面向主题的(SubjectOri2ented) 、集成的( Integrate )...

#!/bin/bash###############################################文件上传#作者：jasenhua#日期：2019-05-29#调用方法：sh upload_file.sh yyyymmdd CLS TXT_FILE_PATH OK_FILE_PATH LOG_PATH#调用示例：sh upload_file.sh 20190524 ...

#!/bin/bash#=====================================================#作者：jasenhua#日期：2019-05-29#功能：下载文件脚本#调用方法： sh download_file.sh YYYYMMDD source_system ok_file txt_file#=====================...

1.点击xftp软件按钮，输入主机，协议默认ftp,输入用户名，密码，点击确定2.会出现下图的错误3.点击属性按钮，将协议换成sftp,点击确定，重新连接4.此时就可以连接成功了造成这种问题的是原因，是ftp和sftp协议之间的区别。1.SFTP使用加密传输认证信息和传输数据，更安全，但更安全带来副作用就是的效率比FTP要低些2.FTP要安装，SFTP...

链接：https://pan.baidu.com/s/1YHRLPhNFcFIWq3xLr_w6dA提取码：6yam

鼠标右键，选择更多操作->编码->简体中文（GB2312）

链接：https://pan.baidu.com/s/1e2jwWKerCsnFyLmegaqOcg提取码：hc28