- 博客(7)
- 资源 (55)
- 收藏
- 关注
原创 HIVESQL中ROW_NUMBER() OVER语法以及示例
ROW_NUMBER() OVER函数的基本用法 语法:ROW_NUMBER() OVER(PARTITION BY COLUMNORDER BY COLUMN)详解:row_number() OVER (PARTITION BY COL1 ORDERBY COL2)表示根据COL1分组,在分组内部根据COL2排序,而此函数计算的值就表示每组内部排序后的顺序编号(该编号在组内是连续并且唯一的)。场...
2018-05-31 11:30:36 47810 3
原创 HDFS文件权限不足导致Sqoop执行失败
故障信息在使用sqoop从Mysql向HDFS导入文件时报错:Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode="/user/root/.stagi...
2018-05-29 21:53:05 2698
原创 Sqoop:MySQL2Sqoop修改源表结构对同步数据的影响
背景信息:本文用Sqoop实现MySQL中数据向Hive数据的抽取,研究在修改MySQL中数据以及表结构对抽取结果的影响环境:cloudera VM(包含Hadoop生态各组件),并在此VM中安装MySQL初始状态:Mysql中表数据如下所示:利用SQOOP从MySQL向Hive同步数据:源表mysql:wht.people 目的表:Hive: db01.peoplesqoop import --...
2018-05-26 16:42:03 1561 3
原创 Ubuntu 安装Jenkins报错
背景信息在Uubunt中已安装了jdk,并在~/.cshrc和/etc/profile文件中都设置了JDK的家目录,然后使用apt-get install jenkins命令安装jenkins时报错如下所示:Reading state information... Donejenkins is already the newest version (2.107.3).0 upgraded, 0...
2018-05-14 20:56:35 8686 3
原创 Hive(Impala)测试数据生成与加载
1、通过shell脚本生成测试数据。脚本如下,生成的每条记录包括四个字段,如果感觉不够的话可根据自己需求增加字段。rm -rf ./data.txt touch data.txt delimiter=','for((i=0;i<200;i++)) do str1='name';str2=`openssl rand -base64 8`num1=`echo $RANDOM...
2018-05-11 17:35:34 2491
原创 虚拟机中Ubuntu IP地址漂移问题解决(为Ubuntu配置固定IP地址)
背景信息在Vmware中安装Ubuntu后(NAT方式),使用期间,IP地址会无规则变化(末位加1或减1),导致Xshell连接总是需要重新配置,为此将IP配置为固定IP,使该问题得到解决。操作步骤1、使用root用户登录Ubuntu2、编辑/etc/network/interfaces文件。完整的配置如下所示:#配置回环口网卡auto loiface lo inet loopback#配置...
2018-05-10 14:08:13 6028 4
原创 虚拟机安装Ubuntu无法通过Xshell登录
背景信息在VMWare中安装Ubuntu后,无法使用Xshell登录,经排查,发现系统默认没有ssh服务。解决方法以root用户执行如下步骤:
2018-05-10 11:07:56 528
02-谷歌AutoML.rar
2020-08-07
Jupyter Notebook Cheatsheet.pdf
2019-12-11
Acsiidoc 示例文件--用于快速学习asciidoc语法
2019-04-03
基于asciidoc的产品文档大纲规划-中文版本
2019-03-18
Kylo调研总结
2018-10-16
Hive数据文件以及CLI操作命令
2017-09-18
mysql-connector-java-5.1.31-bin.ja
2017-09-18
全息三维显示技术概览,是一个学习笔记,对立体视觉原理、常见的显示和采集技术有个粗略的整理
2023-03-03
Innovate2020_人工智能与机器学习_AI+基础架构资源的演进与选择CPU,+GPU,+ARM+和+ASIC
2022-02-25
AI与机器学习计算手册
2022-02-25
5G超高清新场景白皮书
2021-08-05
常见机器学习模型可视化展示效果
2021-08-03
AI开发平台-百度BML&华为ModelArts&阿里PAI&腾讯TAI&亚马逊SageMaker调研对比.pdf
2021-08-03
深度学习在各场景下的评估指标
2020-03-17
视频分类数据集dance和driving
2020-03-17
序列标注sample-text-seq-annotated-iob.zip
2020-03-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人