街角不冷
码龄7年
关注
提问 私信
  • 博客:5,754
    5,754
    总访问量
  • 10
    原创
  • 2,294,087
    排名
  • 3
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:广东省
  • 加入CSDN时间: 2018-01-09
博客简介:

weixin_41607366的博客

查看详细资料
个人成就
  • 获得0次点赞
  • 内容获得0次评论
  • 获得19次收藏
创作历程
  • 10篇
    2020年
成就勋章
TA的专栏
  • Hive
    5篇
  • sqoop
    1篇
  • Hadoop
    2篇
兴趣领域 设置
  • 大数据
    flink
  • 人工智能
    语音识别机器学习深度学习神经网络自然语言处理tensorflowpytorchnlp数据分析
创作活动更多

超级创作者激励计划

万元现金补贴,高额收益分成,专属VIP内容创作者流量扶持,等你加入!

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

数仓工具hive(六):Hive中常用函数汇总

常用日期函数unix_timestamp:返回当前或指定时间的时间戳 from_uni xtime:将时间戳转为日期格式current_date:当前日期current_timestamp:当前的日期加时间to_date:抽取日期部分year:获取年month:获取月day:获取日hour:获取时minute:获取分second:获取秒weekofyear:当前时间是一年中的第几周dayofmonth:当前时间是一个月中的第几天months_between: 两个日期间的月
原创
发布博客 2020.05.18 ·
430 阅读 ·
0 点赞 ·
0 评论 ·
5 收藏

数仓工具hive(四):Hive文件存储格式以及优缺点

前言Hive支持的存储数的格式主要有:TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。行与列存储的特点行存储的特点查询满足条件的一整行数据的时候,列存储则需要去每个聚集的字段找到对应的每个列的值,行存储只需要找到其中一个值,其余的值都在相邻地方,所以此时行存储查询的速度更快。列存储的特点因为每个字段的数据聚集存储,在查询只需要少数几个字段的时候,能大大减少读取的数据量;每个字段的数据类型一定是相同的,列式存储可以针对性的设计更好的设计压缩算法。Hive文件存储格式以及优缺
原创
发布博客 2020.05.18 ·
1944 阅读 ·
0 点赞 ·
0 评论 ·
10 收藏

数仓工具hive(二):安装部署

Hive安装地址Hive官网地址文档查看地址下载地址Hive安装部署Hive安装及配置把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面[root@hadoop102 software]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/修改apache-hive-1.
原创
发布博客 2020.05.18 ·
298 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

详解JPS命令

前言jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。unix的ps命令用过unix系统里的ps命令,这个命令主要是用来显示当前系统的进程情况,有哪些进程,及其 id。jps也是一样,它的作用是显示当...
原创
发布博客 2020.04.30 ·
659 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

GitHub is free for teams -终于等到你

喜大普奔GitHub is free for teams,微软牛皮!
原创
发布博客 2020.04.15 ·
486 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

使用Sqoop导Mysql数据到Hbase报错

报错日志20/04/14 16:40:45 WARN mapreduce.HBaseImportJob: Could not find HBase table hbase_company20/04/14 16:40:45 WARN mapreduce.HBaseImportJob: This job may fail. Either explicitly create the table,2...
原创
发布博客 2020.04.14 ·
725 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

大数据生态Hadoop(三):官方wordcount案例

hadoop官方wordcount示例提供版本JDK1.8+Hadoop2.7.2在hadoop-2.7.2文件下面创建一个input文件夹[root@hadoop101 hadoop-2.7.2]$mkdir input在wcinput文件下创建一个wc.input文件[root@hadoop101 hadoop-2.7.2]cd input[root@hadoop101 inpu...
原创
发布博客 2020.04.01 ·
274 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

数仓工具Hive(一):起源

what is hive官方文档The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data ...
原创
发布博客 2020.03.31 ·
231 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

大数据生态Hadoop(一):起源

What is Hadoop官方文档The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.释义Apache™Hadoop®项目开发用于可靠、可伸缩的分布式计算的开源软件。广义广义上来说,Hadoop通常是指一个更广泛的概念——Had...
原创
发布博客 2020.03.24 ·
184 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Ambari+HDP安装的Hive出现中文乱码解决

1 Hive注释comment出现乱码1.1 Hive建表语句create table test.mytest_tm1( id int comment'编号', name string comment '名字' )row format delimited fields terminated by '\u00...
原创
发布博客 2020.03.19 ·
522 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏